Рахуба Максим Владимирович

Optimization on the Extended Tensor-Train Manifold with Shared Factors

2026 · ARTICLE · en

This paper studies tensors that admit decomposition in the Extended Tensor Train (ETT) format, with a key focus on the case where some decomposition factors are constrained to be equal. This factor sharing introduces additional challenges, as it breaks the multilinear structure of the decomposition. Nevertheless, we show that Riemannian optimization methods can naturally handle such constraints and prove that the underlying manifold is indeed smooth. We develop efficient algorithms for key Riemannian optimization components, including a retraction operation based on quasi-optimal approximation in the new format, as well as tangent space projection using automatic differentiation. Finally, we demonstrate the practical effectiveness of our approach through tensor approximation tasks and multidimensional eigenvalue problem.

Matrix-Free Two-to-Infinity and One-to-Two Norms Estimation

2026 · CHAPTER · en

In this paper, we propose new randomized algorithms for estimating the two-to-infinity and one-to-two norms in a matrixfree setting, using only matrix-vector multiplications. Our methods are based on appropriate modifications of Hutchinson’s diagonal estimator and its Hutch++ version. We provide oracle complexity bounds for both modifications. We further illustrate the practical utility of our algorithms for Jacobianbased regularization in deep neural network training on image classification tasks. We also demonstrate that our methodology can be applied to mitigate the effect of adversarial attacks in the domain of recommender systems.

LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

2026 · CHAPTER · en

This work presents a novel, fully Riemannian framework for Low-Rank Adaptation (LoRA) that geometrically treats low-rank adapters by optimizing them directly on the fixed-rank manifold. This formulation eliminates the parametrization ambiguity present in standard Euclidean optimizers. Our framework integrates three key components to achieve this: (1) we derive Riemannion, a new Riemannian optimizer on the fixed-rank matrix manifold that generalizes the recently proposed Muon optimizer; (2) we develop a Riemannian gradient-informed LoRA initialization, and (3) we provide an efficient implementation without prominent overhead that uses automatic differentiation to compute arising geometric operations while adhering to best practices in numerical linear algebra. Comprehensive experimental results on both LLM and diffusion model architectures demonstrate that our approach yields consistent and noticeable improvements in convergence speed and final task performance over both standard LoRA and its state-of-the-art modifications.

Knowledge Graph Completion with Mixed Geometry Tensor Factorization

2025 · CHAPTER · en

ProcrustesGPT: Compressing LLMs with Structured Matrices and Orthogonal Transformations

2025 · CHAPTER · en

Large language models (LLMs) demonstrate impressive results in natural language processing tasks but require a significant amount of computational and memory resources. Structured matrix representations are a promising way for reducing the number of parameters of these models. However, it seems unrealistic to expect that weight matrices of pretrained models can be accurately represented by structured matrices without any fine-tuning.To overcome this issue, we utilize the fact that LLM output is invariant under certain orthogonal transformations of weight matrices.This insight can be leveraged to identify transformations that significantly improve the compressibility of weights within structured classes.The proposed approach is applicable to various types of structured matrices that support efficient projection operations. Code is available at: https://github.com/GrishKate/ProcrustesGPT.

Leveraging Geometric Insights in Hyperbolic Triplet Loss for Improved Recommendations

2025 · CHAPTER · en

Недавние исследования продемонстрировали потенциал гиперболической геометрии для получения сложных свойств из данных взаимодействий в рекомендательных системах. В этой работе мы представляем новую гиперболическую рекомендательную модель, которая использует геометрическую информацию для улучшения обучения представлений и повышения стабильности вычислений одновременно. Мы переформулирвали понятие гиперболических расстояний, чтобы раскрыть дополнительные возможности представления по сравнению с обычным евклидовым пространством и изучить более выразительные представления пользователей и товаров. Чтобы лучше отразить взаимодействие пользователя с товарами, мы создали триплетную функцию потерь, которая моделирует троичные взаимодействия между пользователями и их соответствующие предпочтительные и непредвзятые варианты выбора с помощью сочетания попарных условий взаимодействия, определяемых геометрией данных. Наш гиперболический подход не только превосходит существующие евклидовы и гиперболические модели, но и снижает зависимость от популярности товаров, что приводит к более разнообразным и персонализированным рекомендациям.

Ultra Fast Warm Start Solution for Graph Recommendations

2025 · CHAPTER · en

В этой работе мы представляем быстрый и эффективный линейный подход к обновлению рекомендаций в масштабируемой графовой рекомендательной системе UltraGCN. Решение этой задачи чрезвычайно важно для поддержания актуальности рекомендаций в условиях большого объема новых данных и меняющихся предпочтений пользователей. Чтобы решить эту проблему, мы адаптируем простой, но эффективный подход к низкоранговой аппроксимации в графовой модели. Наш метод позволяет получать мгновенные рекомендации в 30 раз быстрее, чем обычные методы, с повышением качества рекомендаций и демонстрирует высокую масштабируемость даже для датасетов с большим каталогом товаров.

Low-rank matrix and tensor approximations for compression of machine-learning interatomic potentials

2025 · ARTICLE · en

Machine-learning interatomic potentials (MLIPs) have become a mainstay in computationally guided materials science, surpassing traditional force fields due to their flexible functional form and superior accuracy in reproducing physical properties of materials. This flexibility is achieved through mathematically rigorous basis sets that describe interatomic interactions within a local atomic environment. The number of parameters in these basis sets influences both the size of the training dataset required and the computational speed of the MLIP. Consequently, compressing MLIPs by reducing the number of parameters is a promising route to more efficient simulations. In this work, we use low-rank matrix and tensor factorizations under fixed-rank constraints to achieve this compression. In addition, we demonstrate that an algorithm with automatic rank augmentation helps to find a deeper local minimum of the fitted potential. The methodology is mainly verified using the Moment Tensor Potential (MTP) model and benchmarked on multi-component systems: a Mo–Nb–Ta–W medium-entropy alloy, molten LiF–NaF–KF, and a glycine molecular crystal. The proposed approach achieves up to 50% compression without any loss of MTP accuracy. We also demonstrate that the developed methodology is universal and can be applied to compress other MLIPs on the example of atomic cluster expansion.

COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation

2025 · CHAPTER · en

Recent studies suggest that context-aware low-rank approximation is a useful tool for compression and fine-tuning of modern large-scale neural networks. In this type of approximation, a norm is weighted by a matrix of input activations, significantly improving metrics over the unweighted case. Nevertheless, existing methods for neural networks suffer from numerical instabilities due to their reliance on classical formulas involving explicit Gram matrix computation and their subsequent inversion. We demonstrate that this can degrade the approximation quality or cause numerically singular matrices. To address these limitations, we propose a novel inversion-free regularized framework that is based entirely on stable decompositions and overcomes the numerical pitfalls of prior art. Our method can handle all possible challenging scenarios: (1) when calibration matrices exceed GPU memory capacity, (2) when input activation matrices are nearly singular, and even (3) when insufficient data prevents unique approximation. For the latter, we prove that our solution converges to a desired approximation and derive explicit error bounds.

Секция: «Вычислительные технологии и моделирование». Оптимизация на многообразии тензорных поездов с общими факторами.

2024 · CHAPTER · ru

Данная работа посвящена разработке эффективных алгоритмов римановой оптимизации для разложения, представляющего собой тензорный поезд (ТТ) [1, 2] с таккеровским разложением ТТ-ядер. Ключевой особенностью исследования является использование дополнительного условия на равенство некоторых из факторов разложения. Наличие одинаковых факторов ломает полилинейную структуру разложения, а значит делает неприменимым классический подход попеременных наименьших квадратов. Тем не менее, мы показываем, что для такого разложения сохраняется структура гладкого многообразия, что позволяет использовать методы римановой оптимизации. Также, по сравнению с работой [3], рассматривающей таккеровское разложение с общими факторами, использование ТТ- разложения позволяет решить проблему проклятия размерности. Для предлагаемого разложения получен алгоритм построения квазиоптимального приближения, который также можно использовать в качестве операции ретракции. Также получен явный вид касательного пространства исследуемого многообразия и построен эффективный алгоритм получения компонент проекции на касательное пространство с помощью подхода автоматического дифференцирования. Реализован программный пакет, поддерживающий вычисления алгоритмов римановой оптимизации. Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ.