Клышинский Эдуард Станиславович

Shrink the Longest: Improving Latent Space Isotropy with Simplicial Geometry

2024 · CHAPTER · en

Intonation Control in Speech Synthesis for Game Voiceovers

2024 в печати · CHAPTER · en

Voicing game cues is one of the important tasks in game development. To avoid the need to record the voice of live actors, neural network speech synthesis technologies can be used. Despite the rapid development of generative technologies, synthesized voices often lack the variety of intonations inherent in human speech. The problem with "one-to-many" is that one text may have several suitable intonation options. The model averages expressiveness during training, which leads to a robotic sound. The solution to this problem is possible by using prosody control to introduce variability into synthesized speech. Existing approaches often do not take into account all prosodic characteristics, or require manual marking, creating problems in controlling intonation after training. The main task of the work is to develop a method of uncontrolled prosody modeling based on acoustic and linguistic characteristics using discrete markup to improve parametric speech synthesis for voicing game.

The More Polypersonal the Better - A Short Look on Space Geometry of Fine-Tuned Layers

2024 · CHAPTER · en

The interpretation of deep learning models is a rapidly growing field, with particular interest in language models. There are various approaches to this task, including training simpler models to replicate neural network predictions and analyzing the latent space of the model. The latter method allows us to not only identify patterns in the model’s decision-making process, but also understand the features of its internal structure. In this paper, we analyze the changes in the internal representation of the BERT model when it is trained with additional grammatical modules and data containing new grammatical features (polypersonality). We find that adding even a single grammatical layer causes the model to separate the new and old grammatical systems within itself, improving the overall performance on perplexity metrics.

Высокоуровневая семантическая интерпретация структуры статических моделей для русского языка

2023 · ARTICLE · ru

ной и практической деятельности. С течением времени стало понятно, что необходима разработка новых методов интерпретации расположения слов в векторном пространстве. Существующие методы включали рассмотрение узкого круга аналогий либо кластеризацию пространства. В последние годы активно развивается подход на основе пробинга – анализа влияния небольших изменений в модели на результат. В этой работе мы предлагаем метод интерпретации расположения слов в векторном пространстве, применимый ко всему пространству в целом. Метод позволяет выявлять основные направления, вдоль которых выделяются наиболее крупные группы слов (около трети всех слов словаря), противопоставляемые друг другу по некоторым семантическим признакам, а также строить неглубокую иерархию таких признаков. Эксперименты были проведены на трех моделях, обученных на разных корпусах: Национальном корпусе русского языка, Araneum Russicum и коллекции научных статей из разных предметных областей. Для экспериментов использовались только имена существительные, входящие в словарь моделей. Рассмотрена экспертная интерпретация подобного разделения вплоть до третьего уровня. Набор и иерархия этих признаков отличаются для разных моделей, однако все они являются достаточно общими. Было обнаружено, что выделенные признаки разделения зависят от состава корпусов, на которых проводилось обучение моделей, их направленности и стиля. Полученное разделение не всегда коррелирует с принятым в области разработки онтологий. Так, совпадающим признаком является абстрактность или вещность объекта. Однако для моделей на верхнем уровне оказывается более важным разделение на повседневную/специальную лексику, архаичную лексику, разделение на имена собственные и нарицательные. В статье приведены примеры слов, входящих в полученные группы.

Towards A Corpus-Based Dictionary Of Verbal Government For The Russian Language

2023 · ARTICLE · en

This paper introduces a technique for automatic verbal governance extraction in the Russian language, which encapsulates information on the grammatical features of verb-noun co-occurrences, encompassing both prepositional and non-prepositional dependencies. The construction of the dictionary, a corpus of approximately 3.5 billion words was used. The proposed method involves syntactic parsing of the texts, filtering of resultant outputs, and creating a dictionary of prepositional government. After error filtering, the dictionary contains ca. 18,000 verbs along with NP/PPs governed by these verbs.

Новые индексы соотношения зубов и ширины зубных рядов у мужчин и у женщин

2023 · ARTICLE · ru

При диагностике пациентов с зубочелюстно-лицевыми аномалиями используют, в частности, индекс Болтона и индекс Тона. Их применяют при антропометрии зубов и зубных рядов. Эти индексы были вычислены на основании исследования ограниченного числа пациентов, в том числе прошедших ортодонтическое лечение. Считается, что соотношение суммы размеров зубов должно идеально соответствовать норме. В статье показано, что у пациентов с нормальной окклюзией данные индексы (коэффициенты) могут значительно различаться. Более того, индексы для мужчин и для женщин также различаются, хотя и незначительно. В связи с этим вместо единственного значения индекса предлагается ввести интервалы, попадание в которые может считаться нормой.

Визуальная интерпретация статического векторного пространства для текстов на русском языке

2022 · ARTICLE · ru

С момента появления статических векторных представлений слов было известно, что в них работает задача аналогий. В ней утверждается, что можно найти такой вектор, который переносил бы одно слово в другое, заменяя при этом некоторый признак. Также было известно, что задача аналогий не всегда решается качественно, в связи с чем возникла задача исследования свойств векторных семантических пространств. В данной работе мы вводим метод визуальной интерпретации такого пространства. Основой метода является использование тематических коллекций слов, разделение векторного пространства при помощи метода LSA и визуализация результатов с использованием тепловых карт. В ходе экспериментов мы обнаружили, что векторные пространства могут быть интерпретированы не только на локальном, но и на глобальном уровне. Разделение пространства на части при этом зависит от набора текстов, на котором проводилось создание этого пространства. Метод оказался пригоден для выделения нескольких верхних уровней, так как при увеличении глубины анализа количество слов в группе сокращается экспоненциально.

A Comparison of Neural Networks Architectures for Diacritics Restoration

2021 · CHAPTER · en

Neural networks are widely used for the task of diacritics restoration last years. Authors use different architectures of neural network for selected languages. In this paper, we demonstrated that an architecture should be selected according to a language in hand. It also depends on a task one states: low and full resourced languages could use different architectures. We demonstrated that common used accuracy metric should be changed in this task to precision and recall due to the heavy unbalanced nature of the input data. The paper contains results for seven languages: Croatian, Slovak, Romanian, French, German, Latvian, and Turkish.

Chomsky Was (Almost) Right: Ontology-Based Parsing of Texts of a Narrow Domain

2021 · CHAPTER · en

Синтаксический анализ текстов предметной области при помощи онтологии

2021 · ARTICLE · ru

В работе проводится сравнение трех методов синтаксического анализа текстов жалоб пациентов, извлеченных из электронных медицинских карт. В качестве контрольного теста используются существующие библиотеки синтаксического анализа текста. В качестве альтернативы предлагается использование онтологии для исправления ошибок, допущенных синтаксическим анализатором, либо полное формирование синтаксических зависимостей по данным, хранимым в онтологии. В статье показано что ограниченный набор правил, описывающих управление падежами зависимых слов, может показывать точность, сопоставимую с точностью современных синтаксических анализаторов, основанных на нейронных сетях.