младший научный сотрудник
Junior Research Associate
кандидат филологических наук, директор, старший научный сотрудник
Введение. Калмыцкий язык представляет особые трудности для обработки естественного языка из-за своей богатой агглютинативной морфологии и ограниченных доступных ресурсов. Цель — проанализировать различные нейросетевые модели грамматического анализатора для калмыцкого языка. Материалы и методы. Для обучения выбраны несколько нейросетевых моделей: Lemma Accu-racy, Lemma Le-venshtein Distance, Morph Accuracy, Morph F1. Применялись методы обучения нейросетевых моделей, методы анализа, сравнения. Для обучения использовался датасет, состоящий из тренировочной части в объеме 2 495 предложений (в их числе 35 049 токенов), валидационной части в объеме 311 предложений (в их числе 3 991 токена), тестовой части в объеме 313 предложений (в их числе 3 627 токенов). Результаты. В данной статье предлагается высокопроизводительный морфологический анализатор для калмыцкого языка, использующий методы нейронных сетей. Анализатор способен совместно предсказывать леммы и морфологические теги для каждого слова в предложении. Из-за нехватки данных морфологические анализаторы для языков с низкими ресурсами часто используют основанные на правилах и статистические подходы. Однако существует мало исследований, основанных на подходах глубокого обучения. Во-первых, наша модель использует вложения слов на основе символов и контекстуальных вложений, сгенерированных предобученной кросс-языковой моделью XLM-RoBERTa. Во-вторых, предлагаемая модель основана на последовательной архитектуре, которая вводит поверхностные слова и предсказывает минимальные действия редактирования между поверхностными словами и леммами вместо предсказания символов в леммах. В-третьих, наша система не требует предобученных вложений для калмыцкого языка и дополнительных инструментов морфологической сегментации. Мы провели несколько экспериментов, чтобы показать, что наша модель превосходит другие модели.
Introduction. Kalmyk language presents unique challenges for NLP due to its agglutinative rich morphology and limited available resources. The objective is to consider various neural network models of grammar analysis for the Kalmyk language. Materials and Methods. Several neural network models were selected for training: Lemma Accuracy, Levenshtein Lemma Distance, Morph Accuracy, Morph F1. Neural network model training methods, analysis, and comparison methods were used. The training dataset used consisted of an organizational part in depth of 2 495 sentences (including 35 049 tokens), a validation part in depth of 311 sentences (including 3 991 tokens), and a test part in depth of 313 sentences (including 3 627 tokens). Results. This paper proposes a high-performing morphological analyzer for Kalmyk language using neural network techniques. The analyzer is able to jointly predict a lemmata and morphological tags for each word in a sentence. Due to the scarcity of the data, morphological analyzers for low-resource languages often utilizes rule-based and statistical approaches. However, there are few studies based on deep learning approaches. Firstly, our model inputs word embedding based on characters and contextual embeddings generated by the pretrained cross lingual model XLM-RoBERTa. Secondly, the proposed model is based on a sequential architecture which inputs surface words and predicts minimum edit actions between surface words and lemmas instead of predicting characters in lemmas. Thirdly, our system does not require pretrained embeddings for the Kalmyk language and additional morphological segmentation tools. We conducted several experiments to show that our model outperforms other models.
The authors declare that there are no conflicts of interest present.