Грамматическая интуиция и алгоритмы нейросетей: как современные языковые модели воспринимают русский язык


Грамматическая интуиция и алгоритмы нейросетей: как современные языковые модели воспринимают русский язык

На фестивале НАУКА 0+ младший научный сотрудник кафедры теоретической и прикладной лингвистики филологического факультета МГУ имени М.В. Ломоносова Ксения Андреевна Полякова (Студеникина) провела лекцию «Грамматика русского языка глазами нейросети: что умеют современные языковые модели». Она рассказала, как исследователи оценивают грамматическую интуицию моделей и насколько их оценки приемлемости предложений совпадают с оценками носителей языка.

Как нейросети предсказывают текст

В основе работы языковых моделей лежит предсказание следующего слова по предыдущему контексту. Лектор пояснила механизм на простом примере. Если подать в модель слово «я», она ищет наиболее вероятное продолжение, например, «помню». На следующем шаге, имея контекст «я помню», система предложит слово «чудное». Модель постоянно продолжает предложение, опираясь на вероятности и закономерности, усвоенные при обучении на большом количестве текстов.

Современные большие языковые модели отличаются от классических алгоритмов тем, что воспринимают запрос пользователя как инструкцию к выполнению. Ранние системы просто продолжали стихотворение А.С. Пушкина, а современная модель по прямому запросу напишет новое стихотворение в стиле автора. Это возможно благодаря обучению на наборах данных, состоящих из инструкций и примеров выполнений подобных заданий. Два основных способа формулировки запроса – режим zero-shot, когда дается только инструкция, и режим few-shot, когда пользователь приводит несколько примеров решения задачи.

Инструменты измерения – бенчмарки

Языковых моделей существует множество. Их нужно сопоставлять, чтобы выбрать оптимальную для конкретных задач. Для этого используют бенчмарки – наборы данных с задачами и эталонами их решения. При тестировании ответы модели сравнивают с идеальными, вычисляют долю правильных ответов и составляют рейтинг.

Лектор привела примеры двух типов бенчмарков. Первый оценивает общие представления модели о мире и логические связи. Один из таких тестов – MMLU (Massive Multitask Language Understanding): модель выбирает правильный вариант ответа на вопрос. Другой пример проверяет умение устанавливать логическое следование между двумя предложениями-посылками. Это бенчмарк TERRa (Textual Entailment Recognition for Russian). Второй тип бенчмарков анализирует более тонкие лингвистические способности, например, знание грамматики. Сюда входят тесты на основе минимальных пар, где предложения различаются лишь одной ошибкой – BLiMP (The Benchmark of Linguistic Minimal Pairs) и CoLA (Corpus of Linguistic Acceptability).

Проблема вариативного согласования

Центральной темой лекции стали сложности в оценке грамматики. Не всегда получается точно сказать, правильно ли составлено предложение. Существует понятие грамматической корректности, но важны и факторы употребления. Носители языка часто сомневаются, можно ли так сказать, когда встречают редкие слова или сложные синтаксические конструкции.

Особое внимание лектор уделила вариативному согласованию. Она привела в пример конструкции с количественными существительными: фраза «Двое из нас придут в гости» кажется наиболее приемлемой, вариант «Двое из нас бредёт в гости» также допустим, а сочетание «Двое из нас придёт в гости», скорее всего, будет воспринято как ошибочное. Для изучения подобных явлений в теоретической лингвистике проводят эксперименты: носители оценивают предложения по шкале от одного до семи. Метод выявляет градацию приемлемости, а не просто делит фразы на правильные и неправильные.

Оценка моделей и роль русскоязычных данных

Научная группа, в которой работает лектор, провела более двадцати экспериментов с участием около ста носителей языка. На основе этих данных создан особый  бенчмарк – корпус вариативного согласования в русском языке, включающий более 7000 предложений. При тестировании моделей исследователи воспроизвели метод оценки приемлемости: нейросеть просили поставить предложению оценку от одного до семи.

Результаты показали, что модели лучше справляются с однозначным согласованием, чем с вариативным. Лектор подчеркнула, что количество параметров – важный фактор, однако русскоязычность модели компенсирует их меньшее число. Для оценки тонких языковых явлений модели должны видеть много данных на соответствующем языке. 

«Модели улавливают некоторые универсальные закономерности. О вариативном согласовании. И именно то, что они видели данные на разных языках, помогает им справляться с этой задачей»

Оценка языковых моделей – сложная научная задача. Грамматическая интуиция, базовая для человека, для моделей должна быть представлена в точных измеримых показателях. Современные нейросети в ряде аспектов уже близки к уровню носителя, однако вариативные явления языка остаются для них наиболее трудной областью.


Автор: Ксения Дежина