СОЗДАТЕЛИ: Спраг, Колин; Hu, Yu НАЗВАНИЕ: Alchemist ВЕРСИЯ: 2.0 ДОСТУПНО НА: http://linguistica.uchicago.edu/alchemist.html

Stephen Grimes, Университет Индианы

INTRODUCTION

Alchemist — это инструмент для морфологической аннотации, разработанный Колином Спрагом. и Ю Ху из Чикагского университета в рамках проекта Linguistica Project под руководством Джона Голдсмита. Общая цель проекта Linguistica состоит в том, чтобы разработать набор эвристик, которые могут производить неконтролируемый морфологический анализ языка. В рамках этой более широкой структуры основной функцией Alchemist является помощь в разработке золотого стандарта для оценки результатов морфологического анализа. Алхимик предназначен для использования лингвистом, который уже знаком с морфологией рассматриваемого тестового языка. В этом обзоре меня также интересует, является ли Alchemist более общей пользой для полевых лингвистов или морфологов, которые напрямую не заинтересованы в неконтролируемом изучении морфологии.

ОБЗОР ПРОГРАММЫ

При инициализации программы лингвист начинает с выбора используемых входных данных — это может быть либо корпус текстов, либо словарь (маркированный список слов). В целом, использование текущего корпуса текстов имеет преимущество перед использованием списков слов, поскольку корпус включает данные о распределении и частоте; кроме того, корпус содержит как производные, так и флективные морфологические формы, тогда как словарь может не содержать флективных форм. Конечно, качество ввода имеет первостепенное значение, так как текст, который не является одноязычным или не «очищенным» от случайных символов или знаков препинания, не очень полезен.

После завершения базовой настройки в Alchemist лингвист приступает к сложной задаче анализа слов и идентификации морфем. Каждая морфема имеет набор предопределенных атрибутов, которые необходимо указать (также возможны пользовательские атрибуты). Единственный атрибут, который необходимо указать, это то, является ли морфема корнем или аффиксом. Одной из наиболее интересных особенностей программы является то, что каждая морфема имеет атрибут уверенности, соответствующий убеждению лингвиста в том, насколько эта морфема «хороша» для языка. Это понятие не определено, а скорее соответствует «интуиции» лингвиста, которая, вероятно, руководствуется частотными, семантическими, морфофонологическими или морфологическими соображениями продуктивности. Так, например, английский глагольный суффикс -ing получит высокий рейтинг достоверности, в то время как английское множественное число -en (как в словах «дети» или «волы») получит низкий рейтинг, если его вообще следует считать морфемой. . Имея стратифицированную иерархию для морфем в языке, это устанавливает градиентную шкалу достоверности, которую неконтролируемый морфологический синтаксический анализатор попытается воспроизвести.

К сожалению, каждое слово необходимо анализировать отдельно, так как нет возможности разобрать невидимые слова на основе анализа предыдущих слов. Для большого корпуса этот процесс аннотации может показаться очень трудоемким и может включать многократное определение одной и той же морфемы. Когда морфологический анализ завершен, файл XML генерируется с использованием тегов и, как показано ниже для английского слова «singing». В приведенном ниже XML-представлении «пение» разделено на две морфемы, а граница морфем определяется значениями атрибута «начало».

Alchemist также может экспортировать морфологически аннотированный корпус в виде текста в виде таблицы, чтобы его было легче читать. для людей. Таким образом, Alchemist служит инструментом для разработки морфологически основанного корпуса для языка, который может служить самоцелью или быть первым шагом в направлении дальнейших исследований.

ОСОБЕННОСТИ ПРОГРАММЫ

Alchemist использует регулярные выражения (сопоставление с образцом) в различных модулях программы. Разработчики считают, что эта возможность сама по себе может быть причиной для использования Alchemist — у пользователя есть возможность искать в лексиконе любое слово, которое соответствует заданному шаблону. При инициализации Alchemist может «очистить» вводимый текст, используя встроенные или определяемые пользователем регулярные выражения, чтобы удалить нежелательные символы, такие как заголовки электронной почты. Примеры встроенных регулярных выражений включают возможность преобразования всех букв в нижний регистр, удаления цифр и удаления некоторых начальных и конечных знаков препинания. Синтаксис регулярных выражений должен быть знаком тем, кто привык к Perl, но теоретически графический интерфейс пользователя (GUI) в Alchemist делает использование этих регулярных выражений менее пугающим.

Лексикон можно просмотреть в одном из трех основных окон программы в различных порядках сортировки. Типичный порядок — в алфавитном или обратном алфавитном порядке (в алфавитном порядке справа налево, а не слева направо). iu]*$/).

Все морфемы имеют один обязательный атрибут: они должны обозначаться либо как аффикс, либо как корень. (Обратите внимание, что для составных слов становится полезной возможность иметь несколько морфем, помеченных как корни). Дополнительно можно указать следующие атрибуты:

Тип (корень, аффикс, суффикс, префикс, инфикс, другое) Часть речи (прилагательное, существительное, имя собственное, глагол, другое) Время (настоящее, прошедшее простое, прошедшее несовершенное, сослагательное наклонение) , Другое) Полярность (Утвердительное, Отрицательное) Лицо (1-е, 2-е, 3-е, Другое) Класс (Даны номера классов до 20, Другое) Число (Единственное, Двойственное, Множественное число, Другое) Пол (Женский, Мужской, Нейтральный, Другой)

Очевидно, что ни одна морфема не может иметь все вышеперечисленные атрибуты, поскольку некоторые из них более полезны для существительных или глаголов. Пользовательские атрибуты также разрешены для классификации более сложных морфологий.

Несколько экземпляров одного слова могут быть определены в случае, если одна орфографическая форма будет иметь несколько морфологических анализов. Примером, приведенным в документации к программе, является орфографическая форма, такая как «польский». У него есть как прилагательное, так и глагольное употребление: польский+иш (что-то из Польши) vs. польский (глагол). (Хочет ли кто-то различать «может» (чтобы быть в состоянии) и «может» (контейнер), это связанный, но второстепенный вопрос. В этой версии Алхимика семантика существует только в той мере, в какой слова определяются их категориями атрибутов.)

Лучшей формой справки для пользователя является не меню справки в программе, а файл .pdf, который можно загрузить с веб-сайта Alchemist. В справке некоторые функции описываются более подробно, чем другие, а некоторые аспекты программы оставлены несколько недокументированными, но в целом ее необходимо прочитать и, как правило, она весьма полезна. Специальная форма справки, доступная в самом Alchemist, используется при первом щелчке по значку «вопросительный знак», который изменяет состояние программы, так что следующий немедленный щелчок рассматривается как запрос справки по любому элементу, на который нажимают, хотя эта функция имел ограниченную реализацию.

ОЦЕНКА

В целом программа довольно удобна в использовании. Alchemist не перегружен опциями меню, поэтому функции программы легко найти, а процесс обучения довольно быстрый. Разумное использование цвета для выделения морфем также визуально весьма привлекательно.

К сожалению, мне удалось найти способы «свернуть» программу. Некоторые случаи критического сбоя происходили, когда я произвольно щелкал в разных окнах, чтобы увидеть, какие функции доступны. Другие сбои, похоже, происходили при работе с функцией слияния морфем. Как упоминалось выше, отдельные экземпляры омографических морфем изначально рассматриваются как отдельные морфемы. Это значение по умолчанию выгодно, когда в языке много морфем, которые звучат одинаково, например -s в английском языке (используется как маркер множественного числа, притяжательного наклонения и третьего лица единственного числа). Однако это обременительно, когда нужно явно объединить все экземпляры морфемы, чья фонетическая форма недвусмысленна, например, английское -tion. Функция слияния изменяет внутреннюю структуру хранения морфологического словаря, и я подозреваю, что сбои программы могут быть вызваны повреждением внутренней памяти.

Кроме того, мне было неясно, как «разъединить» две морфемы после их слияния. Одно из решений состоит в том, чтобы удалить слово из базы данных, а затем создать новую запись для его замены, но я подумал, что должен быть более простой способ сделать это (и, возможно, он есть, хотя он не очевиден).

Ряд лингвистических ограничений Alchemist возникает из-за ограниченного определения того, чем может быть морфема. Здесь морфология считается морфологией без лежащих в основе форм, а парадигмы существуют только в той мере, в какой слова имеют общие подстроки. Из-за характера представлений морфема должна состоять из положительного целого числа сегментов/фонем. Учитывая гипотетическую основную форму / mi / + / ig /, реализованную как [mig], сегмент [i] является общим для двух морфем. В Alchemist возможности для абстракции ограничены — ни /mi/ + /g/, ни /m/ + /ig/ не были бы идеальными сегментациями, но здесь приходится принимать решение. (Возможно, этот сценарий является кандидатом на использование уровня достоверности Alchemist для более низкой оценки этих конкретных морфем, но это не идеально, поскольку в целом нет четкой связи между морфологической продуктивностью и фонологической непрозрачностью.)

Точно так же морфологический процесс, такой как умлаут, циркумфиксация, или тот, который относится непосредственно к не-сегментному или надсегментному, как, например, в мораической морфологии, будет проблематичным в Alchemist. В конечном счете, лингвист несет ответственность за определение того, что считать привативом в языке (алфавите), и некоторые творческие изменения в базовом представлении могут облегчить проблемы. Например, в тональном языке, где морфология чувствительна к высокому или низкому тону гласной, можно удвоить количество гласных, чтобы создать экземпляр высокого и низкого тона каждой гласной, чтобы представить эту морфологию. в Алхимике. В целом, однако, без учета множественных зависимостей между отдельными поверхностными сегментами и несегментными объектами представляется сложным установить разумный «морфологический золотой стандарт» для большинства языков, за исключением, возможно, китайского.

В целом, однако, я считаю Alchemist отличной разработкой, поскольку в общедоступных корпусах с морфологическими аннотациями явно недостаточно. Однако возможное использование таких корпусов не ограничивается только морфологическим обучением. Точно так же, как вычислительные ресурсы позволили фонотактике стать вероятностной, расширение доступности инструментов для создания морфологически аннотированных корпусов позволит продолжить развитие вероятностной морфотактики. Точно так же двуязычные параллельные корпуса с морфологической аннотацией могут привести к развитию машинного перевода. Будут ли возможности регулярных выражений Alchemist в конечном итоге использоваться менее технически подкованными лингвистами, еще неизвестно, но этот аспект программы потенциально может быть использован фонологами для поиска важных примеров слов заданной фонологической формы. Я бросаю вызов и призываю всех, кто заинтересован, рассмотреть особенности программы, чтобы найти ее потенциальное применение в различных областях лингвистики.