Лингвистика 581

Преобразователи морфологии и конечных состояний

Морфологический анализ: поиск морфологических составляющих

1. сердито = злой + лукавый
2. доказано = доказать + en
3. * убежище = иметь + ан
4. утки = утка + мн. ч.
5. утки = утка + 3rdsg
6. земля = земля (N, sg)
7. шлифовка = шлифовка + pst
8. неопровержимость = неопровержимо + отрицаю + способно + ит

Часть речи: класс слов, которые имеют много общих свойств. (подробнее позже). Примеры: существительные, глаголы.

Перегиб против происхождения

1. утка против утки, кошка против кошки, бык против быка: Все существительные имеют форму множественного числа (почти?: оборудование, аппарат, мебель, пехота)
2. ходьба или ходьба, разговоры и разговоры, курение и курение: все существительные имеют -ing формы (герундий, причастие настоящего времени)
3. Испанский глагол amare («любить»)

ходить = ходить + ing
Форма = основа + суффикс

Звуковая система против правописания

1. английские согласные
2. английских гласных

Алломорфия: множественное число с

1. fox: лисы, /fa aak s/ + /ax z/
2. собака: собаки, /d ao g/ + /z/
3. утка: утки, /d uh k/ + /s/
4. лилли: лилии, /l ih l i/ + /z/

В этой главе мы занимаемся орфографией. Это означает, что мы касаются правил правописания вместо фонологические правила для алломорфии. Мы оперируем орфографическими представлениями не фонетические представления.

Продуктивное окончание: [s] (морфема s, с его фонологически предсказуемые алломорфы) по сравнению с неправильными формами. Обратите внимание, что многие неправильные формы не образованы аффиксацией.

Морфологический анализ слова:
Основа плюс различные морфологический особенности слова, независимо от того, они сигнализируются аффиксацией.

Мы предполагаем, что категория является морфологическим признаком.

Анализ и распознавание

Морфологическое распознавание: Принимает и отклоняет формы:

Принять: гуси
Отклонить: гуси

Морфологический анализ производит морфологический анализ (сначала корень, за которым следует категория основы, за которой следуют все аффиксы):

гуси: гусь + N + PL
гусь: гусь + N + SG, гусь +V +3SG
молотый: молотый +N +SG, молотый +V +PPart

Соприкасающаяся поверхность и «лежащая в основе» формы

Морфотактическое распознавание

Морфотактика синтаксис морфем: в каком порядке они зайдите, какие единицы они делают.

Базовый морфотактический факт об аффиксах в том, где они присоединяются к по отношению к стволу.

Префикс* + основа + суффикс*
Аффикс — это либо префикс, либо суффикс (английский)

выполнимость = сделать + способность + ity
* doityable = сделать + ity + способность

Использование FSA для распознавания

• Автомат класса Word: морфотактика
• Лексикон принят для распознавания
  1. Все основы с прикрепленной информацией о классе слов
     • лиса, вино: обр.-существительное
     • гуси, рыба, штаны: irreg-pl-существительное
     • гусь, рыба, оборудование, растопка: irreg-sg-существительное
  2. Все аффиксы
• Слово-автомат: распознаватель
• Распознает «морфотактические цепочки», а не поверхностные цепочки Английский («лисы», а не «лисы»). Отсутствующий вид информация.
• Нам нужен реализационный правила, которые говорят нам: fox + s => foxes.
  В фонологических представлениях это будут правила алломорфии. О графических изображениях это правила правописания.

Датчики конечных состояний

Мы представляем Преобразователи конечного состояния , увеличение FSA, в которых есть две ленты

• Автомат двухленточный, верхняя лента — лента «основного представления», а нижняя «поверхностное представление»

  Основная идея: FST — это то же самое, что FSA, на котором расположены дуги. помечен парами символов, базовый символ и символ поверхности. Дугу и можно взять на всякий случай текущий символ сверху лента соответствует основному символу представления на и и текущий символ на нижней ленте соответствует символу представления поверхности на a .

  • Переход с маркировкой a:e означает «а», поскольку базовое представление соответствует «e» как представление поверхности
  • Переход «а» (без двоеточия) является аббревиатурой для «a: a», что означает «a» как базовое представление соответствует «а» как представлению поверхности.

  Преобразователи с конечным числом состояний (FST) дайте нам технологию сделать разбор.

  Мы представляем, что начинаем с лента представления поверхности, содержащая поверхностное слово в качестве входных данных. Наша задача – заполнить базовое представительство, лицензированное FST. Или, в неоднозначных случаях, заполнить ВСЕ нижележащие представительства, лицензированные FST.

  Преобразователи с конечным числом состояний дают нам технологию для работы создание поверхностных форм

  Мы представляем, что начинаем с основная лента представления, содержащая базовое представление в качестве входных данных. Этот может состоять из последовательности аффиксов и основ и морфологические признаки взяты из лексикона:
  могу ли я
  Наша работа заключается в том, чтобы найти соответствующее изображение поверхности, лицензированное FST, , если есть . Для этого примера есть нет, но для
  сделать в состоянии ит
  есть.

  Мы свяжем поверхность с нижележащими формами через «промежуточное» морфотактическое представление. Для этого потребуются два отдельных FST, один из которых связан с Furface. к промежуточным представлениям, относящимся промежуточные по отношению к базовым представлениям.

  Относительно лежащего в основе промежуточного (морфотактического) представления:

  1. Морфологический лексикон просто большой FST связывает основы с морфологическими классами слов
     1. Основы, связанные с информацией о классе слов
        • лиса, вино; регулярное существительное
        • гуси, рыба, штаны; нерег-пл-существительное
        • рыба, оборудование, растопка; нерег-sg-существительное
     2. Осложнение — неправильное множественное число, связанное с непредсказуемое единственное число:
        
        g &nbsp o:e &nbsp o:e &nbsp s &nbsp e  нерег-пл-существительное
        m &nbsp o:i &nbsp u:eps &nbsp s:c &nbsp e  нерег-пл-существительное
        
        
  2. FST, который фиксирует эту информацию
  3. Нам также необходимо связать информацию о классе слов к морфологическому Особенности и морфотактическая информация: преобразователь словесного класса
  4. «Состав» этих двух преобразователей
  5. Лингвистически картинка приятная:
     Преобразователь от основного к промежуточному сам состоит из из двух преобразователей, большой из которых фиксирует морфологические классы слов для стеблей и маленький, который фиксирует морфотактику из классов слов.

Отношение промежуточного (морфотактического) представления к поверхности (орфография правила).

Проблема

1. попрошайничество + инг = попрошайничество: удвоение согласных
2. mak + ing = изготовление: e-удаление
9, нет #.
3. Эта машина предназначена для того, чтобы оставлять каждое слово, которое правило НЕ относится к неизменным.
4. Состояние 0 является нерелевантным состоянием ввода. Мы остаемся в состояние 0, пока мы не увидим что-то важное. Состояние 0 является конечным состоянием.
5. Состояние 1 означает, что мы нашли {s,x,z}. Состояние 2 означает, что мы нашли границу морфемы.
6. Состояние 2 — это состояние готовности к правилу . мы видели морфема заканчивается на {s,x,z}.
9:eps переход из состояния 5 в состояние 2.
Правило требует электронной вставки только перед окончание слова с. ) в порядке. И видя граница морфемы, мы возвращаемся к состоянию 2, потому что это состояние готовности к правилу, подходящее когда мы видели морфему, оканчивающуюся на s.
7. Переход {z,s,x} от 5 к 1. Это упражнение 3.10.

Использование правила электронной вставки при разборе:

• Правильный анализ
  &nbsp

  Underlying	&nbsp	&nbsp	&nbsp	&nbsp	&nbsp	&nbsp	&nbsp
  Государственный
  Поверхность	a	s	s	e	s	s	#

  9007

  Базовый	a	s	s	e	s	s	#	eps	с
  Состояние	0	1	1	2	3	4	отказ
  Поверхность	a	s	s	eps	e	s	s	#	#

  Смитсоновский проект истории синтеза речи (dk_773.

  htm)

  времени с помощью морфологической декомпозиции, запутанных ситуаций когда поверхностная форма не содержала молчаливого «е» (задыхаться -> задыхаться + ing), имело место удвоение согласных (опущено -> опущено + ed) или последний «y» был изменен (города -> город + s). Джонатан Аллен и Дебора Финкель расширила эти методы, увеличив морфему словарь до 12 000 наименований (Allen и др. ., 1979; Allen и др. ., 1987). Морфемы были выбраны путем интерактивного изучения примерно 50 000 уникальных слов в корпусе Брауна, выборка из один миллион слов текста (Кусера и Фрэнсис, 1967).13 Аллен и др. . (1979) также разработали правила рассмотрения случаев, когда слово имеет несколько разборов (например, « дефицит » = « дефицит + ити » или « шрам + город «). Одно из правил, проиллюстрированное этим примером, состоит в том, что проставление скорее, чем компаундирование. Ни одно из этих указаний не является абсолютным, поэтому, сравнивая два альтернативных морфемных разложения, авторы вызвал набор эвристических процедур оценки, посредством которых данный морфемное деление влечет за собой штраф в зависимости от того, что было произошло до сих пор. Этот алгоритм подсчета очков выбирает правильный разложение для «формально» из множества (форма+все+у, for+mall+y, form+ally, form+al+ly). Если после всего этого вычисления, слово оказалось исключением из разбора эвристика (например, « был «не произносится» как « быть » + « -en «), весь слово было добавлено в лексикон морфем в неразборном form.14 Ан альтернативный метод работы с флективными суффиксами, деривационные аффиксы и составление обсуждается в церкви (1985, стр. 251). Некоторые морфемы произносятся по-разному в зависимости от ударения в слове и характера присутствуют другие морфемы (обратите внимание на вторую « o » из « фото » есть фонематически реализуется как в « фото «, « фото «, « фото » соответственно). Группа MITalk разработала правила для обработки некоторых из этих случаев, и просто добавил целые полиморфные слова в лексикон, если правило было слишком сложным или недостаточно продуктивным. Разложение по морфемам Алгоритм способен анализировать около 98% слов в типичном тексте и должен иметь большую точность чем правила преобразования букв в фонемы. Точная точность MITalk алгоритм декомпозиции морфем никогда не измерялся, хотя беглый взгляд на текст из трех абзацев (Аллен и др. ., 1987, стр. 89-92) указывает на несколько (легко исправимых) ошибок, а процент правильных слов составляет всего около 95%. Одним из преимуществ словаря морфем, помимо способности правильно делить сложные слова, состоит в том, что набор из 12 000 морфем может представлять более 100 000 английских слов. Таким образом, очень большой словарный запас достигается при умеренных затратах на хранение. Однако самый большой Преимуществом словаря морфем может оказаться его способность передавать информацию о частях речи синтаксическому анализатору, чтобы для улучшения просодии предложений см. ниже. Недавняя работа в Bell Laboratories (Coker, 1985) расширила этот подход путем увеличения лексикона морфем до 43 000 морфем, и добавление к правилам анализа суффиксов и префиксов и ударения переназначение суффиксов, меняющих ударение. Алгоритм и лексикон морфем занимает около 900 кбайт в режиме реального времени. доска для преобразования текста в речь (Олив и Либерман, 1985). 4. Имена собственные Имена собственные представляют собой особую проблему, поскольку правила их произношение часто зависит от того, какой язык считается лежащее в основе происхождения написания (Либерман, 1979). Коммерческий система, которая лучше всего подходит для произношения имен собственных, новейшая Плата Speech Plus Calltext по-прежнему имеет уровень ошибок около 20% в свой компонент правил при столкновении со случайными именами собственными (Райт и др. , 1986). Черч (1985) недавно предложил решение эта проблема, которая включает в себя статистику частоты возникновения трехбуквенных последовательностей на каждом из нескольких языков. Первый шаг должен использовать эту статистику, чтобы оценить языковую семью неизвестное слово. Для слов средней длины он находит, что часто та или иная буквенная тройка в слове по существу правил все, кроме правильного языка. Второй шаг – применение стресса. и правила преобразования букв в фонемы для рассматриваемого языка. Производительность утверждается, что она намного превосходит любую систему, ограниченную единый набор правил для всех имен собственных. Важность выполнения имена собственные по правилу выявляются статистическим анализом, показывающим что словари с большими именами не решают проблему. Исключения словарь, содержащий 2000 имен собственных, покроет около 50% имена в случайном телефонном справочнике, и 6000 имен собственных будут охватывают около 60%. Однако добавление в словарь исключений за пределы 6000 имён по существу бесплодны в том смысле, что одно не может получить вне асимптоты около 62% имен в одном телефоне каталог, независимо от того, сколько имен получено из другого справочник (Церковная, 1985). C. Синтаксический анализ Наложение соответствующего просодического контура на предложение требует хотя бы частичный синтаксический анализ. Кроме того, некоторые двусмысленность произношения может быть разрешена с помощью синтаксической информации. Например, существует более 50 многозначных слов существительного/глагола, таких как как « разрешение «, которые произносятся с ударением на первый слог если существительное, и с ударением на втором слоге, если глагол (см. Приложение D в Конрой и др. ., 1986). Единственный способ произнести эти слова правильно, чтобы выяснить синтаксическую структуру ввода предложение, включая расположение глаголов. Правильная формулировка умеренно длинные предложения также требуют знания местонахождения границы фраз. Таким образом, было бы весьма желательно включить парсер в системе преобразования текста в речь. Хотя существуют мощные стратегии синтаксического анализа (см., например, Woods, 1970; Aho и Ульман, 19 лет72; Маркус, 1980 год; Каплан и Бреснан, 1982), они склонны производить множество альтернативных синтаксических анализов даже для предложений, которые кажутся просто и однозначно. Например, «Время летит, как стрела». умножить неоднозначность на синтаксическом уровне ; система синтаксического анализа потребует огромного запаса знаний о мире (семантика/ прагматика) вести себя так, как мы, и сосредоточиться сразу на единственном разумная структурная интерпретация предложения. Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт