CS 440 / ECE 448
Осень 2019
Маргарет Флек

Лекция 19: НЛП 2

Боути Макбоутфейс (от BBC)

На последнем занятии мы набросали процесс получения из речи или сырого (потенциально беспорядочный) ввод текста в чистую последовательность слов.Под словом я подразумеваю кусок размера, удобного для последующих алгоритмов (например, синтаксический анализ, перевод).

Часто это стандартное письменное слово. Но это может быть объединением стандартных слов, если они неудобно короткие (например, китайский) или частичное слово на языках (например, турецком, немецком), слова которых неудобно долго. Это может означать морфему, т.е. минимальная смысловая единица, что они обычно считаются слишком короткими.

Найдите слова, морфемы

Модели понимания человеческого языка обычно предполагают, что первый этап, который производит достаточно точную последовательность телефонов.(На практике это не всегда так.) Последовательность телефонов должна затем сегментируется на последовательность слов с помощью алгоритма «сегментации слов». Процесс может выглядеть так, где # обозначает буквальная пауза в речи (например, говорящий переводит дыхание).

ВХОД: ohlThikidsinner # ahrpiyp @ lThA? HAvkids # ohrThADurHAviynqkids
ВЫХОД: ohl Thi kids inner # ahr piyp @ l ThA? HAv kids # ohr ThADur HAviynq kids

В стандартном письменном английском это будет «все дети там # — это люди, у которых есть дети # или у которых есть дети».

Затем эти слова необходимо разделить на морфемы с помощью алгоритма «морфологии». Слова на некоторых языках могут быть очень длинными (например, турецкий), что затрудняет для дальнейшей обработки, если они (хотя бы частично) не разделены в морфемы. Например:

без ответа -> без ответа
предварительных условий -> предварительные условия

Системы, начинающиеся с текстового ввода, могут столкнуться с аналогичной проблемой сегментации. Некоторые системы письма не ставят пробелы между словами.

Системам NLP также может потребоваться объединить входные блоки в более крупные. Например, системы распознавания речи могут быть настроены на преобразовать в последовательность коротких слов (например, «база», «мяч», «компьютер», «наука») даже когда они образуют узкую смысловую единицу («бейсбол» или «информатика»). Это особенно важная проблема для таких систем письма, как Китайский язык. Рассмотрим эту хорошо известную последовательность из двух символов:

Чжун + гуу

Исторически это два слова («середина» и «страна») и два символы появляются в письменной форме без явного указания на то, что они образуют единицу.Но на самом деле это одно слово, означающее Китай. Группирование входных последовательностей символов в одинаковые смысловые единицы — важный первый шаг в обработке китайского текста.

Фонология

В приведенном выше примере сегментации обратите внимание, что «там» слилось во «внутреннее» с «ым» звук меняется, чтобы стать похожим на предшествующее ему «n». Этот вид «фонологическое» изменение звука делает и распознавание речи, и слово сегментация намного сложнее. На практике на ранних этапах распознавания речи возникают ошибки. последовательности фонем, которые необходимо исправить при дальнейшей обработке.

Сочетание проблем обработки сигналов и фонологических изменений означает, что на практике современные распознаватели речи не могут транскрибировать речь в последовательности телефонов без какого-либо более широкого контекста. Большинство распознавателей используют простую (ngram) модель слов и слов. чтобы исправить необработанное распознавание телефона и, следовательно, произвести слово последовательности напрямую. Таким образом, фактическая последовательность этапов обработки зависит от приложения и говорите ли вы о производственных компьютерных системах или моделях понимание человеческого языка.

POS-теги

Чтобы сгруппировать слова в более крупные единицы (например, предложные фразы), Первым шагом обычно является присвоение тега «части речи» (POS) каждому слову. Вот пример текста из корпуса Брауна, который содержит очень чистый письменный текст.

Северные либералы — главные сторонники гражданских прав и интеграция. Они также привели нацию к государство всеобщего благосостояния.

Вот версия с тегами. Например, «либералы» — это ННС, которая существительное во множественном числе.«Северный» — прилагательное (JJ). Наборы тегов должны различать основные типы слов (например, существительные и прилагательные) и основные варианты, например единственное и множественное число существительных, настоящее и прошедшее время глаголы. Также есть несколько специальных тегов ключевые функциональные слова, такие как HV для «иметь», и пунктуация (например, точка).

Северные / jj либералы / nns являются / ber сторонниками / at вождя / jjs / nns из / в гражданских / jj прав / nns и / cc of / в интеграции / nn ./. Они / ppss иметь / hv также / rb led / vbn the / at nation / nn in / in / in the / at direction / nn в / в а / в благосостоянии / нн государстве / нн./.

На чистом тексте хорошо настроенный POS-теггер может обеспечить точность около 97%. Другими словами, POS-тегеры достаточно надежны и в основном используются в качестве стабильная отправная точка для дальнейшего анализа.

Разбор

Если у нас есть теги POS для слов, мы можем собрать слова в дерево разбора. Есть много стилей построения деревьев синтаксического анализа. Здесь — это дерево избирательных округов из банка деревьев Пенсильвании (от Митча Маркуса).

Дерево синтаксического анализа в стиле Penn treebank (от Митча Маркуса)

Альтернативой является дерево зависимостей , подобное приведенным ниже из Лаборатории Google.Достаточно недавний парсер из них называется «Парси МакПарсфейс», после Великобритании Боути Макбоутфейс, показанный выше.

В этом примере левое дерево показывает правильное вложение для слов «в ее машине», то есть изменение слова «водил». Правое дерево показывает интерпретацию, в которой улица находится в машине.

Лингвисты (вычислительные и другие) вели длительные споры по поводу лучший способ нарисовать эти деревья. Однако закодированная информация всегда довольно похожи и в первую очередь связаны с объединением слов образуют связные фразы e.г. «государство всеобщего благосостояния». Это довольно похоже к разбору языков программирования, кроме программирования языки были разработаны, чтобы упростить синтаксический анализ.

Парсеры делятся на две категории

• Unlexicalized: используйте только теги POS для построения дерева.
• Классы слов: вне части речи определить общий тип объект или действие (например, человек против транспортного средства)
• Lexicalized: также включить некоторую информацию о слове идентичность / значение

Ценность лексической информации иллюстрируется предложениями. как это, в котором изменение существительная фраза меняет предложную фразу изменяет:

Она шла по улице..

в ее грузовике. (изменяет идущий)
в новом наряде. (изменяет тему)
в Южном Чикаго. (изменяет улицу)

Лексикализованы лучшие парсеры (точность до 94% от Google). Парсер «Parsey McParseface»). Но неясно, сколько информации о слова и их значения. Например, должна ли «машина» всегда вести себя как «грузовик»? Более подробная информация помогает принимать решения (особенно вложение) но требует больше данных для обучения.

Подробнее о наборах ярлыков

Обратите внимание, что набор тегов для корпуса Brown был несколько специализированным. для английского языка, в котором формы «иметь» и «быть» играют важную синтаксическую роль. Для наборов тегов для других языков потребуются некоторые из тех же тегов (например, для существительные), но и категории для типы служебных слов, которые не используются в английском языке. Например, для набора тегов для китайцев или майя потребуется тег для числовых значений. классификаторы, то есть слова, которые идут с числами (например, «три»). для обозначения примерного типа перечисляемого объекта (например,г. «table» может потребоваться классификатор для больших плоских объектов). Непонятно, лучше ли иметь специализированные наборы тегов. для определенных языков или один универсальный набор тегов, который включает основные функциональные категории для всех языков.

Наборы тегов различаются по размеру в зависимости от теоретических предубеждений люди, создающие аннотированные данные. Меньшие наборы этикеток передают только основная информация о типе слова. Более крупные наборы включают информацию о том, какую роль играет слово в окружающем контексте.Образец размеры

• Penn treebank 36
• Коричневый корпус 87
• «универсал» 12

Разговорный разговорный язык также включает в себя функции, которых нет в письменной речи. В приведенном ниже примере (из корпуса Switchboard) вы можете увидеть заполненную паузу «э-э», а также обрыванное слово «т-». Также обратите внимание на то, что первое предложение разбито на парантийный комментарий («вы знаете»), и третье предложение обрывается в конце. Такие функции усложняют анализ разговорной речи, чем письменный текст.

Я был бы очень осторожен и проверял их. Нашей, пришлось поместить мою мать в дом престарелых. У нее был довольно массивный инсульт о … о …

Я / PRP ‘d / MD быть / VB очень / RB очень / RB осторожно / JJ и / CC, /, ээ / UH, /, вы / PRP знаете / VBP, /, проверяете / VBG them / PRP out / RP ./. Э-э / э-э, /, наш / PRP $, /, имел / VBD t- / TO, /, place / VB my / PRP $ mother / NN in / IN a / DT сестринский уход / NN дом / NN ./. Она / ПРП была / ВБД а / ДТ скорее / РБ массивная / JJ инсульт / нн о / рб, /, э / э, /, о / рб — /:

перевод

Еще одно низкоуровневое приложение — это перевод.Чтобы узнать, как делать перевод, мы можем выровнять пары предложений на разных языках, сопоставляя соответствующие слова.

Английский: 18-летние не могут покупать алкоголь.
французский язык: Les 18 ans ne peuvent pas acheter d’alcool

Обратите внимание, что некоторые слова не имеют совпадений на другом языке.Для других пар в языках могут быть радикальные изменения в порядке слов.

Корпус совпадающих пар предложений может быть использован для создания словарей переводов (для фразы, а также слова) и извлекать общие сведения об изменениях в порядке слов.

Низкоуровневые алгоритмы

Большинство вкусов, которые мы видели до сих пор, используют простые модели последовательности ввода, предполагая, что только последние несколько пунктов имеют значение для следующего решения («Марковское предположение»).

• Решаете, вставлять ли границу слова? Посмотрите на последние 5-7 символов.
• Решаете, какой тег POS поставить на следующее слово? Посмотрите на последние 1-3 слова.

Конкретные методы включают конечные автоматы, скрытые марковские модели (HMM) и повторяющиеся нейронные сети (РНС).

Алгоритмы синтаксического анализа имеют аналогичную структуру, но их предыдущий контекст включает целые куски дерева. Например, «юную леди» можно считать единый блок.Алгоритмы синтаксического анализа обычно имеют гораздо больше возможностей для рассмотрения, то есть много частично застроенных деревьев. Это заставляет их использовать поиск луча, т.е. сохранение фиксированного количества гипотез с наилучшей оценкой. Новые методы также попробуйте разделить древовидную структуру между конкурирующими альтернативами (например, динамическое программирование) чтобы они могли хранить больше гипотез и избегать дублирования работы.

Семантика

Представление смысла менее понятно, поэтому во многих методах работы используются поверхностные представления, основанные на модели мешка слов (см. наше обсуждение наивного Байеса) или локальные группы слов (например,г. существительные фразы). Приложения, которые могут хорошо работать с ограниченным пониманием включают

• группирование документов по темам, разделение документов в местах, где они меняют тему
• анализ настроений: сценаристу нравится этот фильм или этот ресторан?

Очень немногие системы пытаются понять сложные конструкции, включающие кванторы («Сколько стрел не попало в цель?») или относительные предложения (см. пример синтаксического анализа банка дерева Penn выше).Отрицание сложнее, чем кажется. Например, запрос Google по запросу «Африка, а не франкоязычный» возвращает информацию о франкоязычных частях Африки. И это пример циркулярного перевода показывает, что Google преобразует «упс на X» в «попробуйте X», т. е. обратное полярность совета.

Три типа поверхностного семантического анализа оказались полезными и почти в пределах имеющихся возможностей:

• обозначение семантических ролей: мы знаем, что именная фраза X связана к глаголу Y.Х — субъект / актер? объект, который действие было сделано? инструмент, используемый для помощи в действии?
• классы слов: какие слова похожи друг на друга.
• разрешение сопутствующего эталона (см. Ниже)

Разметка семантических ролей включает в себя определение того, как основные словосочетания предложение относится к глаголу. Например, в «Джон вел машину» «Джон» — это субъект / агент, а «машина» — это управляемый объект. Эти отношения не всегда являются объектом, например.г. кто ест кто в «мост поедания грузовиков»? (Погугли это.)

В настоящее время наиболее популярным представлением классов слов является «вложение слов». Вложения слов дают каждому слову уникальное местоположение в многомерном евклидовом пространстве, настроенном так, чтобы похожие слова близко друг к другу. Подробности увидим позже. Популярный алгоритм — word2vec.

Текущий текст содержит ряд «именованных сущностей», то есть существительных, местоимений и существительные, относящиеся к людям, организациям и местам.Совместное разрешение пытается идентифицировать какие именованные сущности относятся к одному и тому же. Например, в этом тексте из Википедии у нас есть определила три сущности как относящиеся к Мишель Обаме, два как Барак Обама, и три как места, которые ни то, ни другое их. Один из источников сложности — это такие предметы, как последний «Обама», который внешне выглядит так, будто мог бы быть любой из них.

[Мишель ЛаВон Робинсон Обама] (родился 17 января 1964 г.) американский юрист, администратор университета и писатель. кто служил [Первая леди США] из С 2009 по 2017 гг.Она замужем за [44-й президент США], [Барак Обама], и была первой афроамериканской первой леди. Поднят на южной стороне [Чикаго, Иллинойс], [Обама] является выпускник [Университет Принстон] и [Гарвардская школа права].

AI в действии

Успехи и фейсплантаты от экспериментальные чат-боты.

SEM1A5 — Часть 2 — Морфологический анализ

Морфологический анализ

Этот раздел состоит из трех частей.В первой части вводятся некоторые основные термины морфологии, в частности, морфема , аффикс, префикс , суффикс , связанный и свободный формы. Во втором рассматриваются традиционные способы группировки языков, такие как изолирующий , агглютинативный и флектирующий . В последнем разделе рассматриваются некоторые морфологические процессы, концентрируясь только на тех, которые имеют большее отношение к инженерии естественного языка.

Лингвистика стремится описывать язык.Любое описание требует некоторой терминологии для его описания. Мы можем рассматривать это как технический словарь дисциплины. В естественных языках есть свои термины для описания самих себя. Например, мы в разговорной речи говорим о «словах», «фразах», «предложениях» и «абзацах». Знаем ли мы, что означают эти слова?

Мы рассмотрим только определение этого слова. В таком тексте мы можем легко обнаружить «слова», потому что они отделены друг от друга пробелами или знаками препинания.Однако, если вы запишете обычную разговорную речь, вы обнаружите, что между словами нет разрывов. Несмотря на это, мы могли снова и снова выделять единицы, которые мы используем в речи, но в разных комбинациях. Это говорит о том, что существует небольшая единица чего-то вроде слова. Но как определить «слово»? Мы все согласимся, что черный и птица — это слова. blackbird одно слово или два слова? blackbird s — это то же слово, что и blackbird , или отдельное слово?

На эти вопросы нет простых ответов.Ситуация более сложная, потому что

1. лингвистическая теория также должна учитывать, как звуки ( фонология ) связаны со «словами»
2. , потому что английский на данный момент является относительно простым языком: в других языках есть гораздо более сложные способы изменения форм слов, чем в английском.

Морфология — это изучение структуры и образования слов. Его наиболее важной единицей является морфема , которая определяется как «минимальная единица значения».(Учебники лингвистики обычно определяют его немного иначе как «минимальную единицу грамматического анализа».) Рассмотрим такое слово, как «несчастье». Он состоит из трех частей:

Есть три морфемы, каждая из которых несет определенное значение. un означает «нет», в то время как ness означает «находиться в состоянии или состоянии». Happy — это свободная морфема , потому что она может появляться сама по себе (как «слово» само по себе). Связанные морфемы должны быть присоединены к свободной морфеме, и поэтому не могут быть словами сами по себе.Таким образом, у вас не может быть предложений на английском языке, таких как «Джейсон сегодня чувствует себя очень неуверенно».

Вооружившись этими определениями, мы можем рассмотреть способы, используемые для классификации языков в соответствии с их морфологической структурой.

Выше было высказано предположение, что английский с морфологической точки зрения является довольно простым языком. Подразумевается, что другие языки ведут себя по-другому, и это является основой данной схемы классификации.Лингвисты предыдущих поколений были весьма заинтересованы в создании генеалогических деревьев языков, чтобы показать, какие современные языки произошли от каких более ранних, и, возможно, даже иметь возможность восстановить утраченные языки. Морфологическая структура — это всего лишь один из способов группировки языков.

В этой классификации обычно три класса.

Изолирующие языки

Слова изолирующего языка неизменны. Другими словами, он состоит из свободных морфем, поэтому здесь нет морфем, указывающих на такую ​​информацию, как грамматическое число (например, множественное число) или время (прошлое, настоящее, будущее).Китайский часто цитируется как пример такого языка (хотя некоторые утверждают, что вьетнамский является лучшим примером). Транслитерированное предложение:

gou bú ài chi qingcài

дословно можно перевести как:

собака не любит есть овощи

В зависимости от контекста это может означать любое из четырех следующих предложений:

собака не любит есть овощи
собаки не любят есть овощи
собаки не любят есть овощи
собаки не любят есть овощи

Агглютинативные языки

Мой словарь дает определение агглютината как «соединить как с клеем; (языка) объединять простые слова без изменения формы для выражения сложных идей».Примеры из учебников обычно основаны на турецком или суахили, из которых мы будем использовать первый. В нашем примере мы будем использовать следующие морфемы:

• ler = множественное число
• i = притяжательный (например, его, ее, его )
• den = аблатив (например, грамматическое окончание «падежа», показывающее источник, например, от дом).

Чтобы завершить наш пример, нам понадобится турецкое существительное, в данном случае ev , что означает «дом».Из этого существительного можно составить следующие слова:

• ev: дом
• evler: домов
• evi: его / ее дом
• evleri: его дома, их дома
• evden: из дома
• evlerden: от домов
• evinden: из его дома
• evlerinden: из его / ее домов, из их домов

(Обратите внимание, что за притяжательной морфемой i обычно следует n перед den.)

В этом примере важно заметить, как все морфемы представляют «единицу значения» и как они остаются абсолютно идентифицируемыми в структуре слов. Это контрастирует с тем, что происходит в последнем классе: склоняющиеся языки.

изменяющие языки

Слова в флективных языках имеют разные формы, и можно разбить слова на более мелкие единицы и пометить их так же, как турецкий пример был представлен выше.Однако результат — очень запутанный и противоречивый отчет. Обычные примеры основаны на латыни и основаны на знании латинского грамматического примера, которого нет у большинства английских студентов. В качестве простого примера, латинское слово «я люблю» — это амо. Это означает, что окончание o используется для выражения значений, от первого лица, («я» или «мы»), в единственном числе, , в настоящем времени, , а также других значений.

В этой классификации всего три класса.Неужели возможно объединить все языки мира в три класса? С одной стороны, невозможно поместить какой-либо из языков в какой-либо из классов, потому что каждый язык нечист. То есть, если вы посмотрите достаточно внимательно, вы обнаружите флексию в основном в агглютинативных языках, флексию в изолирующих языках, агглютинацию в флективных языках и так далее.

Какие уроки мы можем извлечь из этого? Я думаю, что есть два момента, на которые стоит обратить внимание. Во-первых, языки сильно различаются, и обобщения, основанные на опыте использования только одного языка (например, английского), могут быть легко противопоставлены другим языкам.Во-вторых, язык — это естественное явление, и «инструменты», которые мы используем для его изучения (например, классификации и технические термины), — всего лишь инструменты, которые могут быть несовершенными попытками описать что-то слишком сложное для нашей современной науки.

В приведенном выше примере несчастье, мы видели два вида аффиксов: префикс и суффикс. Чтобы показать, что языки действительно сильно различаются, есть также инфиксы.Например, язык Bontoc с Филиппин использует инфикс um для преобразования прилагательных и существительных в глаголы. Таким образом, слово fikas, , что означает «сильный», преобразовано в глагол «быть сильным» путем добавления инфикса: f-um-ikas.

Существует ряд морфологических процессов, некоторые из которых более важны для НЛП, чем другие. Представленный здесь отчет является выборочным и необычным, поскольку он указывает на практические аспекты выбранных процессов.

Перегиб

Флексия — это процесс изменения формы слова так, чтобы оно выражало такую ​​информацию, как число, личность, падеж, пол, время, настроение и аспект, но синтаксическая категория слова остается неизменной. Например, форма множественного числа существительного в английском языке обычно образуется из формы единственного числа путем добавления s.

• легковой / легковой
• стол / столы
• собака / собаки

В каждом из этих случаев синтаксическая категория слова остается неизменной.

Не нужно много времени, чтобы найти примеры, где приведенное выше простое правило не подходит. Итак, есть меньшие группы существительных, образующих множественное число по-разному:

• волк / волки
• нож / ножи
• переключатель / переключатели.

Еще немного подумайте, и мы сможем подумать о совершенно неправильных формах множественного числа, таких как:

• фут / фут
• ребенок / дет.

Английские глаголы относительно просты (особенно по сравнению с такими языками, как финский, в котором более 12 000 глагольных перегибов).

• косилка — штанга
• mow s — третье лицо единственного числа, настоящее время
• mow ed — прошедшее время и причастие прошедшего времени
• косить ing — настоящее непрерывное время

Аспекты НЛП
Такие языки, как французский или немецкий, имеют гораздо больше интонаций, чем английский, поэтому принято включать морфологические анализаторы в системы, обрабатывающие эти языки. Системы НЛП для английского языка часто не включают каких-либо морфологических процессов, особенно если это небольшие системы.В тех случаях, когда системы, основанные на английском языке, включают анализ флексии, обычные формы слов анализируются с использованием одного из стандартных методов (например, конечных автоматов), а исключения (неправильные слова) перечислены отдельно. Это означает, что обычные формы нужно вводить в словарь только один раз, что может сэкономить много места и сэкономить ввод данных, если словарь содержит много синтаксической и семантической информации.

Вывод

Как было показано выше, словоизменение не меняет синтаксическую категорию слова.Деривация не изменяет категорию . Лингвисты классифицируют словообразование в английском языке в зависимости от того, вызывает ли оно изменение произношения. Например, добавление суффикса ity изменяет произношение корня active , поэтому ударение находится на втором слоге: activity. Добавление суффикса al к Approve не меняет произношения корня: Approve.

Аспекты НЛП
Очевидное использование деривационной морфологии в системах НЛП состоит в том, чтобы уменьшить количество сохраняемых форм слов.Итак, если уже существует запись для базовой формы глагола sing, , тогда должна быть возможность добавить правила для сопоставления существительных Singers и singers в одной и той же записи. Проблема в том, что обнаружение производных певца от певца должно также позволить морфологическому анализатору вносить информацию, которая является особенной для певца . Это кажется немного непонятным, но пример прояснит это. Добавление к слову или указывает на то, что действие совершает человек.Эта семантическая информация должна быть добавлена ​​к сохраненной информации из словарной статьи для корневой формы и , чтобы можно было найти правильное значение предложения. Это кажется прекрасным, но предположим, что следующие два слова: рекордер и драгстер . Использование морфемы er не может обязательно означать кого-то, кто предпринимает действие, представленное корневой формой.

Любая лингвистическая обработка может привести к обнаружению потенциальной двусмысленности, особенно там, где люди этого не ожидают.Деривационные морфологические анализаторы могут сделать это довольно легко, потому что они всегда пытаются сократить слова до более мелких единиц. Таким образом, слово на самом деле может быть проанализировано как на самом деле (то есть само слово) и как относительно + союзник. Эта введенная двусмысленность может быть устранена с помощью более поздней синтаксической обработки, но, тем не менее, это означает, что требуется больше обработки (и, следовательно, более медленная система).

Деривационная морфология особенно полезна для машинного перевода.Успешный МП должен обрабатывать большие объемы текста, который может содержать много ранее невидимых слов. Некоторые слова являются неологизмами (то есть новыми словами). Если анализатор сможет преобразовать эти слова в их базовую форму, он сможет перевести это и, по сути, создать новое слово на целевом языке, просто следуя правилам. Приведу пару примеров: неологизмы часто имеют в качестве корня собственное имя. Знание того, как Thatcherite и Majorism образовались из имен собственных, могло позволить системе машинного перевода перевести их в идиоматический эквивалент на целевом языке.

Полуаффиксы и комбинированные формы

Полуаффиксы — это связанные морфемы, сохраняющие словесность. Примеры: анти-, контр-, -подобный и -заслуживающий внимания. Итак, мы можем иметь:

• против часовой стрелки или против часовой стрелки
• контрпример или контрпример
• птичий или птичий
• достойный внимания или заслуживающий внимания

Комбинированные формы даже более похожи на слова, чем полуаффиксы, и часто встречаются в технической литературе, например, индоевропейский или гастроэнтерит. Некоторые слова могут состоять полностью из связанных форм, но без свободной морфемы, например franco-phile.

Аспекты НЛП
Как и в случае деривационной морфологии, полуаффиксы и комбинирующие формы могут быть проанализированы на их морфемы и, как и в случае деривационной морфологии, могут быть использованы для анализа ранее невидимых слов. Расстановка переносов представляет собой особую проблему для таких языков, как английский и немецкий, и понимание полуаффиксов и комбинирования форм может способствовать выявлению необязательных и вероятных точек переноса при обработке текста.

Клитицизация

Клитика — это элемент, который ведет себя как аффикс и слово. Однако они довольно сложны, поскольку также являются частью словообразования. В отличие от других морфологических явлений, клитики встречаются в синтаксической структуре, и их привязка к словам не является частью правил словообразования, как остальная часть морфологии.

Мы подробно остановимся на этом.

«Клитика — это элемент, который ведет себя как аффикс и слово.«

Английский язык имеет очевидную клитику, « ‘s », используемую для обозначения притяжательного падежа (иногда известного как родительный падеж). Лингвисты называют его энклитикой , что означает, что это клитика, которая прикрепляется справа от слова, как и суффикс.

«Однако они довольно сложны в том, что они также являются частью словообразования».

« ‘s » прикреплено («приклеено») к слову или фразе, к которым относится притяжательное.

«В отличие от других морфологических явлений, клитики возникают в синтаксической структуре, и их привязка к словам не является частью правил словообразования, как остальная часть морфологии».

« ‘s » присоединяется к определенному составному элементу независимо от того, где он встречается в предложении. В следующих двух примерах « ‘s » сначала присоединяется к существительному, а затем к предлогу:

1. девочка-пингвин
2. машина, в которую я врезалась фарами

Лингвисты утверждают, что « ‘s » создается из лексикона для выражения притяжательного отношения, но его положение определяется синтаксической структурой высказывания.

Английский также показывает другой источник клитификации. Некоторые слова можно сократить до более короткой формы. Например, Я в Бирмингеме можно уменьшить до Я м в Бирмингеме и Это весенний цыпленок можно уменьшить до Я весенний цыпленок. Обратите внимание, что сокращаемое слово имеет свою собственную синтаксическую категорию и будет фигурировать само по себе при любом синтаксическом анализе предложения.

Аспекты НЛП
Клитицизация — интересная проблема для НЛП.Обычные системы НЛП являются модульными и поэтому имеют различные модули морфологической, синтаксической и семантической обработки. Однако такие клитики, как «‘s », не могут быть удовлетворительно проанализированы только на одном уровне. Морфологический анализатор должен уметь отделить клитику от присоединенной к ней морфемы, но он не может сделать это правильно, если не знает синтаксической структуры высказывания. В традиционной архитектуре системы НЛП синтаксическая структура недоступна морфологическому анализатору.

Существуют различные методы, которые можно использовать для решения этой проблемы, например, передача как можно большего числа альтернатив от морфологического анализатора синтаксическому анализатору и надежда, что последний сможет разрешить неоднозначности. Другой метод может заключаться в попытке провести морфологический и синтаксический анализ параллельно — или, возможно, морфология и синтаксис — несовершенные способы описания языка, и мы должны найти лучшую описательную модель.

Морфология, безусловно, была расширена и представляет собой отдельную область с обширным техническим словарем, таким как morph и allomorph (упомянем только два наиболее распространенных). Более подробное описание см. В Lyons (1968; стр. 180–194), а описание некоторых трудностей с морфемами см. У Палмера (1971, стр. 187–199), который писал:

«Однако сегодня ясно, что концепция морфемы имеет лишь ограниченную ценность.Он, безусловно, может отображать минимальные единицы грамматического анализа в огромном количестве языковых данных. В конце концов, неправильного английского языка не так уж и много. И когда дело доходит до анализа агглютинативных языков, концепция морфемы неоценима, поскольку эти языки как бы специально созданы для нее. Но когда мы рассматриваем трудности морфемной идентификации в целом … становится ясно, что это понятие не такое всеобъемлющее, как это иногда представляется ».

Блог — страница 8 — NYU MorphLab

Я не могу вспомнить телефонный номер ни на секунду, а когда меня знакомят с людьми, я теряю начало их имен к тому времени, когда они доходят до конца (кажется, даже для односложных имен). Таким образом, любое изложение истоков Halle & Marantz обязательно потребует рациональной реконструкции того, что должно было происходить в начале 1990-х годов. При этом внимание к тексту раскрывает многие силы, которые привели к структуре и содержанию статьи и, следовательно, к структуре канонической распределенной морфологии.Здесь я хочу сконцентрироваться на взаимосвязи между целями статьи и различными техническими частями раннего DM — почему существует морфологическое слияние, добавление словарного запаса, обеднение, расщепление и слияние.

Из количества страниц, посвященных H&M грузинскому языку и, в частности, Potawatomi, должно быть ясно, что основная направленность статьи является ответом на морфологию морфологии Стива Андерсона. Следуя идеям Роберта Бирда о «сепарационистской» морфологии, мы хотели показать, что морфология элементов и аранжировок может иметь свой реализационизм (разделение синтаксических и семантических характеристик морфем от их фонологической реализации) и также есть его.Итак, как мы более прямо заявили в «Ключевые особенности распределенной морфологии», целью было объединение Роберта Берда по разделению и Шелли Либер по синтаксическому словообразованию — Поздняя вставка и Syntax All The Way Down.

Однако не следует забывать, что в начале 1980-х я написал очень длинную диссертацию, перевернувшуюся книгу, которая касалась взаимосвязи между словообразованием и синтаксисом. Работа называется «О природе грамматических отношений», потому что это в некотором смысле гимн реляционной грамматике.Он повторно рассматривает некоторые проблемы хлеба с маслом в RG (каузативное придаточное объединение, аппликативы (продвижение до 2), восхождения) в рамках более стандартной генеративной структуры, с особым акцентом на связи между словообразованием и синтаксисом. Таким образом, морфологическое слияние высшей каузативной главы и встроенного глагола может быть как причиной словообразования (глагол с каузативным суффиксом), так и редукцией структуры, связанной с объединением каузативных придаточных предложений (или «реструктуризацией»). В этих рамках морфологическое слияние отличается от традиционного перескока аффиксов и от подъема головы, которые сами по себе не вызывают редукции структуры.Последующая работа Бейкера над «Инкорпорацией» пыталась — и, на мой взгляд, безуспешно — объединить поднятие головы с редукцией структуры, связанной с морфологическим слиянием. Эти вопросы все еще актуальны — см., Например, работу Матушанки о движении головы.

В наши дни было бы полезно пересмотреть работу начала 1980-х годов по словообразованию и синтаксису. Работы Ричарда Спроута являются здесь образцовыми. Те из нас, кто серьезно задумывается над проблемами, явно связали «парадоксы заключения в скобки» перегиба (перескок аффиксов создает локальную связь между заголовком и перегибом, когда синтаксический и семантический объем перегиба является фразовым, а не совмещенным) с аналогичными несоответствиями между морфологическая и синтаксическая / семантическая область, в частности, примером которой являются клитики (так «играл» = «шляпа королевы Англии»).Хотя можно думать о всех этих несоответствиях в скобках, возникающих постсинтаксически в результате операции морфологического слияния на стороне PF, в моей книге была исследована возможность того, что та же операция словообразования слияния может подпитывать синтаксис, приводя к синтаксической реструктуризации в случае причинных конструкций. , Например. Это может быть, а может и не быть на правильном пути, но, как поясняет Матушанский, любой синтаксис типа минималистской программы на основе фаз использует подход к цикличности, который позволяет морфологическому слиянию, управляемому PF, отражаться в синтаксисе.
Довольно примечательно, что, учитывая мою предвзятость к морфологическому слиянию и его потенциальному взаимодействию с синтаксисом, H&M пишет, как если бы поле было объединено вокруг вывода о том, что синтаксическое словообразование было в значительной степени результатом движения (подъема) головы и присоединения . Я напишу об этом позже, но с прагматической точки зрения принятие этого предположения о словообразовании позволило провести прямое сравнение между DM и лексикалистской синтаксической теорией Хомского того времени в последнем разделе статьи.Тем не менее, H&M полагает, что для создания фонологических слов было необходимо нечто вроде морфологического слияния / смены аффиксов / понижения. Итак, для ключевой особенности DM «синтаксическая структура вниз», H&M продвигает движение головы и присоединение, а также морфологическое слияние. H&M оставляет в стороне любые вопросы о том, может ли морфологическое слияние подпитывать синтаксис.

Для ключевой функции «поздней вставки» H&M предлагает особую технологию вставки словаря.Эмпирическая цель здесь — контекстная алломорфия и (локальные) блокирующие отношения. Таким образом, можно сделать вывод, что ядром DM являются механизмы синтаксического словообразования и механизмы реализации PF, а механизмы, предложенные в H&M, были предметом непрерывных исследований в течение последних 25 лет.

Что же тогда насчет расщепления, слияния и обнищания? Для этих механизмов были задействованы две движущие силы: эмпирические области, представляющие интерес для морфологов, и конкретные исследования Эулалии Бонет и Рольфа Нойера, в которых мы были убеждены.Расщепление — это особый подход к появлению множественной экспоненциальности, который Нойер умело применил в своем анализе семитских словесных соглашений. Fusion включает в себя прямую работу над кажущимися объемными элементами словарного запаса. Чтобы вывести наш анализ синкретизма, нам потребовалось однозначное соединение терминальных узлов с элементами словарного запаса, а Fusion, по сути, был механизмом грубой силы для покрытия ситуаций, в которых, возможно, несколько терминальных узлов обеспечивают вставку одного элемента словарного запаса.Обнищание объясняет два типа явлений. Примером первого является работа Бонета по каталонским клитикам: использование немаркированного словарного элемента в отмеченной среде. Я по-прежнему считаю, что анализ обеднения необходим для отделения стандартной контекстной алломорфии, когда отмеченный ВП появляется в отмеченной среде (а более общий ВП встречается где-то еще), от ситуаций, в которых более общий ВП встречается в определенной среде — главный аргумент. заключается в том, что среда для ВИ и, следовательно, контекстная алломорфия является локальной, тогда как обнищание может происходить на расстоянии.Другое использование обеднения — для систематических парадигматических пробелов, когда, например, гендерные различия теряются во множественном числе, скажем. Здесь обозначений признаков ВП достаточно для создания форм без обеднения, но обнищание явно указывает на лежащее в основе обобщение (например, отсутствие гендерных различий в контексте множественного числа).

Йохен Троммер и другие показали, что, играя с механизмами вставки словаря и допущениями о синтаксической структуре, ни один из этих механизмов не требуется для охвата эмпирических областей, для которых они использовались в H&M.То, что в них нет необходимости, не означает, что они на самом деле не являются частью грамматики — возможно, они были правильным подходом к явлениям, к которым они были применены. Лично я считаю, что доказательства обнищания убедительны, но я больше не использую Fission и Fusion в своей работе (хотя я с радостью поддержу их в работе других).

Подводя итог, H&M закладывает основу для синтаксической теории словообразования и поздней вставки DM, описывая механизмы движения головы и присоединения и морфологического слияния для словообразования и механизмы словарной вставки для поздней вставки.В статье гораздо больше интересного, и она в основном является ответом на А-морфологию и на тогдашнюю версию лексикализма Хомского для флективной морфологии. Чего, к сожалению, по большей части не хватает, так это того, что касается «природы грамматических отношений» — точного взаимодействия словообразования и синтаксиса.

Дерево морфологии для к сожалению

2. Морфологические деревья 2.1. Для каждого из следующих слов нарисуйте древовидную диаграмму, которая представляет морфологическую структуру слова.Не забывайте включать часть речевых меток там, где это необходимо. а. повторно затвердеть b. недружелюбный 2.2. Есть по крайней мере два возможных дерева, которые можно было бы нарисовать для слова «чрезмерная реакция». Нарисуйте их обоих ниже. 6 мая 2020 г. · Создание прогулки по деревьям в ботаническом саду Лич было для меня вдохновляющим проектом. Когда мы впервые изучали это место, мы подумали, что насаждение местных дугласовых елей и западных кедров на склоне холма между верхней и нижней зонами сада дает прекрасную возможность создать объект, который привлечет и привлечет посетителей.

К сожалению, это сходство привело к большой путанице. В 1909 г. в литературе описывалась разновидность пихты бальзамической, имеющей шишковидные чешуйки, отходящие от прицветников. Эта морфология была отклонением от типичных шишек пихты бальзамической, где чешуйки не расширены. Самары многочисленны на дереве, а крылья самар красноватые. Acer ginnala обычно бывает многоствольной. Acer ginnala — небольшое дерево (15-20 футов высотой, с аналогичным или более широким распространением), которое естественно растет в виде многоствольной формы.Если его не обрезать, он может развить форму, больше напоминающую большой куст. К сожалению, морфологическое развитие таксономии, особенно по молекулярным системным характеристикам, часто ограничено и неоднозначно, что приводит к атикам, а появление интродуцированных таксонов (Sfriso et al. Ошибочная идентификация, вызванная конвергентной эволюцией или мор-2010) увеличивает это число. психологическая пластичность, вызванная воздействиями окружающей среды. 25 окт.2018 г. · Распыление топлива, превращение объемной жидкости в спреи, играет важную роль в реактивных двигателях.В этой главе мы познакомимся с последними достижениями исследований морфологии распада и механизма распыления жидкости. При первичном распылении на основе морфологических различий двухжидкостное распыление можно разделить на разные режимы. Влияние Кельвина-Гельмгольца и …

26 октября 2014 г. · Например, по-немецки «дерево мужское, у него женские почки, его листья нейтральные», как однажды выразился Марк Твен. Более того, семантические эквиваленты (переводы) между языками часто не относятся к одному и тому же роду: слово «буква» имеет мужской род в немецком, женский род во французском и средний род в русском; слово «книга» — это.