Наталия

2 года назад

мне понравилось, попробую работать с этим.

Анастасия

2 года назад

Жаль нет схем

Kit

2 года назад

Топ сайт!

Александра

2 года назад

Числительное не отмечают

Кок

2 года назад

Мама мыла раму

ХХХ

2 года назад

Дочь чертила пентограмму

Игорь

2 года назад

К первому мая.

Морфологический синтаксический анализатор флективных языков с использованием глубокого обучения (часть I)

Виллем ван Персен, Мартин Наайер, Константин Сиккель, Матиас Кокельбергс[1]

«Как мы можем создать синтаксический анализатор на основе машинного обучения (ML) для морфологии флективных языки?» Этот вопрос стал отправной точкой для проекта «Морфологический анализатор флективных языков с использованием глубокого обучения» ETCBC и Центра электронных наук Нидерландов.

Частично этот проект преследовал практическую цель: создание базы данных ETCBC еврейской Библии со всеми ее уровнями лингвистического анализа, начатое в XIX в. 70-х, заняло около четырех десятилетий. С нашим намерением расширить наши возможности на другие корпуса, такие как Пешитта и даже более обширные части огромного количества сирийской литературы, нам необходимо ускорить процесс лингвистического кодирования текстов.

Однако самой захватывающей частью этого проекта была не его практическая применимость для ускорения процесса кодирования. Скорее, мы хотели внести свой вклад в поиск ответов на основные вопросы, такие как: как можно сделать метод лингвистического кодирования, разработанный в ETCBC, полезным для других языков, которые также имеют богатую морфологию? Какой вклад наша работа может внести в обширную область корпусной лингвистики, в которой в значительной степени преобладает изучение английского языка с относительно плохой морфологией?

Из-за преобладания английского языка лингвистические корпуса обычно анализируются на уровне слов. Например, в английском предложении «он сказал» первое слово аннотировано как местоимение 3 ^rd лица мужского рода единственного числа, а второе слово — как простое прошедшее время слова «говорить». Это прекрасно работает для таких языков, как английский. Однако для языков с богатой морфологией, называемых «флективными» (например, семитские языки, санскрит) и «агглютинативными» (например, турецкий), полезно брать в качестве основных единиц морфемы, а не слова. Сравните еврейское слово וַיַּמְלִכֵהוּ (2 Царств 2:9).). На иврите это всего одно графическое слово (то есть последовательность букв между пробелами), но оно соответствует пяти словам в английском переводе: «и поставили его царем».

По этой причине ETCBC разработала систему кодирования, в которой кодируются не слова, а отдельные морфемы. Кроме того, существует важное различие между агглютинативными и флективными языками. Оба вида языков имеют богатую морфологию, но в агглютинативном языке, таком как турецкий, все морфемы связаны. Отсюда и слово

anlamıyorum ‘Я не понимаю’

состоит из глагольной основы anla-, отрицательного суффикса –m(ı), индикатора длительного времени первого лица настоящего времени –(i)yor и маркера первого лица –( у) м. ^[2]

Во флективных языках наблюдается слияние морфем, что требует маркировки не только морфем, но и отношения между парадигматической формой каждой морфемы и ее реализацией. Именно это и делается при морфологическом кодировании ETCBC. Приведем один пример: еврейское слово וַיֹּ֥ולֶד «и он родил» (Быт. 5:3) показывает слияние префикса несовершенного, префикса каузативной основы и первого корня глагольной лексемы. Более того, с правильными глаголами парадигматически ожидаемая буква, следующая за флективным префиксом, является первым радикалом корня (например, Mem в וַיַּמְלִ֥יכוּ в Судей 9:6), но в этом глаголе мы находим не йод, а вав перед вторым корнем. В морфологической кодировке ETCBC это становится

W:n-!J!](H](J&WLD[

В этой кодировке комбинация ](H] указывает, что это форма каузативной основы, даже если это не просматривается в консонантном каркасе этой формы (в отличие от префикса в перфекте хифил) и сочетания (J&W указывает на то, что здесь вместо парадигматически ожидаемой буквы йод присутствует вав, которая не реализуется в поверхностной форме (а явление, типичное для класса глаголов пе-йод). За вариацией между парадигматическими формами и реализованными формами могут стоять всевозможные механизмы, такие как фонетические правила или исторические изменения. В обсуждаемом примере можно даже утверждают, что с исторической точки зрения вау парадигматически ожидается, потому что в иврите этот глагол пе-йод происходит от глагола пе-вау (ср. арабский валада ).

Соответственно, морфологическая кодировка ETCBC дает много лингвистической информации. Он включает в себя все функции слова, а также полный словарь, поскольку связывает реализацию слова или морфемы с его парадигматической формой. За последние десятилетия многие исследования в ETCBC были сосредоточены на выводах, которые это кодирование дало для лексикографии и грамматики, например, в отношении лексемного статуса суффиксов, трактовки слов мужского и женского рода в словарях, трактовки чисел и глагольных основ. и так далее. Это относится к следующему вопросу: почему в большинстве словарей иврита и сирийского языка есть записи для слов (однобуквенных предлогов или союзов), которые стоят перед последующим словом, но не для слов (местоименных суффиксов), которые присоединяются к предыдущему слову. ? Почему слова женского рода (например, королева или львица) иногда включаются в статью своего аналога мужского рода, тогда как в тех же словарях они получают свою собственную статью в других случаях? Должны ли так называемые шафельские формы рассматриваться как четырехкоренные глаголы, подлежащие перечислению под шином, или, скорее, под трехкоренным корнем, от которого они происходят? Почему десятки (например, «сорок») иногда указываются в словарных статьях их основных (например, «четыре»), тогда как в противном случае они получают свою собственную статью?

В этом посте мы не будем подробно объяснять роль восклицательных знаков, дефисов, квадратных скобок и косых черт, которые используются в приведенном выше примере кодирования. (Подробности см. в «Кратком описании морфологического кодирования» Константина Сиккеля). Однако важно отметить, что различные элементы слов (например, префикс жен. 3 ^rd синг. несовершенный) маркируются в соответствии с определенными соглашениями и что благодаря этому кодированию грамматические функции слова могут рассчитываться по правилам.

Для применения машинного обучения также важно отметить, что эта строка содержит буквы фразы на иврите (в транслитерированном формате) и что кодировки добавляются в строке, а не в виде флажков или сносок. В результате получается кратко структурированная строка. Это означает, что процесс лингвистического кодирования можно представить как преобразование одной строки в другую. Поскольку и вход, и результат морфологического кодирования являются строками, очевидным решением для синтаксического анализа текстов с помощью машинного обучения (ML) является использование модели «последовательность к последовательности» (seq2seq). Как мы применили модели seq2seq к морфологическому кодированию текстов на иврите и сирийском языке, будет темой второй части этого сообщения в блоге (скоро будет опубликовано).

[1] На рисунке выше (взято из Обзора словоизменения турецких слов (metu.edu.tr) показана попытка представить словоизменение турецких слов с помощью конечного автомата.

^[2] Пример взят с https: //www. surfacelanguages.com/articles/turkish/learningturkish.html

[Решено] Слово: сложное (a) [можно 3 балла за каждое слово] parse…

Вопрос задан GrandRockBat10 на сайте coursehero.com

Слово: сложное 

(a) [можно 3 балла за каждое слово] разобрать слово.

(b) [можно 3 балла за каждое слово]

• [можно по 4 балла за каждое слово] В-третьих, подчеркните все морфемы в слове и подпишите наполнители. Используйте значения морфем из ваших наборов морфем. (В некоторых случаях слово может содержать некоторые морфемы, не входящие в набор морфем единицы; в этом случае используйте глоссы из словаря с этимологической информацией.)
• [можно 4 балла за каждое слово] В-четвертых, дайте буквальное определение слова на основе его морфем. Часто это не то, что на самом деле означает это слово, отчасти из-за семантического изменения. Ваше буквальное определение должно отражать часть речи (существительное, глагол, прилагательное и т. д.) анализируемого слова.
• [можно 2 балла за каждое слово]  В-пятых, дайте краткое словарное или словарное определение слова. Вы можете использовать словарь, такой как oed.com, Merriam-Webster и т. д. для этого вопроса.
• [можно 4 балла за каждое слово] Наконец, (а) напишите этимологию слова. Вы должны использовать словарь с этимологическим разделом, например, oed.com. Для этого вопроса вы должны отметить как язык, на котором слово было придумано, так и любые языки, через которые оно прошло, прежде чем было заимствовано английским языком. Если слово изначально было придумано на английском языке, следует указать, что это родное слово. (b) Обязательно укажите источник и ссылку на этимологию.

Пример

1. биология
2. (a)   bi / (o) / log / -y

      (b)  Родственные слова. (Вам нужно по одному для каждой анализируемой морфемы; выделите соответствующую морфему в каждом слове.) micro bi al, phono log ist, bi graph y

/
1. ‘life’ / filler , говорить’ / N
2. Изучение жизни
3. Раздел науки о живых организмах
4. В этом смысле введено в постклассическую латынь как biologia (1766, в названии работы М. К. Ханова или ранее), заимствовано в английский язык из постклассической латыни (Oxford English Dictionary, https:/ /www.oed.com/view/Entry/19228 )

Arts & HumanitiesEnglishLiterature

Nam lacinia pulvinar tortor nec facilisis. Pellentesqsectese sectesesectetur a

Разблокировать доступ к этому и сверх
10 000 пошаговых объяснений

Есть учетная запись? Войти

sectetur adipiscing e

sectetur adipiscing elit. Nam lacinia pulvinar tortor nec facilisis. Pellentesque dapibus efficitur laoreet.

sectetur adipiscing elit. Nam lacinia pulvinar tortor nec facilisis. Pell