Детальный разбор слова земля по составу. Словосочетание, префикс, суффикс и окончание слова. Мофемное членение слова земля, его схема и части слова (морфология).

• Морфемная схема: земля / я
• Структура слова по морфемам: корень / окончание
• Схема (построение) слова земля по составу: корень земля + окончание i
• Список морфем в слове земля:
  • земля — ​​корень
  • я окончание
• Типы морфов и их число в Слово Земля:
  • Доставка: Отсутствует — 0
  • Королева: LAND — 1
  • Подключение GLAC: — — 0
  • Cyt. 0
  • постфикс: отсутствует — 0
  • конец: Я — 1

Всего морфем в слове: 2.

Производный разбор слова земля

См. также другие словари:

Однокоренные слова… это слова с корнем…, принадлежащие к разным частям речи, и одновременно близкие по значению… Однокоренные слова земля

Что такое земля? Что такое земля? Что такое земля для земли?

Полный морфологический разбор слова «земля»: Часть речи, начальная форма, морфологические признаки и формы слова. Направление науки о языке, где изучается слово… Морфологический анализ земли

Ударение в слове земля: на какой слог и как падает ударение… Слово «земля» правильно пишется как… Ударение в слове земля

Синонимы к слову «земля». Онлайн-словарь синонимов: найди синонимы к слову «земля». Синонимы к слову земля

Антонимы к слову земля

Антонимы… имеют противоположное значение, различаются по звучанию, но относятся к одной и той же части речи. .. Антонимы к слову земля

Анаграммы (составляют анаграмма) к слову земля, путем смешивания букв… Анаграммы к слову земля

Составить анаграмму слова из букв. Вы ввели буквы «земля», из которых можете составить следующие слова из… Из данных букв составить слова земля

К чему снится земля — ​​толкование снов, узнайте бесплатно в нашем соннике что означает земля. …Земля увиденная во сне означает, что… Сонник: к чему снится земля

Морфемный разбор слова земля

Морфемный разбор слова обычно называют разбором слова по составу — это поиск и анализ морфем (частей слова), входящих в данное слово.

Морфемный разбор слова земля очень прост. Для этого достаточно соблюдать все правила и порядок разбора.

Сделаем морфемный разбор правильно, а для этого пройдем всего 5 шагов:

• определение части речи слова — первый шаг;
• второй — подбираем окончания: для изменяемых слов спрягаем или раздуваем, для неизменяемых (герундии, наречия, некоторые существительные и прилагательные, служебные части речи) — окончаний нет;
• дальше ищем основу. Это самая простая часть, потому что вам просто нужно обрезать конец, чтобы определить основу. Это будет основой слова;
• Следующим шагом будет поиск корня слова. Подбираем родственные слова к земле (их еще называют однокоренными), тогда корень слова будет очевиден;
• Остальные морфемы находим, подбирая другие слова, образованные таким же образом.

Как вы видите, разбор морфем делается просто. Теперь давайте определим основные морфемы слова и проанализируем его.

Рекурсивная композиция поддерева в анализе зависимостей на основе LSTM — arXiv Vanity

Мирьям де Лоно♠   Мигель Бальестерос♢   Хоаким Нивре♠
♠ Факультет лингвистики и филологии Упсальского университета.
♢ IBM Research AI, Йорктаун-Хайтс, Нью-Йорк

Abstract

Потребность в моделировании древовидной структуры в дополнение к моделированию последовательностей является открытым вопросом при анализе нейронных зависимостей. Мы исследуем влияние добавления слоя дерева поверх последовательной модели путем рекурсивного составления представлений поддеревьев (композиции) в синтаксическом анализаторе на основе переходов, который использует функции, извлеченные с помощью BiLSTM. Композиция кажется излишней для такой модели, предполагая, что BiLSTM собирают информацию о поддеревьях. Мы выполняем модельную абляцию, чтобы выявить условия, при которых композиция помогает. При удалении обратного LSTM производительность падает, а композиция не восстанавливает большую часть разрыва. При удалении прямого LSTM производительность падает менее резко, а композиция восстанавливает значительную часть пробела, что указывает на то, что прямой LSTM и композиция собирают аналогичную информацию. Мы считаем, что обратный LSTM связан с функциями просмотра вперед, а прямой LSTM — с функциями, основанными на богатой истории, и обе они имеют решающее значение для синтаксических анализаторов на основе переходов. Для сбора информации, основанной на истории, композиция лучше, чем прямая LSTM сама по себе, но еще лучше иметь прямую LSTM как часть BiLSTM. Мы сопоставляем результаты со свойствами языка, показывая, что улучшенный просмотр назад обратного LSTM особенно важен для языков с окончанием головы.

1 Введение

Рекурсивные нейронные сети позволяют нам строить векторные представления деревьев или поддеревьев. Они использовались для анализа избирательных округов Socher et al. (2013) и Dyer et al. (2016) и для синтаксического анализа зависимостей Stenetorp (2013) и Dyer et al. (2015) и др. В частности, Dyer et al. (2015) показали, что составление представлений поддеревьев с использованием рекурсивных нейронных сетей может быть полезным для синтаксического анализа зависимостей на основе переходов. Эти результаты были дополнительно подтверждены в Кункоро и соавт. (2017) , которые с помощью экспериментов по абляции показали, что композиция является ключевой в генеративном синтаксическом анализаторе грамматики рекуррентной нейронной сети (RNNG) Dyer et al. (2016) .

В параллельной разработке Кипервассер и Голдберг (2016b) показали, что использование BiLSTM для извлечения признаков может привести к высокой точности синтаксического анализа даже при довольно простых архитектурах синтаксического анализа, и поэтому использование BiLSTM для извлечения признаков стало очень популярным при анализе зависимостей. Он используется в современном синтаксическом анализаторе Dozat and Manning (2017) , использовалось в 8 из 10 самых производительных систем общей задачи CoNLL 2017 г. (Zeman et al., 2017) и в 10 из 10 наиболее эффективных систем общей задачи CoNLL 2018 г. (Земан и др., 2018) .

Это поднимает вопрос о том, собирают ли признаки, извлеченные с помощью BiLSTM, сами по себе информацию о поддеревьях, что делает рекурсивную композицию излишней. Некоторое подтверждение этой гипотезы исходит из результатов Линцен и др. (2016) , которые указывают на то, что LSTM могут собирать иерархическую информацию: их можно обучить прогнозировать согласование междугородних номеров на английском языке. Эти результаты были распространены на большее количество конструкций и три дополнительных языка 90 408 Gulordava et al. (2018) . Однако Kuncoro et al. (2018) также показали, что, хотя последовательные LSTM могут изучать синтаксическую информацию, рекурсивная нейронная сеть, которая явно моделирует иерархию (модель RNNG из Дайер и др. (2015) ) лучше справляется с этой задачей: он лучше справляется с задачей согласования номеров из Linzen et al. (2016) .

Чтобы глубже изучить этот вопрос в контексте синтаксического анализа зависимостей, мы исследуем использование рекурсивной композиции (далее именуемой композиция ) в синтаксическом анализаторе с архитектурой, подобной Кипервассер и Голдберг (2016b) . Это позволяет нам исследовать варианты функций и изолировать условия, при которых композиция полезна. Мы предполагаем, что использование BiLSTM для извлечения признаков позволяет собирать информацию о поддеревьях и, следовательно, делает излишним использование композиции поддеревьев. Мы предполагаем, что композиция становится полезной, когда удаляется часть BiLSTM, вперед или назад LSTM. Далее мы предполагаем, что композиция наиболее полезна, когда синтаксический анализатор не имеет доступа к информации о функции слов в контексте предложения, заданного POS-тегами. При использовании тегов POS у тегировщика действительно был доступ к полному предложению. Мы дополнительно смотрим на то, что происходит, когда мы удаляем векторы символов, которые, как было показано, собирают информацию, частично перекрывающуюся с информацией из тегов POS. Мы экспериментируем с более широким спектром языков, чем Дайер и др. (2015) , чтобы выяснить, зависит ли полезность различных вариантов модели от типа языка.

2 Разбор K&G на основе переходов

Мы определяем архитектуру синтаксического анализа, представленную Кипервассером и Голдбергом (2016b) , как высокий уровень абстракции и далее называем ее K&G. Парсер K&G — это жадный парсер, основанный на переходах. ^{1 1} 1 Кипервассер и Голдберг (2016b) также определяют анализатор на основе графа с аналогичным извлечением признаков, но мы сосредоточимся на анализе на основе переходов. Для входного предложения длины n со словами w1,…,wn создается последовательность векторов x1:n, где вектор xi является векторным представлением слова wi. Мы называем их введите векторов, так как они одинаковы для всех вхождений типа слова. Затем векторы типов передаются через функцию признаков, которая изучает представления слов в контексте предложения.

Мы называем вектор vi вектором токенов , поскольку он различен для разных токенов одного и того же типа слова. В Кипервассер и Голдберг (2016b) , используемая функция признака представляет собой BiLSTM.
Как обычно при синтаксическом анализе на основе переходов, синтаксический анализ включает переходы от начальной конфигурации к конечной. Конфигурации синтаксического анализатора представлены стеком, буфером и набором дуг зависимостей (Nivre, 2008) . Для каждой конфигурации c экстрактор признаков объединяет токены-представления основных элементов из стека и буфера. Эти векторы токенов передаются классификатору, обычно многослойному персептрону (MLP). MLP оценивает переходы вместе с метки дуги для переходов, которые предполагают добавление дуги. И векторы типов слов, и BiLSTM обучаются вместе с моделью.

3 Составление представлений поддеревьев

Дайер и др. (2015) изучили влияние использования рекурсивной функции композиции в их синтаксическом анализаторе, который также является синтаксическим анализатором на основе перехода, но с архитектурой, отличной от K&G. Они используют вариант LSTM, называемый стековым LSTM. Стек LSTM имеет операции push и pop, которые позволяют проходить состояния в древовидной структуре, а не последовательно. LSTM стека используются для представления стека, буфера и последовательности прошлых действий анализа, выполненных для конфигурации.
Слова предложения представлены векторами типов слов вместе с вектором, представляющим тег POS слова. В исходной конфигурации векторы всех слов находятся в буфере, а стек пуст. Представление буфера — это конечное состояние обратного LSTM по векторам слов. По мере развития синтаксического анализа векторы слов извлекаются из буфера, помещаются в стек и извлекаются из него, а представления стека и буфера обновляются.
Дайер и др. (2015) определить функцию рекурсивной композиции и создавать представления дерева постепенно, по мере того, как зависимые элементы прикрепляются к их голове. Составное представление c строится путем конкатенации вектора h головы с вектором зависимого d, а также вектора r, представляющего метку в паре с направлением дуги. Этот объединенный вектор проходит через аффинное преобразование, а затем через нелинейную активацию.

Они создают две версии парсера. В первом варианте при присоединении зависимого к голове вектор слов головы заменяется составным вектором головы и зависимого. Во втором варианте они просто сохраняют вектор головы при присоединении иждивенца к голове. Они отмечают, что версия с композицией значительно лучше, чем версия без нее, на 1,3 балла LAS для английского языка (на тестовом наборе Penn Treebank (PTB)) и на 2,1 для китайского языка (на тестовом наборе Chinese Treebank (CTB)).
Их синтаксический анализатор использует информацию тега POS. POS-теги помогают устранить неоднозначность между различными функциональными употреблениями слова и, таким образом, предоставляют информацию об использовании слова в контексте. Мы предполагаем, что эффект от использования рекурсивной функции композиции сильнее, когда не используются теги POS.

4 Композиция в парсере K&G

Архитектуры синтаксического анализа синтаксического анализатора LSTM стека (S-LSTM) и K&G различаются, но имеют некоторые сходства. ^{2 2} 2Обратите внимание, что мы используем S-LSTM для обозначения анализатора стека LSTM, а не стека LSTM как типа LSTM. В обоих случаях конфигурация представлена ​​векторами, полученными с помощью LSTM. В K&G он представлен векторами токенов верхних элементов стека и первого элемента буфера. В S-LSTM он представлен векторными представлениями всего стека, буфера и последовательности прошлых переходов.
Оба типа синтаксических анализаторов изучают векторные представления типов слов, которые передаются в LSTM. В K&G они передаются в LSTM на этапе извлечения признаков, который происходит перед синтаксическим анализом. LSTM в этом случае используется для изучения векторов, у которых есть информация о контексте каждого слова, токен-вектор. В S-LSTM векторы типов слов передаются в Stack LSTM по мере развития синтаксического анализа. В этом случае LSTM используются для изучения векторных представлений стека и буфера (а также того, который изучает представление истории действий синтаксического анализа).
Если композиция не используется в S-LSTM, векторы слов представляют типы слов. Когда используется композиция, по мере развития синтаксического анализа векторы стека и буфера обновляются информацией о содержащихся в них поддеревьях, так что они постепенно становятся контекстуализированными. В этом смысле эти векторы становятся больше похожими на векторы токенов в K&G. В частности, как объяснялось в предыдущем разделе, когда зависимый объект присоединен к его голове, функция композиции применяется к векторам головы и зависимого, и вектор головы заменяется этим составным вектором.
Мы не можем применять композицию к векторам типов в архитектуре K&G, поскольку они не используются после этапа извлечения признаков и, следовательно, не могут влиять на представление конфигурации. Вместо этого мы применяем композицию к векторам токенов. Мы встраиваем эти составные представления в то же пространство, что и векторы токенов.
В K&G, как и в S-LSTM, мы можем создать функцию композиции и составить представление поддеревьев по мере развития синтаксического анализа. Мы создаем две версии синтаксического анализатора, в одной из которых токены слов представлены их вектором токенов. Другой, где они представлены своим вектором токенов и вектором их поддерева ci, который изначально является просто копией вектора токенов (vi=f(x1:n,i)∘ci). Когда зависимое слово d присоединяется к слову h с отношением и направлением r, ci вычисляется с той же функцией композиции, что и в S-LSTM, определенной в предыдущем разделе, повторенной ниже. ^{3 3} 3Обратите внимание, что в предварительных экспериментах мы пытались заменить вектор головы вектором ее поддерева вместо объединения двух, но объединение дало гораздо лучшие результаты.
Эта композиционная функция представляет собой простую рекуррентную ячейку. Простые RNN имеют известные недостатки, которые были устранены с помощью LSTM, как было предложено Hochreiter and Schmidhuber (1997) . Поэтому естественным расширением этой функции композиции является замена ее ячейкой LSTM. Мы тоже пробуем этот вариант. Мы создаем LSTM для поддеревьев. Мы инициализируем новый LSTM для каждого нового сформированного поддерева, то есть когда зависимый d присоединяется к голове h, у которой еще нет никаких зависимых. Каждый раз, когда мы присоединяем зависимого к голове, мы строим вектор, который представляет собой конкатенацию h, d и r. Мы передаем этот вектор в LSTM h. c — это выходное состояние LSTM после прохождения этого вектора. Мы обозначаем эти модели с +rc для модели, использующей рекуррентную ячейку без ограничений, и с +lc для модели, использующей ячейку LSTM.

Как показывают результаты (см. § 5), ни один из типов композиции не кажется полезным при использовании с моделью синтаксического анализа K&G, что указывает на то, что BiLSTM собирают информацию о поддеревьях. Для дальнейшего изучения этого и для того, чтобы изолировать условия, при которых композиция полезна, мы выполняем различные модели абляции и проверяем влияние рекурсивной композиции на эти аблированные модели.
Во-первых, мы удаляем части BiLSTM: мы удаляем либо переднюю, либо заднюю LSTM. Поэтому мы строим синтаксические анализаторы с 3 различными функциями функций f(x,i) над векторами типа слова xi в предложении x: BiLSTM (bi) (наша базовая линия), обратная LSTM (bw) (т. е. удаление прямой LSTM) и прямой LSTM (fw) (т. Е. Удаление обратного LSTM):

K&G с однонаправленными LSTM в некотором смысле больше похожи на S-LSTM, чем на BiLSTM, поскольку S-LSTM использует только однонаправленные LSTM. Мы предполагаем, что композиция поможет синтаксическому анализатору, использующему однонаправленные LSTM, так же, как он помогает S-LSTM.

Мы дополнительно экспериментируем с вектором, представляющим слово на входе LSTM. Наиболее сложное представление состоит из конкатенации вложения типа слова e(wi), встраивания (предсказанного) POS-тега wi, p(wi) и символьного представления слова, полученного путем запуска BiLSTM над символы ch2:m из wi (BiLSTM(ch2:m)).

Без внедрения тега POS вектор слова является представлением типа слова. С информацией POS у нас есть некоторая информация о слове в контексте предложения, и тегировщик имеет доступ к полному предложению. Таким образом, представление слова на входе BiLSTM более контекстуализировано, и можно ожидать, что функция рекурсивной композиции будет менее полезной, чем когда информация POS не используется. Было показано, что информация о символах полезна для разбора зависимостей в первую очередь Баллестерос и др. (2015) . Баллестерос и др. (2015) и Smith et al. (2018b) , среди прочего, показали, что POS и информация о символах в некоторой степени дополняют друг друга. Баллестерос и др. (2015) использовали аналогичные векторы символов в синтаксическом анализаторе S-LSTM, но не учитывали влияние композиции при использовании этих векторов. Здесь мы экспериментируем с удалением одного или обоих векторов символа и POS. Мы рассматриваем влияние использования композиции на полную модель, а также на эти аблированные модели. Мы предполагаем, что композиция наиболее полезна, когда эти векторы не используются, поскольку они дают информацию о функциональном использовании слова в контексте.

Парсер

Мы используем UUParser, вариант синтаксического анализатора на основе переходов K&G, в котором используется дуговая гибридная система переходов из Kuhlmann et al. (2011) дополнен переходом Swap и статическим динамическим оракулом, как описано в de Lhoneux et al. (2017b) ^{4 4} 4 Код можно найти по адресу https://github.com/mdelhoneux/uuparser-composition. Переход Swap используется для построения непроективных деревьев зависимостей (Нивр, 2009) . Мы используем гиперпараметры по умолчанию. При использовании POS-тегов мы используем универсальные POS-теги из банков деревьев UD, которые являются укрупненными и одинаковыми для разных языков. Теги POS прогнозируются UDPipe (Straka et al., 2016) как для обучения, так и для синтаксического анализа. Этот синтаксический анализатор получил в среднем 7-е место среди лучших результатов LAS в общей задаче CoNLL 2018 года (Zeman et al., 2018) , что примерно на 2,5 балла LAS ниже лучшей системы, которая использует ансамблевую систему, а также вложения ELMo, представленные Петерс и др. (2018) . Обратите внимание, однако, что мы используем слегка обедненную версию модели, используемой для общей задачи, которая описана в Smith et al. (2018a) : мы используем менее точный теггер POS (UDPipe) и не используем модели с несколькими банками деревьев. Кроме того, Smith et al. (2018a) используют три верхних элемента стека, а также первый элемент буфера для представления конфигурации, в то время как мы используем только два верхних элемента стека и первый элемент буфера. Смит и др. (2018a) также использует расширенный набор функций, представленный Кипервассером и Голдбергом (2016b) , где они также используют крайние правые и крайние левые дочерние элементы стека и буфера, которые они рассматривают. Мы не используем этот расширенный набор функций. Это делается для того, чтобы настройки парсера были максимально простыми и чтобы не добавлялись искажающие факторы. Это все еще почти модель SOTA. Мы оцениваем модели синтаксического анализа в наборах для разработки и сообщаем о среднем значении 5 лучших результатов за 30 эпох и 5 прогонов с разными случайными начальными значениями.

Данные

Мы тестируем наши модели на образце деревьев из Universal Dependencies v2.1 (Nivre et al., 2017) . Мы следуем критериям de Lhoneux et al. (2017c) для выбора нашей выборки: мы обеспечиваем типологическое разнообразие, мы обеспечиваем разнообразие доменов, мы проверяем качество банков деревьев и используем один банк деревьев с большим количеством непроективных дуг. Однако, в отличие от них, мы не используем очень маленькие валы деревьев. Наш выбор такой же, как и у них, но мы удаляем крошечные валы деревьев и заменяем их тремя другими. Наш последний набор: древнегреческий (PROIEL), баскский, китайский, чешский, английский, финский, французский, иврит и японский.

5 результатов

Во-первых, мы рассмотрим влияние наших различных функций рекурсивной композиции на полную модель (т. е. модель, использующую BiLSTM для извлечения признаков, а также информацию о символах и тегах POS). Как видно из рисунка 1, рекурсивная композиция с использованием ячейки LSTM (+lc), как правило, лучше, чем рекурсивная композиция с повторяющейся ячейкой (+rc), но ни один из методов надежно не повышает точность синтаксического анализатора BiLSTM.

5.1 Удаление прямого и обратного LSTM

Во-вторых, мы рассматриваем только модели, использующие информацию о символах и POS, и смотрим на влияние удаления частей BiLSTM на разные языки. Результаты можно увидеть на рисунке 2. Как и ожидалось, синтаксический анализатор BiLSTM работает значительно лучше, чем оба однонаправленных синтаксических анализатора LSTM, а обратный LSTM в среднем значительно лучше, чем прямой LSTM. Однако интересно отметить, что использование прямого LSTM гораздо более вредно для одних языков, чем для других: особенно для китайского и японского. Это можно объяснить свойствами языка: правосторонние языки больше страдают от удаления обратного LSTM. чем другие языки. Мы наблюдаем корреляцию между тем, насколько вредна прямая модель по сравнению с базовым уровнем, и процентом правосторонних отношений зависимости от контента (R = -0,838, p <0,01), см. рис. 3. ^{5 5} 5 Причина, по которой мы рассматриваем только отношения зависимости содержания, заключается в том, что схема UD фокусируется на отношениях зависимости между словами содержания и рассматривает служебные слова как характеристики слов содержания, чтобы максимизировать параллелизм между языками (de Marneffe et al., 2014) .

Нет существенной корреляции между тем, насколько вредным является удаление прямого LSTM, и процентом левосторонних отношений зависимости контента (p>0,05), что указывает на то, что его полезность не зависит от свойств языка. Мы предполагаем, что длина зависимости или длина предложения могут играть роль, но мы также не находим корреляции между тем, насколько вредно удалять прямой LSTM, и средней зависимостью или длиной предложения в банках деревьев. Наконец, также интересно отметить, что обратная производительность LSTM близка к производительности BiLSTM для некоторых языков (японского и французского).

Теперь мы рассмотрим эффект использования рекурсивной композиции на этих аблированных моделях. Результаты представлены на рисунке 4. Прежде всего, мы неудивительно наблюдаем, что композиция с использованием ячейки LSTM намного лучше, чем с использованием простой рекуррентной ячейки. Во-вторых, оба типа композиции помогают обратному случаю LSTM, но ни один из них не помогает надежно би-моделям. Наконец, рекуррентная ячейка не помогает в случае прямого LSTM, но ячейка LSTM в некоторой степени помогает. Интересно отметить, что использование композиции, особенно с использованием ячейки LSTM, устраняет значительную часть разрыва между моделями bw и bi.

Эти результаты могут быть связаны с литературой по синтаксическому анализу зависимостей на основе переходов. Синтаксические анализаторы на основе переходов обычно полагаются на два типа функций: функции на основе истории по возникающему дереву зависимостей и упреждающие функции по буферу оставшихся входных данных. Первые основаны на иерархической структуре, вторые — чисто последовательные. McDonald and Nivre (2007) и McDonald and Nivre (2011) показали, что функции, основанные на истории, улучшают синтаксические анализаторы на основе переходов, если они не страдают от распространения ошибок. Однако Nivre (2006) также показал, что функции просмотра вперед абсолютно необходимы, учитывая жадную стратегию разбора слева направо.

В рассмотренных здесь архитектурах моделей обратный LSTM обеспечивает улучшенный просмотр вперед. Подобно просмотру вперед в статистическом анализе, он является последовательным. Разница в том, что он дает информацию о предстоящих словах неограниченной длины. Прямой LSTM в этой архитектуре модели предоставляет информацию на основе истории, но, в отличие от статистического анализа, эта информация строится последовательно, а не иерархически: прямой LSTM проходит через предложение в линейном порядке предложения. В наших результатах мы видим, что упреждающие функции более важны, чем функции, основанные на истории. Точность синтаксического анализа больше ухудшает удаление обратного LSTM, чем удаление прямого. Это ожидаемо, учитывая, что некоторая информация, основанная на истории, все еще доступна через верхние токены в стеке, в то время как упреждающая информация почти полностью теряется без обратного LSTM.
Функция композиции предоставляет иерархическую информацию об истории действий по разбору. Имеет смысл, что это больше всего помогает обратной модели LSTM, поскольку эта модель не имеет доступа к какой-либо информации об истории синтаксического анализа. Это немного помогает прямому LSTM, что указывает на то, что можно получить выгоду от использования структурированной информации об истории синтаксического анализа, а не последовательной информации. Тогда мы могли бы ожидать, что композиция должна помочь модели BiLSTM, что, однако, не так. Это может быть связано с тем, что BiLSTM конструирует информацию о синтаксическом анализе истории и просмотре вперед в уникальном представлении. В любом случае это указывает на то, что BiLSTM являются мощными экстракторами функций, которые, кажется, собирают полезную информацию о поддеревьях.

5.2 Удаление информации о POS и персонаже

Далее мы рассмотрим влияние различных методов представления слов на разные языки, как показано на рисунке 5. Как и в литературе (Ballesteros et al., 2015; de Lhoneux et al., 2017a; Smith et al. al., 2018b) , использование символьных представлений слов и/или тегов POS постоянно повышает точность синтаксического анализа, но оказывает разное влияние на разные языки, и преимущества обоих методов не суммируются: использование двух методов в сочетании не намного лучше, чем использование либо самостоятельно. В частности, модели символов — это эффективный способ добиться больших улучшений в морфологически богатых языках.

Мы рассматриваем влияние рекурсивных композиций на все комбинации аблированных моделей, см. Таблицу 1. Мы рассматриваем только влияние использования ячейки LSTM, а не рекуррентной ячейки, поскольку это был лучший метод по всем направлениям (см. предыдущий раздел). .
Если сначала посмотреть на BiLSTM, то кажется, что композиция не обеспечивает надежной точности синтаксического анализа, независимо от доступа к POS и информации о символах. Это указывает на то, что векторы, полученные с помощью BiLSTM, уже содержат информацию, которую в противном случае можно было бы получить с помощью композиции.
Обращаясь к результатам с прямой или обратной абляции LSTM, мы видим ожидаемую картину. Композиция помогает больше, когда в модели отсутствуют теги POS, что указывает на некоторую избыточность между этими двумя методами построения контекстной информации. Композиция помогает восстановить значительную часть разрыва модели с помощью обратного LSTM с тегом POS или без него. В других случаях он восстанавливает гораздо менее существенную часть пробела, что означает, что, хотя между этими различными методами построения контекстной информации существует некоторая избыточность, они все же дополняют друг друга, и рекурсивная функция композиции не может полностью компенсировать отсутствие обратного LSTM. или POS и/или информацию о персонаже. В результатах есть некоторые языковые особенности. В то время как композиция помогает восстановить большую часть разрыва для обратных моделей LSTM без информации о POS и / или символах для чешского и английского языков, она делает это в гораздо меньшей степени для баскского и финского языков. Мы предполагаем, что глубина дуги может повлиять на полезность композиции, поскольку большая глубина означает большее умножение матриц с функцией композиции. Однако мы не находим корреляции между средней глубиной дуги берегов деревьев и полезностью композиции. Остается открытым вопрос, почему композиция помогает одним языкам больше, чем другим.
Обратите внимание, что мы не первые, кто использует композицию векторов, полученных из BiLSTM, в контексте синтаксического анализа зависимостей, как это было сделано Qi и Manning (2017) . Отличие в том, что они составляют векторы до подсчета очков за переходы. Это также было сделано Kiperwasser и Goldberg (2016a) , которые показали, что использование векторов BiLSTM для слов в их синтаксическом анализаторе Tree LSTM полезно, но они не сравнивали это с использованием векторов BiLSTM без Tree LSTM.
Рекуррентные и рекурсивные LSTM в том виде, как они рассматриваются в этой статье, представляют собой два способа создания контекстной информации и предоставления ее для принятия локальных решений в жадном синтаксическом анализаторе. Сила рекурсивных LSTM заключается в том, что они могут создавать эту контекстную информацию, используя иерархический контекст, а не линейный контекст. Возможная слабость заключается в том, что это делает модель чувствительной к распространению ошибок: неправильное присоединение приводит к использованию неправильной контекстной информации. Поэтому возможно, что преимущества и недостатки использования этого метода компенсируют друг друга в контексте BiLSTM.

5.3 Ансамбль

Для дальнейшего изучения информации, полученной с помощью BiLSTM, мы объединили 6 версий моделей с POS и символьной информацией с различными экстракторами признаков (bi, bw, fw) с (+lc) и без композиции. Мы используем (невзвешенный) метод повторного анализа Sagae and Lavie (2006) ^{6 6} 6. Этот метод оценивает все дуги по количеству парсеров, предсказывающих их, и извлекает максимальное остовное дерево с использованием алгоритма Чу-Лю-Эдмондса (Эдмондс, 1967) . и игнорирование ярлыков. Как видно из оценок UAS в таблице 2, ансамбль (90 446 полных 90 447) значительно превосходит синтаксический анализатор, использующий только BiLSTM, что указывает на то, что информация, полученная из разных моделей, дополняет друг друга. Чтобы исследовать вклад каждой из 6 моделей, мы удаляем каждую из них одну за другой. Как видно из таблицы 2, удаление любой из моделей BiLSTM или обратного LSTM с использованием композиции приводит к наименее эффективной из моделей удаления, что еще больше укрепляет вывод о том, что BiLSTM являются мощными экстракторами признаков.

6 Заключение

Мы исследовали влияние составления представления поддеревьев в синтаксическом анализаторе на основе переходов. Мы заметили, что композиция не помогает синтаксическому анализатору, который использует BiLSTM для извлечения признаков, что указывает на то, что векторы, полученные из BiLSTM, могут собирать информацию о поддеревьях, что согласуется с результатами Linzen et al. (2016) . Однако мы наблюдаем, что при удалении обратного LSTM производительность падает, а рекурсивная композиция не помогает восстановить большую часть этого разрыва. Мы предполагаем, что это связано с тем, что обратный LSTM в первую очередь улучшает просмотр вперед для жадного синтаксического анализатора. При удалении прямого LSTM производительность падает в меньшей степени, а рекурсивная композиция восстанавливает значительную часть разрыва. Это указывает на то, что прямой LSTM и рекурсивная функция композиции собирают аналогичную информацию, которую мы считаем связанной с богатыми функциями, основанными на истории, которые имеют решающее значение для синтаксического анализатора на основе переходов. Для сбора этой информации рекурсивная функция композиции лучше, чем прямая LSTM сама по себе, но еще лучше иметь прямую LSTM как часть BiLSTM. Мы также обнаружили, что рекурсивная композиция помогает больше, когда теги POS удаляются из модели, указывая на то, что теги POS и функция рекурсивной композиции являются частично избыточными способами построения контекстной информации. Наконец, мы сопоставляем результаты со свойствами языка, показывая, что улучшенный просмотр назад обратного LSTM особенно важен для языков с окончанием головы.

Благодарности

Мы подтверждаем вычислительные ресурсы, предоставленные CSC в Хельсинки и Sigma2 в Осло через NeIC-NLPL (www.nlpl.eu). Мы благодарим Сару Стимн и Аарона Смита за многочисленные обсуждения этой статьи.

Каталожные номера

• Баллестерос и соавт. (2015) Мигель Баллестерос, Крис Дайер и Ной А. Смит. 2015. Улучшен синтаксический анализ на основе перехода путем моделирования персонажей вместо слова с LSTM. В Трудах конференции по эмпирическим методам в Обработка естественного языка (EMNLP) , стр. 349–359.
• Дозат и Мэннинг (2017) Тимоти Дозат и Кристофер Мэннинг. 2017. Deep Biaffine Attention для анализа нейронных зависимостей. In Материалы 5-й Международной конференции по обучению Представительства.
• Дайер и соавт. (2015) Крис Дайер, Мигель Баллестерос, Ван Линг, Остин Мэтьюз и Ной А. Смит. 2015. Разбор зависимостей на основе перехода со стеком в долгосрочной перспективе Память. In Материалы 53-го ежегодного собрания Ассоциации для компьютерной лингвистики (ACL) , страницы 334–343.
• Дайер и соавт. (2016) Крис Дайер, Адхигуна Кункоро, Мигель Баллестерос и Ной А. Смит. 2016. Рекуррентные грамматики нейронных сетей. В материалах NAACL-HLT , стр. 199–209.
• Эдмондс (1967) Джек Эдмондс. 1967. Оптимальные разветвления. Журнал исследований Национального бюро стандартов , 71Б: 233–240.
• Гулордава и др. (2018) Кристина Гулордава, Петр Бояновский, Эдуард Граве, Таль Линзен и Марко Барони. 2018. Бесцветные зеленые рекуррентные сети мечтают иерархически. Препринт arXiv arXiv:1803.11138 .
• Хохрайтер и Шмидхубер (1997) Зепп Хохрайтер и Юрген Шмидхубер. 1997. Длинная кратковременная память. Нейронные вычисления , 9(8):1735–1780.
• Кипервассер и Голдберг (2016a) Элиягу Кипервассер и Йоав Голдберг. 2016а. Простой разбор зависимостей с помощью LSTM с иерархическим деревом. Сделки Ассоциации компьютерной лингвистики , 4:445–461.
• Кипервассер и Голдберг (2016b) Элиягу Кипервассер и Йоав Голдберг. 2016б. Простой и точный анализ зависимостей с использованием двунаправленного LSTM представления признаков. Сделки Ассоциации компьютерной лингвистики , 4: 313–327.
• Кульманн и соавт. (2011) Марко Кульманн, Карлос Гомес-Родригес и Джорджио Сатта. 2011. Алгоритмы динамического программирования для зависимостей на основе переходов парсеры. In Материалы 49-го ежегодного собрания Ассоциации для компьютерной лингвистики (ACL) , страницы 673–682.
• Кункоро и соавт. (2017) Адхигуна Кункоро, Мигель Баллестерос, Линпэн Конг, Крис Дайер, Грэм Нойбиг, и Ной А. Смит. 2017. Что грамматики рекуррентных нейронных сетей узнают о синтаксисе? В Материалы 15-й конференции Европейского отделения Ассоциации компьютерной лингвистики: том 1, длинные статьи , страницы 1249–1258. Ассоциация компьютерной лингвистики.
• Кункоро и соавт. (2018) Адхигуна Кункоро, Крис Дайер, Джон Хейл, Дани Йогатама, Стивен Кларк и Фил Блансом. 2018. Lstms может хорошо изучать зависимости, чувствительные к синтаксису, но моделирование структура делает их лучше. In Материалы 56-го ежегодного собрания Ассоциации для компьютерной лингвистики (Том 1: Длинные статьи) , том 1, стр. 1426–1436 гг.
• де Лонью и др. (2017а) Мирьям де Лоно, Ян Шао, Али Басират, Элиягу Кипервассер, Сара Стымне, Йоав Голдберг и Йоаким Нивре. 2017а. От необработанного текста до универсальных зависимостей — смотрите, никаких тегов! В Proceedings of the CoNLL 2017 Shared Task: Multilingual Разбор необработанного текста в универсальные зависимости , страницы 207–217, Ванкувер, Канада. Ассоциация компьютерной лингвистики.
• де Лонью и др. (2017б) Мирьям де Лонью, Сара Стымне и Жоаким Нивр. 2017б. Arc-гибридный непроективный анализ зависимостей со статико-динамическим анализом оракул. В Материалы 15-й Международной конференции по синтаксическому анализу Технологии , стр. 99–104, Пиза, Италия. Ассоциация вычислительных Лингвистика.
• де Лонью и др. (2017с) Мирьям де Лонью, Сара Стымне и Жоаким Нивр. 2017г. Старая школа против новой школы: сравнение синтаксических анализаторов на основе перехода с и без улучшения нейронной сети. В 90 446 Трудах 15-го Дерева и лингвистических теорий Мастерская (ТЛТ) .
• Линзен и соавт. (2016) Таль Линзен, Эммануэль Дюпу и Йоав Голдберг. 2016. Оценка способности LSTM учиться с учетом синтаксиса зависимости. Сделки Ассоциации компьютерной лингвистики , 4: 521–535.
• де Марнефф и др. (2014) Мари-Катрин де Марнефф, Тимоти Доза, Наталья Сильвейра, Катри Хаверинен, Филип Гинтер, Жоаким Нивр и Кристофер Д. Мэннинг. 2014. Универсальные Стэнфордские зависимости: межъязыковая типология. In Материалы 9-й Международной конференции по языку Ресурсы и оценка (LREC) , страницы 4585–4592.
• Макдональд и Нивр (2007) Райан Макдональд и Жоаким Нивре. 2007. Характеристика ошибок моделей синтаксического анализа зависимостей, управляемых данными. В Материалы Объединенной конференции по эмпирическим исследованиям 2007 г. Методы обработки естественного языка и вычислительного естественного языка Обучение (EMNLP-CoNLL) , страницы 122–131.
• Макдональд и Нивр (2011) Райан Макдональд и Жоаким Нивре. 2011. Анализ и интеграция парсеров зависимостей. Компьютерная лингвистика , страницы 197–230.
• Нивр (2006) Жоаким Нивре. 2006. Индуктивный разбор зависимостей . Спрингер.
• Нивр (2008) Жоаким Нивре. 2008. Алгоритмы детерминированного инкрементного разбора зависимостей. Компьютерная лингвистика , 34:513–553.
• Нивр (2009) Жоаким Нивре. 2009. Непроективный анализ зависимостей за ожидаемое линейное время. В Материалах Объединенной конференции 47-й ежегодной Заседание ACL и 4-я Международная совместная конференция по природным Языковая обработка AFNLP (ACL-IJCNLP) , страницы 351–359.
• Нивр и соавт. (2017) Йоаким Нивре, Желько Агич, Ларс Аренберг, Лене Антонсен, Мария Хесус Аранзабе, Масаюки Асахара, Лума Атейя, Мохаммед Аттиа, Айцибер Атукса, Лисбет Августинус, Елена Бадмаева, Мигель Баллестерос, Эша Банерджи, Себастьян Бэнк, Вергиника Барбу Митителу, Джон Бауэр, Кепа Бенгоэчеа, Рияз Ахмад Бхат, Экхард Бик, Виктория Бобичев, Карл Берстелл, Кристина Боско, Госсе Баума, Сэм Боуман, Алёша Бурхардт, Мари Кандито, Готье Карон, Гюльшен Чебироглу Эрийгит, Джузеппе Г. А. Челано, Саваш Четин, Фабрицио Чалуб, Джинхо Чой, Сильви Чинкова, Чагры Чолтекин, Мириам Коннор, Элизабет Дэвидсон, Мари-Катрин де Марнеффе, Валерия де Пайва, Аранца Диас де Иларраса, Питер Дирикс, Кая Добровольц, Тимоти Дозат, Кира Дроганова, Пунит Двиведи, Мархаба Эли, Али Элькахки, Томаш Эрьявец, Ричард Фаркаш, Эктор Фернандес Алькальде, Дженнифер Фостер, Клаудия Фрейтас, Катарина Гайдошова, Дэниэл Гэлбрейт, Маркос Гарсия, Моа Гарденфорс, Ким Гердес, Филип Гинтер, Якес Гоэнага, Колдо Гойенола, Мемдух Гёкырмак, Йоав Голдберг, Хавьер Гомес Гиноварт, Берта Гонсалес Сааведра, Матиас Гриони, Нормундс Грузитис, Бруно Гийом, Низар Хабаш, Ян Гаич, Ян Хаджич мл. , Линь Ха Му, Ким Харрис, Даг Хауг, Барбора Гладка, Ярослава Главачова, Флоринель Хосиунг, Петтер Холе, Раду Ион, Елена Иримия, Томаш Елинек, Андерс Йохансен, Фредрик Йоргенсен, Хюнер Кашикара, Хироши Канаяма, Дженна Канерва, Толга Каяделен, Вацлава Кеттнерова, Джесси Киршнер, Наталья Коцыба, Саймон Крек, Вероника Лайппала, Лоренцо Ламбертино, Татьяна Ландо, Джон Ли, Phương Lê Hồng, Алессандро Ленчи, Саран Лертпрадит, Герман Люнг, Чеук Ин Ли, Джози Ли, Кейинг Ли, Никола Любешич, Ольга Логинова, Ольга Ляшевская, Тереза ​​Линн, Вивьен Макетанц, Айбек Макажанов, Майкл Мандл, Кристофер Мэннинг, Кэтэлина Мэрандук, Давид Маречек, Катрин Мархайнеке, Эктор Мартинес Алонсо, Андре Мартинс, Ян Машек, Юдзи Мацумото, Райан МакДональд, Густаво Мендонса, Нико Миекка, Анна Миссила, Кэтэлин Митителу, Юсуке Мияо, Симонетта Монтеманьи, Амир Море, Лаура Морено Ромеро, Шинсуке Мори, Богдан Москалевский, Кадри Муйшнек, Кайли Мюрисеп, Пинки Наинвани, Анна Недолужко, Гунта Нешпоре-Берзкалне, Лыонг Нгуен Тхо, Хуен Нгуен Тхо Минь, Виталий Николаев, Ханна Нурми, Стина Оджала, Петя Осенова, Роберт Эстлинг, Лиля Оврелид, Елена Паскуаль, Марко Пассаротти, Сенель-Аугусто Перес, Ги Перрье, Слав Петров, Юсси Пиитулайнен, Эмили Питлер, Барбара Планк, Мартин Попель, Лаума Преткальниня, Прокопис Прокопидис, Тиина Пуолакайнен, Сампо Пюйсало, Александр Радемакер, Логанатан Рамасами, Тарака Рама, Винит Равишанкар, Ливи Реал, Сива Редди, Георг Рем, Лариса Ринальди, Лаура Ритума, Михаил Романенко, Рудольф Роза, Давиде Ровати, Бенуа Саго, Шади Салех, Таня Самарджич, Мануэла Сангинетти, Байба Саулите, Себастьян Шустер, Джаме Седдах, Вольфганг Сикер, Мойган Сераджи, Мо Шен, Ацуко Шимада, Дмитрий Сичинава, Наталья Сильвейра, Мария Сими, Раду Симионеску, Каталин Симко, Мария Шимкова, Кирилл Симов, Аарон Смит, Антонио Стелла, Милан Страка, Яна Стрнадова, Алан Зур, Умут Сулубачак, Жолт Санто, Дима Таджи, Такааки Танака, Тронд Тростеруд, Анна Трухина, Реут Царфати, Фрэнсис Тайерс, Сумире Уэмацу, Зденька Урешова, Ларраиц Уриа, Ханс Uszkoreit, Sowmya Vajjala, Daniel van Niekerk, Gertjan van Noord, Viktor Варга, Эрик Вильмонте де ла Клержери, Вероника Винче, Ларс Валлин, Джонатан Норт Вашингтон, Матс Вирен, Так-сум Вонг, Жуоран Ю, Зденек Жабокрцкий, Амир Зелдес, Даниэль Земан и Ханжи Чжу. 2017. Универсальные зависимости 2.1. Электронная библиотека LINDAT/CLARIN в Институте формального и Прикладная лингвистика (ÚFAL), факультет математики и физики, Чарльз Университет.
• Питерс и др. (2018) Мэтью Э. Питерс, Марк Нойманн, Мохит Ийер, Мэтт Гарднер, Кристофер Кларк, Кентон Ли и Люк Зеттлмойер. 2018. Глубокие контекстуализированные представления слов. В проц. NAACL .
• Ци и Мэннинг (2017) Пэн Ци и Кристофер Д. Мэннинг. 2017. Арк-Свифт: Роман система переходов для разбора зависимостей. In Материалы 55-го ежегодного собрания Ассоциации для компьютерной лингвистики (Том 2: Краткие статьи) , страницы 110–117. Ассоциация компьютерной лингвистики.
• Саги и Лави (2006) Кенджи Сагае и Алон Лави. 2006. Комбинация парсеров путем повторного разбора. В материалах конференции по технологии человеческого языка г. NAACL, Companion Volume: Short Papers , страницы 129–132.
• Смит и др. (2018а) Аарон Смит, Бернд Бонет, Мирьям де Лоно, Жоаким Нивр, Ян Шао и Сара Стимне. 2018а. 82 берега деревьев, 34 модели: Универсальный синтаксический анализ зависимостей с моделями с несколькими банками деревьев. В Proceedings of the CoNLL 2018 Shared Task: Multilingual Преобразование необработанного текста в универсальные зависимости , стр. 113–123. Ассоциация для компьютерной лингвистики.
• Смит и др. (2018б) Аарон Смит, Мирьям де Лоно, Сара Стимн и Жоаким Нивр. 2018б. Расследование взаимодействия между предварительно обученными вложениями слов, моделями символов и поз. теги при разборе зависимостей. В Трудах конференции по эмпирическим методам в 2018 г. Обработка естественного языка , страницы 2711–2720. Ассоциация вычислительных Лингвистика.
• Сочер и соавт. (2013) Ричард Сочер, Джон Бауэр, Кристофер Д. Мэннинг и др. 2013. Парсинг с композиционными векторными грамматиками. В Материалы 51-го ежегодного собрания Ассоциации для компьютерной лингвистики (том 1: длинные статьи) , том 1, страницы 455–465.
• Стенеторп (2013) Понтус Стенеторп. 2013. Анализ зависимостей на основе переходов с использованием рекурсивных нейронных сетей. На семинаре по глубокому обучению на конференции по нейронным технологиям 2013 г. Системы обработки информации (NIPS) , Озеро Тахо, Невада, США.
• Страка и соавт. (2016) Милан Страка, Ян Гаич и Яна Стракова. 2016. UDPipe: обучаемый конвейер для обработки файлов CoNLL-U выполнение токенизации, морфологического анализа, POS-тегов и парсинга. В Материалы 10-й Международной конференции по языку Ресурсы и оценка (LREC 2016) , Порторож, Словения. Европейский Ассоциация языковых ресурсов.
• Земан и соавт. (2018) Даниэль Земан, Ян Гайич, Мартин Попель, Мартин Потхаст, Милан Страка, Филип Гинтер, Йоаким Нивр и Слав Петров. 2018. Общая задача CoNLL 2018: многоязычный синтаксический анализ необработанного текста в Универсальные зависимости. В Proceedings of the CoNLL 2018 Shared Task: Multilingual Преобразование необработанного текста в универсальные зависимости .
• Земан и соавт. (2017) Даниэль Земан, Мартин Попель, Милан Страка, Ян Гайич, Йоаким Нивре, Филип Гинтер, Юхани Луотолахти, Сампо Пюйсало, Слав Петров, Мартин Потхаст, Фрэнсис Тайерс, Елена Бадмаева, Мемдух Гёкырмак, Анна Недолужко, Сильвия Цинькова, Ян Гайич мл., Ярослава Главачова, Вацлава Кеттнерова, Зденка Урешова, Дженна Канерва, Стина Ояла, Анна Миссиля, Кристофер Мэннинг, Себастьян Шустер, Сива Редди, Дима Таджи, Низар Хабаш, Герман Леунг, Мари-Катрин де Марнефф, Мануэла Сангинетти, Мария Сими, Хироши Канаяма, Валерия де Пайва, Кира Дроганова, Эктор Мартинес Алонсо, Ханс Ушкорейт, Вивьен Макетанц, Алёша Бурхардт, Ким Харрис, Катрин Мархайнеке, Георг Рем, Толга Каяделен, Мохаммед Аттиа, Али Элкахки, Жуоран Ю, Эмили Питлер, Саран Лертпрадит, Майкл Мандл, Джесси Киршнер, Гектор Фернандес Алькальде, Яна Стрнадова, Эша Банерджи, Рули Манурунг, Антонио Стелла, Ацуко Шимада, Сукён Квак, Густаво Мендонса, Татьяна Ландо, Ратима Нитисарой и Джози Ли. 2017. Общая задача CoNLL 2017: многоязычный синтаксический анализ необработанного текста в Универсальные зависимости. В Материалы совместной задачи CoNLL 2017: многоязычие Преобразование необработанного текста в универсальные зависимости . Ассоциация для Компьютерная лингвистика.

Ограничения ограниченного контекста для синтаксического анализа групп — Блог о машинном обучении | ML@CMU

Сравните два приведенных выше предложения «Я пью кофе с молоком» и «Я пью кофе с друзьями». Они различаются только в самых последних словах, но их синтаксический анализ также различается в более ранних местах. А теперь представьте, что вы читаете подобные предложения. Насколько хорошо вы можете разобрать такие предложения, не переходя туда и обратно? Это может быть сложной задачей, когда предложения становятся длиннее, а их структура более сложной. В нашей работе мы показываем, что эта задача также сложна для некоторых ведущих моделей машинного обучения для синтаксического анализа.

Введение

Синтаксис, который приблизительно относится к правилам составления слов в предложения, является основной характеристикой языка. Следовательно, центральная тема обработки естественного языка связана со способностью восстанавливать синтаксис предложений. В последние годы был достигнут быстрый прогресс в изучении структуры избирательных округов (один тип синтаксиса), как правило, с некоторыми тщательно разработанными архитектурами нейронных сетей с учетом синтаксиса. Однако эти архитектуры имеют тенденцию быть довольно сложными. Остается неясным, почему они работают и что может ограничивать их потенциал. В нашей статье ACL 2021 мы теоретически отвечаем на вопрос: какую синтаксическую структуру могут представлять современные нейронные подходы к синтаксису?

В качестве обзора, наши результаты утверждают, что репрезентативная сила этих подходов в решающей степени зависит от количества и направленности контекста, к которому модель имеет доступ, когда вынуждена принимать каждое решение по синтаксическому анализу. Более конкретно, мы показываем, что при полном контексте (неограниченном и двунаправленном) эти подходы обладают полной репрезентативной силой; с другой стороны, с ограниченным контекстом (либо ограниченным, либо однонаправленным) существуют грамматики, для которых репрезентативная сила этих подходов весьма бедна.

При синтаксическом анализе избирательного округа для такого предложения, как «Я пью кофе с молоком», мы стремимся получить его дерево синтаксического анализа, как показано на рисунке 1 ниже.

Чтобы иметь представление об истинности, мы предполагаем, что данные в нашей модели генерируются вероятностной контекстно-свободной грамматикой (PCFG). Напомним, что контекстно-свободная грамматика (КСГ) 𝐺 — это четверка (Σ, 𝑁, 𝑆, 𝑅), в которой

• Σ множество терминалов
• 𝑁 множество нетерминалов
• 𝑆∈𝑁 стартовый символ
• 𝑅 множество продукционных правил вида \(𝑟_𝐿→𝑟_\), где (𝑟_𝐿∈𝑁\), а \(𝑟_𝑅\) представляет собой последовательность Σ и 𝑁

Как показано на рисунке 1 выше, каждое дерево синтаксического анализа в 𝐺 можно рассматривать как рекурсивно применяющее список продукционных правил для расширения начальный символ 𝑆 к предложению (последовательность терминалов). Для каждого предложения существует набор возможных деревьев синтаксического анализа, ведущих к этому предложению.

Основанная на CFG, вероятностная контекстно-свободная грамматика (PCFG) назначает условную вероятность \(P(𝑟_𝑅 | 𝑟_𝐿)\) каждому правилу \(𝑟_𝐿→𝑟_𝑅\). Как следствие, каждое дерево синтаксического анализа связано с вероятностью, которая является произведением вероятностей его правила. Кроме того, каждое предложение, сгенерированное PCFG, подвергается разбору с максимальным правдоподобием (если нет ничьей).

Используя PCFG в качестве основной истины синтаксиса, мы уточним наш вопрос, чтобы спросить: когда «структура для синтаксического анализа» способна представить анализ максимального правдоподобия предложения, сгенерированного из PCFG? В нашей статье мы рассматриваем фреймворки, основанные на синтаксическом расстоянии и парсерах на основе переходов. В следующих разделах мы представляем каждую структуру и наши соответствующие анализы.

Платформа 1: синтаксический анализ на основе расстояния

Исходная информация

Эта структура представлена ​​архитектурой сети синтаксического анализа-чтения-прогнозирования (PRPN) (Shen et al. , 2018).

Пусть \(W=𝑤_1 𝑤_2…𝑤_𝑛\) будет предложением, состоящим из 𝑛 токенов (слов). Кроме того, \(𝑤_0\) является символом начала предложения.

Как показано на рисунке 2, эта структура требует изучения/обучения функции синтаксического расстояния \(𝑑_𝑡≔𝑑(𝑤_{𝑡−1},𝑤_𝑡 | 𝑐_𝑡)\) между соседними словами \(𝑤_{𝑡−1}\) и \(𝑤_𝑡\), для всех \(2≤𝑡≤𝑛\). Здесь \(𝑐_𝑡\) — это контекст, который учитывает \(𝑑_t\). (Вертикальная черта не означает условное распределение; скорее, это обозначение просто для удобства.) В PRPN функция параметризуется мелкой сверточной нейронной сетью и может обучаться с использованием цели языкового моделирования.

Во время вывода по предложению мы применяем изученную сеть для вычисления синтаксического расстояния между каждой парой соседних слов и создаем дерево синтаксического анализа на основе жадного ветвления в точке наибольшего синтаксического расстояния. Вкратце, алгоритм индукции дерева состоит из следующих шагов:

1. Инициализировать корень так, чтобы он содержал все предложение
2. Всякий раз, когда существует один сегмент, состоящий из двух или более слов, разделить в точке с наибольшим синтаксическим расстоянием
3. Вернуть бинарное дерево, каждый лист которого содержит одно слово. Для нашего анализа достаточно отметить, что для любой заданной последовательности синтаксических расстояний \(𝑑_𝑡 (2≤𝑡≤𝑛)\) алгоритм индукции дерева является детерминированным. Следовательно, репрезентативная сила этой структуры определяется способностью выучить хорошую последовательность синтаксических дистанций.

   Наш анализ

   Используя PCFG в качестве синтаксической структуры «наземной истины», мы теперь определим, что значит представлять PCFG, используя синтаксическое расстояние.

   Определение : Пусть 𝐺 будет любой PCFG в нормальной форме Хомского. Говорят, что функция синтаксического расстояния 𝑑 способна 𝒑-представлять G, если для набора предложений в 𝐿(𝐺), общая вероятность которых не меньше 𝑝, функция синтаксического расстояния 𝑑 может правильно индуцировать анализ максимального правдоподобия этих предложения однозначно.

   Примечание : Здесь могут возникнуть неоднозначности, если, например. \(𝑑_t=𝑑_{𝑡+1}\), в этом случае нам нужно разорвать связи при разборе сегмента \(𝑤_{𝑡−1} 𝑤_𝑡 𝑤_{𝑡+1}\).

   Положительный результат

   С этим определением мы переходим к нашему положительному результату, соответствующему синтаксическому анализу с полным контекстом .

   Теорема 1 : для предложения \(W=𝑤_1 𝑤_2…𝑤_𝑛\) пусть \(c_t=(W, t)\). Для каждой ПКФГ \(G\) в нормальной форме Хомского существует синтаксическая мера расстояния \(𝑑_t=𝑑(𝑤_{𝑡−1}, 𝑤_𝑡 | 𝑐_𝑡)\), которая может 1-представлять G.

   Примечание : Эта теорема утверждает, что когда контекст в каждой позиции включает в себя все предложение и текущий позиционный индекс, тогда подход синтаксического расстояния имеет полную репрезентативную силу.

   Рисунок 3: Дерево синтаксического анализа с соответствующими синтаксическими дистанциями.

   Доказательство идеи . Пусть бинарное дерево \(T\) будет деревом синтаксического анализа с максимальным правдоподобием \(W\), таким как показанное на рис. 3 выше. Поскольку \(c_t=(W,t)\) является полным контекстом, \(𝑑_t\) может зависеть от всей основной истины \(T\). Следовательно, нам просто нужно найти такое назначение \(𝑑_t (t = 2..n)\), чтобы их порядок соответствовал уровню разделения ветвей в \(T\).

   Интуитивно, как показано на рис. 3, если мы назначаем большие значения расстояния в позициях, где дерево разбивается на более высоких уровнях, то последовательность расстояний может вызвать правильную структуру дерева. Чтобы формализовать эту идею, установите

   $$𝑑_t = 𝑛 – \text{tree_dist}(𝑟𝑜𝑜𝑡,  \text{lowest_common_ancestor}(𝑤_{𝑡−1}, 𝑤_𝑡))$$

   , и алгоритм индукции детерминированного дерева вернет желаемое дерево разбора \(T\).

   Отрицательный результат

   Выше мы видели, что анализ с полный контекст приводит к полной репрезентативной власти. С другой стороны, как мы увидим дальше, если контекст ограничен , т. е. он включает в себя все слева и дополнительно конечное окно просмотра вперед размером \(𝐿′\) справа, то репрезентативное мощность совсем бедная.

   Теорема 2 : Пусть \(c_t=(𝑤_0 𝑤_1 𝑤_2…𝑤_{𝑡+𝐿′})\). ∀𝜖>0, ∃ PCFG G в нормальной форме Хомского, такая, что любая синтаксическая мера расстояния \(𝑑_t=𝑑(𝑤_{𝑡−1},𝑤_𝑡 | 𝑐_𝑡)\) не может 𝜖-представлять G.

   Обратите внимание, что эта теорема анализирует разбор слева направо. Симметричный результат может быть доказан для разбора справа налево.

   Доказательство идеи : Как бы вы «обманули» модель, которая выводит синтаксическое расстояние в каждой позиции исключительно на основе левого контекста?

   Интуитивно понятно, что таким моделям будет трудно, если более поздние слова в предложении могут вызывать различные синтаксические структуры в начале предложения. Например, как показано на рисунке 4, рассмотрим два предложения: «Я пью кофе с молоком» и «Я пью кофе с друзьями». Их единственная разница возникает в самых последних словах, но их синтаксический анализ также различается в некоторых более ранних словах в каждом предложении.

   Когда модель «слева направо» читает первые несколько слов таких предложений (например, «Я пью кофе с»), модель не знает, какое слово (например, «молоко» или «друг») будет следующим, таким образом, наша вышеупомянутая интуиция подсказывает, что она не может знать, как разобрать часть предложения (например, «Я пью кофе»), которую она уже прочитала.

   Рисунок 4: Более ранние разборы зависят от более поздних слов.

   На самом деле, это интуитивное предположение остается в силе, даже если мы допускаем, что модель имеет конечный просмотр вперед вправо. Представьте себе случай, когда предложение длинное, и даже если модель может просмотреть несколько слов впереди, она по-прежнему имеет доступ только к левой части предложения, в то время как неизвестная крайняя правая часть потенциально может иметь решающее значение для определения структуры. приговора.

   Мы формализуем эту интуицию с помощью PCFG. Это мотивирует наше определение семейства грамматик контрпримеров, которое показано на рис. 5 ниже. Обратите внимание, что любые две строки в грамматике почти одинаковы, за исключением последней лексемы: префикс \(a_1 a_2 … a_{m+1+L′}\) является общим для всех строк. Однако их синтаксический анализ отличается в зависимости от того, где разбивается \(A_k\). Ключ к такой разнице в синтаксическом анализе лежит в самой последней лексеме \(c_k\), которая уникальна для каждой строки.

   Рисунок 5: Грамматика контрпримера. Структура дерева разбора строки \(a_1 a_2 … a_{m+1+L′} c_k\).

   Подробнее об этом грамматическом контрпримере см. в нашей статье. Можно показать, что при \(c_t=(𝑤_0 𝑤_1 𝑤_2…𝑤_{𝑡+𝐿′})\) для любого положительного целого числа \(m\) эта грамматика (параметризованная m) допускает только \(1/ m\) часть его языка, которая будет представлена ​​синтаксической мерой расстояния \(𝑑_t=𝑑(𝑤_{𝑡−1},𝑤_𝑡 | 𝑐_𝑡)\). Достаточно установить \(m > 1/𝜖\), чтобы точность была не более \(1/m\), что меньше, чем \(𝜖\).

   Применение нашего анализа к другой родственной архитектуре

   Наш анализ синтаксических основанных на расстоянии структур также применим к архитектуре Ordered Neurons LSTM (ON-LSTM), предложенной Shen et al. , (2019).

   Рисунок 6: Мотивация ON-LSTM, выдержка из (с небольшой адаптацией)
   Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville. Заказные нейроны. ICLR 2019. (ссылка на документ)

   Как показано на рисунке 6 выше, архитектура ON-LSTM требует обучения некоторых тщательно структурированных векторов вентилей в каждой позиции с использованием цели языкового моделирования. Во время вывода мы передаем предложение обученному ON-LSTM, получаем вентили и уменьшаем векторы вентилей до скаляров, представляющих синтаксические расстояния, и, наконец, индуцируем дерево синтаксического анализа путем жадного ветвления, как описано выше.

   Аналогичные результаты и доказательства применимы к ON-LSTM: с полный контекст дает полную репрезентативную мощность, тогда как с ограниченным контекстом репрезентативная мощность также весьма ограничена.

   Фреймворк 2: парсинг на основе переходов

   На каждом шаге вместо скаляра (синтаксического расстояния) мы можем выводить парсинга переходов . Парсер этого типа состоит из стека (инициализированного пустым) и входного буфера (инициализированного входным предложением). В каждой позиции 𝑡, в зависимости от контекста в 𝑡, синтаксический анализатор выводит последовательность переходов синтаксического анализа, каждый из которых может быть одним из следующих (на основе определения Дайера и др., (2016), которые предложили успешную нейронную параметризацию этих переходов.)

   1. NT(X): помещает нетерминал X в стек.
   2. SHIFT: удаляет первый терминал из входного буфера и помещает в стек.
   3. REDUCE: сформируйте новую составляющую на основе элементов в стеке

   Подробнее о переходах синтаксического анализа см. в нашей статье или Dyer et al., (2016).

   Наш анализ показывает, что аналогичные результаты, аналогичные приведенным выше теоремам для подходов, основанных на синтаксическом расстоянии, также верны для синтаксических анализаторов, основанных на переходах. С положительной стороны, то есть с полным контекстом, синтаксические анализаторы на основе переходов имеют полную репрезентативную мощность для любой PCFG в нормальной форме Хомского. Напротив, с отрицательной стороны, т. Е. Если контекст ограничен в одном (или обоих) направлении (направлениях), то существует PCFG, такая что точность синтаксических анализаторов на основе переходов может быть сделана сколь угодно низкой. Подробные формулировки теорем см. в разделе 7 нашей статьи.

   До сих пор мы видели наш анализ репрезентативной способности как для синтаксической дистанции, так и для структур, основанных на переходе. Почему мы решили рассмотреть эти рамки?

   Замечания о рассматриваемых каркасах

   Можно доказать, что RNN в ее наиболее общей форме является полной по Тьюрингу (Siegelmann and Sontag, 1992). Однако построение в Siegelmann and Sontag (1992) может потребовать потенциально неограниченного времени и памяти.

   С другой стороны, можно доказать, что однопроходная RNN, в которой контекстом в каждой позиции является все, что находится слева, имеет такую ​​же мощность, как и автомат с конечным числом состояний (Merrill, 2019). ), что недостаточно для разбора PCFG.

   В нашей работе мы рассматриваем промежуточную настройку, которая является более общей, чем простая однопроходная RNN, поскольку при вычислении решения парсинга на каждом слове контекст может включать не только все, что слева, но и конечный вид -вперед (направо). Обратите внимание, что опережающий просмотр конечен, но не неограничен. Следовательно, контекст по-прежнему ограничен , что соответствует нашим отрицательным результатам. Если, с другой стороны, неограниченный контекст разрешен в обоих направлениях, то настройка попадает в категорию неограниченный контекст , что привело к нашему положительному результату.

   Несмотря на то, что мы рассматриваем фреймворки на основе синтаксического расстояния и перехода, поскольку их нейронная параметризация дала сильные эмпирические результаты и представляет два общих подхода к синтаксическому анализу, стоит отметить, что наш анализ зависит от архитектуры. Действительно, есть некоторые другие архитектуры, которые не вписываются в предложенные нами ограничения, такие как Compound PCFG (Kim et al. , 2019). Его параметризация снова довольно сложна, но следует отметить один аспект: в процессе построения дерева по заданному предложению модель получает информацию как слева, так и справа, и поэтому ее репрезентативная способность не ограничивается контекст .

   Резюме

   В этой работе мы рассмотрели репрезентативную силу двух важных фреймворков для синтаксического анализа групп — т. е. фреймворков, основанных на изучении синтаксической дистанции и изучении последовательности итерационных переходов для построения дерева синтаксического анализа — в песочнице ПКФГ. В частности, мы показываем, что если контекст для вычисления расстояния или принятия решения о переходах ограничен по крайней мере с одной стороны (что часто имеет место на практике для существующих архитектур), то существуют PCFG, для которых нет хорошего способа выбрать метрика расстояния или последовательность переходов для построения синтаксического анализа максимального правдоподобия.

   Наш анализ формализовал некоторые теоретические преимущества двунаправленного контекста по сравнению с однонаправленным контекстом для синтаксического анализа. Мы призываем практиков, которые применяют МО к НЛП, следовать этому типу простого анализа, используя PCFG в качестве песочницы для оценки репрезентативной способности при предложении новой модели. Мы предлагаем переориентировать будущие усилия сообщества на методы, которые не подпадают под категорию ограниченных представительских полномочий.

   Интересные смежные направления исследований:

   1. Как принципиально расширить модели, которые были успешно расширены (например, BERT), синтаксической информацией, чтобы они могли фиксировать синтаксическую структуру (например, PCFG)?
   2. Как понять взаимодействие между синтаксическими и семантическими модулями в нейронных архитектурах? Различные успешные архитектуры обмениваются информацией между такими модулями, но относительные плюсы и минусы этого не совсем понятны.
   3. Помимо возможностей представления, как насчет аспектов оптимизации и обобщения, связанных с каждой архитектурой?
   Рекомендации
   1. Ючен Ли и Андрей Ристески. Ограничения ограниченного контекста для разбора группы . ACL 2021.
   2. Икан Шен, Чжоухан Линь, Чин-Вэй Хуанг и Аарон Курвиль. Нейронное моделирование языка путем совместного изучения синтаксиса и лексики . ICLR 2018.
   3. Икан Шен, Шон Тан, Алессандро Сордони, Аарон Курвиль. Упорядоченные нейроны . ICLR 2019.
   4. Крис Дайер, Адхигуна Кункоро, Мигель Баллестерос и Ной А. Смит. Рекуррентные грамматики нейронных сетей . NAACL 2016.
   5. Хава Т. Зигельманн и Эдуардо Д. Зонтаг. О вычислительной мощности нейронных сетей . КОЛЬТ 1992.
   6. Уильям Меррилл. Последовательные нейронные сети как автоматы . Семинар ACL 2019 по глубокому обучению и формальным языкам: наведение мостов.
   7. Юн Ким, Крис Дайер и Александр Раш. Составные вероятностные контекстно-свободные грамматики для грамматической индукции . ACL 2019.

   Анализ по составу (морфемному) слова «небрежный. «небрежно»

   Схема разбора по составу неаккуратно:

   небрежно

   Разбор слов по составу.

   Спряжение слова «небрежный»:

   Соединительная гласная: пропущено

   Постфикс : пропущено

   Морфемы — части слова неаккуратно

   небрежный

   Подробный разбор слова небрежный по составу. Корень слова, префикс, суффикс и окончание слова. Неосторожный морфемный разбор слова, его схемы и частей слова (морфем).

   • Морфемная схема: sloppy / n / th
   • Структура слова по морфемам: корень / суффикс / окончание
   • Схема (конструкция) слова sloppy по составу: корень sloppy + суффикс n + окончание й в слове небрежный:
     • небрежный — корень
     • n — суффикс
     • th — окончание
   • Типы морфем и их число в слово «Небрежный»:
     • Префикс: Отсутствует — 0
     • Корень: Небрежный — 1
     • Связь с гласным: — 0
     • : — — 0
     • : — 0
     — — 0 —
     : — 0 —
     : — 0
     • : — 0
     • : — 0
     • : — 0
     • : — 0
     • : . 1
     • постфикс: отсутствует — 0
     • конец: -й — 1

     Всего морфем в слове: 3.

     Деривационный анализ слова небрежный

     • Базовое слово: небрежный ;
     • Производные аффиксы: префикс отсутствует , суффикс n , постфикс отсутствует ;
     • Словообразование: ○ суффикс ;
     • Способ обучения: производный, так как образован 1 (одним) способом .

     См. также другие словари:

     Корневые слова… это слова, имеющие корень… принадлежащие к разным частям речи, и в то же время близкие по смыслу… Рифмованные слова к Незаботливый

     Склонение слова небрежный в падежах единственного и множественного числа…. Склонение слова небрежный

     Полный морфологический анализ слова неряшливый: Часть речи, начальная форма, морфологические признаки и словоформы. Направление науки о языке, где изучается слово… Морфологический разбор небрежный

     Ударение в слове небрежный: на каком слоге ударение и как. .. Слово «неаккуратный» правильно пишется как… ударение на слово небрежный

     Синонимы к слову небрежный. Онлайн-словарь синонимов: найдите синонимы к слову «неряшливый». Слова-синонимы, близкие по значению слова и выражения в… Синонимы к слову небрежный

     Антонимы…имеют противоположное значение, разные по звучанию, но относятся к одной и той же части речи… Антонимы к слову небрежный

     Анаграммы (составьте анаграмму) для слова небрежный, смешивая буквы…. Анаграммы для слова небрежный

     Морфемный разбор слова небрежный

     Морфемный разбор слова обычно называют разбором слова по составу — это поиск и анализ морфем (частей слова), входящих в данное слово.

     Морфемный разбор слова небрежный делается очень просто. Для этого достаточно соблюдать все правила и порядок разбора.

     Сделаем разбор морфем правильно, а для этого пройдем всего 5 шагов:

     • определение части речи слова — первый шаг;
     • второе — окончание выделяем: у изменяемых слов спрягаем или склоняем, у неизменяемых слов (герундии, наречия, некоторые существительные и прилагательные, служебные части речи) — окончаний нет;
     • Далее ищем базу. Это самая легкая часть, потому что для определения основы нужно просто отрезать окончание. Это будет основой слова;
     • Следующим шагом будет поиск корня слова. Подбираем родственные слова к небрежным (их еще называют однокоренными), тогда корень слова будет очевиден;
     • Остальные морфемы находим, подбирая другие слова, образованные таким же образом.

     Как видите, морфемный разбор делается просто. Теперь давайте определим основные морфемы слова и проанализируем его.

     * Морфемный разбор слова (разбор слов по составу) — поиск корня, префиксов, суффиксов, градуировки и основы слова Разбор слова по составу на сайте производится по словарю морфемного разбора.

     Разбор слова по составу один из видов лингвистического исследования, целью которого является определение структуры или состава слова, классификация морфем по их месту в слове и установление значения каждой из них . В школьной программе его еще называют морфемный разбор . Сайт-инструкция поможет правильно разобрать любую часть речи онлайн: существительное, прилагательное, глагол, местоимение, причастие, герундий, наречие, числительное.

     План: Как разобрать слово по составу?

     При проведении морфемного анализа соблюдайте определенную последовательность выделения значимых частей. Начните с того, чтобы «снять» морфемы с конца, методом «зачистки корня». Подходите к анализу осмысленно, избегайте бездумного деления. Определите значения морфем и выберите однокоренные слова, чтобы подтвердить правильность анализа.

     • Напишите слово в той же форме, что и в домашнем задании. Прежде чем приступить к разбору сочинения, выясните его лексическое значение (значение).
     • Определите из контекста, к какой части речи оно относится. Вспомните признаки слов, относящихся к этой части речи:
     • • изменяемый (имеет окончание) или неизменяемый (не имеет окончания)
       • имеет ли он формообразующий суффикс?
     • Найдите концовку. Для этого склоняем по падежам, меняем число, род или лицо, спрягаем — переменная часть будет окончанием. Не забудьте заменить слова с нулевым окончанием, обязательно укажите, если оно есть: sleep(), friend(), audiibility(), благодарность(), ate().
     • Выделить основу слова — это часть без окончания (и формообразующего суффикса).
     • Обозначить префикс в базе (если есть). Для этого сравните однокоренные слова с префиксами и без них.
     • Определите суффикс (если есть). Для проверки подберите слова с разными корнями и с одинаковым суффиксом, чтобы они выражали одинаковое значение.
     • Найти корень в базе. Для этого сравните ряд родственных слов. Их общей частью является корень. Помните об однокоренных словах с чередующимися корнями.
     • Если слово имеет два (или более) корня, укажите соединительную гласную (если есть): листопад, звездолет, садовник, пешеход.
     • Пометить формообразующие суффиксы и постфиксы (если есть)
     • Перепроверить анализ и выделить все значимые части значками

     В начальных классах разобрать слово — значит выделить окончание и основу, затем обозначить приставку суффиксом, подобрать слова с одним корнем и потом найти их общую часть: корень, и все.

     * Примечание: Министерство образования Российской Федерации рекомендует три учебных комплекса по русскому языку в 5-9 классах для общеобразовательных школ. У разных авторов подход к морфемному анализу по составу отличается. Чтобы избежать проблем при выполнении домашнего задания, сравните приведенный ниже порядок подведения итогов с вашим учебником.

     Порядок полного морфемного анализа по составу

     Во избежание ошибок желательно связать морфемный разбор с словообразовательным. Такой анализ называется формально-семантическим.

     • Установить часть речи и выполнить графический морфемный анализ слова, то есть обозначить все имеющиеся морфемы.
     • Выпишите окончание, определите его грамматическое значение. Укажите суффиксы, образующие словоформу (если есть)
     • Запишите основу слова (без формообразующих морфем: окончания и формообразующие суффиксы)
     • Найдите морфемы. Выпишите суффиксы и приставки, обоснуйте их выбор, объясните их значение
     • Корень: свободный или связанный. Для слов со свободными корнями составьте словообразовательную цепочку: «пис-а-т → за-пис-а-т → за-пис-ыва-т», «сух (ой) → сух-ар () → сух-ар-ниц -(а)». Для слов со связными корнями подберите односоставные слова: «одеть-раздеть-переодеться».
     • Запишите корень, подберите однокоренные слова, отметьте возможные варианты, чередование гласных или согласных в корнях.

     Как найти морфему в слове?

     Пример полного морфемного анализа глагола «проспал»:

     • окончание «а» указывает на форму глагола женского пола, единица прошедшего времени, ср.: проспал;
     • основание форы «проспал»;
     • два суффикса: «а» — суффикс основы глагола, «л» — этот суффикс, образует глаголы прошедшего времени,
     • приставка «за» — действие со значением убытка, невыгоды, ср.: просчитаться, проиграть, упустить;
     • словообразовательная цепочка: сон — проспал — проспал;
     • корень «сп» — в родственных словах возможны чередования сп//сн//сон//сып. Основы слов: сон, засыпание, сонливость, недосыпание, бессонница.

     Схема разбора по составу небрежно:

     небрежно

     Разбор слов по составу.

     Сопряжение слова «небрежно»:

     Соединительный гласный: пропущен

     Постфикс : пропущен

     Морфемы — части слова небрежно

     невзначай

     Детальный разбор слова. Корень слова, префикс, суффикс и окончание слова. Морфемный разбор слова небрежно, его схема и части слова (морфемы).

     • Морфемная схема: sloppy/n/o
     • Структура слова по морфемам: корень / суффикс / суффикс
     • Схема (конструкция) слова небрежно по составу: корень небрежно + суффикс н + суффикс о
     • Виды морфем и их количество в слове небрежно:
       • приставка: пропущено — 0
       • корень: небрежно — 1
       • соединительная гласная:
         пропущено0072 cyffix: , но — 2
       • постфикс: отсутствует — 0
       • конец: нулевое окончание. — 0

     Всего морфем в слове: 3.

     Деривационный анализ слова небрежно

     • Базовое слово: небрежно ;
     • Производные аффиксы: префикс отсутствует , суффикс но , постфикс отсутствует ;
     • Словообразование: ○ суффикс ;
     • Способ обучения: производная, так как образована 1 (одним) способом .

     См. также другие словари:

     Однокорневые слова… это слова, имеющие корень…, принадлежащие к разным частям речи, и в то же время близкие по значению… Рифмованные слова к Небрежно

     Склонение слова небрежно по падежам в единственном и множественном числе…. Склонение слова небрежно по падежам

     Полный морфологический разбор слова «небрежно»: Часть речи, начальная форма, морфологические признаки и словоформы. Направление науки о языке, где изучается слово… Морфологический анализ небрежно

     Ударение в слове небрежно: на какой слог и как ударение. .. Слово «небрежно» правильно пишется как… Ударение в слове небрежно

     Синонимы к слову небрежно. Онлайн-словарь синонимов: найдите синонимы к слову «невнимательный». Синонимичные слова, близкие по значению слова и выражения в… Синонимы к слову небрежно

     Антонимы…имеют противоположное значение, различны по звучанию, но относятся к одной и той же части речи… Антонимы к слову небрежно

     Анаграммы (составить анаграмму) к слову небрежно, путем смешивания букв…. Анаграммы к небрежно

     Морфемный разбор слова небрежно

     Морфемный разбор слова обычно называют разбором слова по составу — это поиск и анализ морфем (частей слова), входящих в данное слово.

     Морфемный разбор слова небрежно делается очень просто. Для этого достаточно соблюдать все правила и порядок разбора.

     Сделаем разбор морфем правильно, а для этого пройдем всего 5 шагов:

     • определение части речи слова — первый шаг;
     • второй — окончание выделяем: у изменяемых слов спрягаем или склоняем, у неизменяемых слов (герундии, наречия, некоторые существительные и прилагательные, служебные части речи) — окончаний нет;
     • Далее ищем базу. Это самая легкая часть, потому что для определения основы нужно просто отрезать окончание. Это будет основой слова;
     • Следующим шагом является поиск корня слова. Родственные слова подбираем для казуальных (их еще называют родственными), тогда корень слова будет очевиден;
     • Остальные морфемы находим, подбирая другие слова, образованные таким же образом.

     Как видите, морфемный разбор делается просто. Теперь давайте определим основные морфемы слова и проанализируем его.

     * Морфемный разбор слова (разбор слов по составу) — поиск корня, префиксов, суффиксов, градуировки и основы слова Разбор слова по составу на сайте производится по словарю морфемного разбора.

     Рекурсивная композиция поддерева в анализе зависимостей на основе LSTM

     1 Введение

     Рекурсивные нейронные сети позволяют нам строить векторные представления деревьев или поддеревьев. Они использовались для анализа избирательных округов

     Socher et al. (2013) и Dyer et al. (2016) и для разбора зависимостей на Stenetorp (2013) и Dyer et al. (2015) и др. В частности, Dyer et al. (2015) показали, что составление представлений поддеревьев с использованием рекурсивных нейронных сетей может быть полезным для синтаксического анализа зависимостей на основе переходов. Эти результаты были дополнительно подтверждены в исследовании 90 408 Kuncoro et al. (2017)

     , который показал, используя эксперименты по абляции, что композиция является ключевой в генеративном синтаксическом анализаторе грамматики рекуррентной нейронной сети (RNNG) на

     Дайер и др. (2016) .

     В параллельной разработке Кипервассер и Голдберг (2016b) показали, что использование BiLSTM для извлечения признаков может привести к высокой точности синтаксического анализа даже при довольно простых архитектурах синтаксического анализа, и поэтому использование BiLSTM для извлечения признаков стало очень популярным при анализе зависимостей. Он используется в современном синтаксическом анализаторе Dozat and Manning (2017) , использовался в 8 из 10 самых эффективных систем совместной задачи CoNLL 2017 года (Zeman et al., 2017) и 10 из 10 систем с самой высокой производительностью в общей задаче CoNLL 2018 года (Zeman et al., 2018) .

     Это поднимает вопрос о том, собирают ли признаки, извлеченные с помощью BiLSTM, сами по себе информацию о поддеревьях, что делает рекурсивную композицию излишней. Некоторое подтверждение этой гипотезы исходит из результатов Linzen et al. (2016) , которые указывают на то, что LSTM могут собирать иерархическую информацию: их можно обучить прогнозировать согласование междугородних номеров на английском языке. Эти результаты были распространены на большее количество конструкций и три дополнительных языка на Гулордава и др. (2018) . Однако Kuncoro et al. (2018) также показали, что, хотя последовательные LSTM могут изучать синтаксическую информацию, рекурсивная нейронная сеть, которая явно моделирует иерархию (модель RNNG из Dyer et al. (2015) ), лучше справляется с этим: она лучше работает с числом задача согласования от Linzen et al. (2016) .

     Для дальнейшего изучения этого вопроса в контексте синтаксического анализа зависимостей мы исследуем использование рекурсивной композиции (далее именуемой 9).0446 композиция ) в анализаторе с архитектурой, подобной Kiperwasser and Goldberg (2016b) . Это позволяет нам исследовать варианты функций и изолировать условия, при которых композиция полезна. Мы предполагаем, что использование BiLSTM для извлечения признаков позволяет собирать информацию о поддеревьях и, следовательно, делает излишним использование композиции поддеревьев. Мы предполагаем, что композиция становится полезной, когда удаляется часть BiLSTM, вперед или назад LSTM. Далее мы предполагаем, что композиция наиболее полезна, когда синтаксический анализатор не имеет доступа к информации о функции слов в контексте предложения, заданного POS-тегами. При использовании тегов POS у тегировщика действительно был доступ к полному предложению. Мы дополнительно смотрим на то, что происходит, когда мы удаляем векторы символов, которые, как было показано, собирают информацию, частично перекрывающуюся с информацией из тегов POS. Мы экспериментируем с более широким спектром языков, чем Дайер и др. (2015) , чтобы выяснить, зависит ли полезность различных вариантов модели от типа языка.

     2 Разбор K&G на основе переходов

     Мы определяем архитектуру синтаксического анализа, представленную Кипервассером и Голдбергом (2016b) , как высокий уровень абстракции и далее называем ее K&G. Парсер K&G — это жадный парсер, основанный на переходах. ^{1 1} 1 Кипервассер и Голдберг (2016b) также определяют анализатор на основе графа с аналогичным извлечением признаков, но мы сосредоточимся на анализе на основе переходов. Для входного предложения длины n со словами w1,…,wn создается последовательность векторов x1:n, где вектор xi является векторным представлением слова wi. Мы называем их введите векторов, так как они одинаковы для всех вхождений типа слова. Затем векторы типов передаются через функцию признаков, которая изучает представления слов в контексте предложения.

     	и	= е(ви)
     	ви	=f(x1:n,i)

     Мы называем вектор vi вектором токенов , поскольку он различен для разных токенов одного и того же типа слова. В Кипервассер и Голдберг (2016b) , используемая функция признака представляет собой BiLSTM.
     Как обычно при синтаксическом анализе на основе переходов, синтаксический анализ включает переходы от начальной конфигурации к конечной. Конфигурации синтаксического анализатора представлены стеком, буфером и набором дуг зависимостей (Nivre, 2008) . Для каждой конфигурации c

     средство извлечения признаков объединяет токены-представления основных элементов из стека и буфера. Эти векторы токенов передаются классификатору, обычно многослойному персептрону (MLP). MLP оценивает переходы вместе с метки дуги для переходов, которые предполагают добавление дуги. И векторы типов слов, и BiLSTM обучаются вместе с моделью.

     3 Составление представлений поддеревьев

     Дайер и др. (2015) изучили влияние использования рекурсивной функции композиции в их синтаксическом анализаторе, который также является синтаксическим анализатором на основе перехода, но с архитектурой, отличной от K&G. Они используют вариант LSTM, называемый стековым LSTM. Стек LSTM имеет операции push и pop, которые позволяют проходить состояния в древовидной структуре, а не последовательно. LSTM стека используются для представления стека, буфера и последовательности прошлых действий анализа, выполненных для конфигурации.
     Слова предложения представлены векторами типов слов вместе с вектором, представляющим тег POS слова. В исходной конфигурации векторы всех слов находятся в буфере, а стек пуст. Представление буфера — это конечное состояние обратного LSTM по векторам слов. По мере развития синтаксического анализа векторы слов извлекаются из буфера, помещаются в стек и извлекаются из него, а представления стека и буфера обновляются.
     Дайер и др. (2015) определить функцию рекурсивной композиции и создавать представления дерева постепенно, по мере того, как зависимые элементы прикрепляются к их голове. Составное представление c строится путем конкатенации вектора h головы с вектором зависимого d, а также вектора r, представляющего метку в паре с направлением дуги. Этот объединенный вектор проходит через аффинное преобразование, а затем через нелинейную активацию.

     c=tanh(W[h;d;r]+b)

     Они создают две версии парсера. В первом варианте при присоединении зависимого к голове вектор слов головы заменяется составным вектором головы и зависимого. Во втором варианте они просто сохраняют вектор головы при присоединении иждивенца к голове. Они отмечают, что версия с композицией значительно лучше, чем версия без нее, на 1,3 балла LAS для английского языка (на тестовом наборе Penn Treebank (PTB)) и на 2,1 для китайского языка (на тестовом наборе Chinese Treebank (CTB)).
     Их синтаксический анализатор использует информацию тега POS. POS-теги помогают устранить неоднозначность между различными функциональными употреблениями слова и, таким образом, предоставляют информацию об использовании слова в контексте. Мы предполагаем, что эффект от использования рекурсивной функции композиции сильнее, когда не используются теги POS.

     4 Композиция в парсере K&G

     Архитектуры синтаксического анализа синтаксического анализатора LSTM стека (S-LSTM) и K&G различаются, но имеют некоторые сходства. ^{2 2} 2Обратите внимание, что мы используем S-LSTM для обозначения анализатора стека LSTM, а не стека LSTM как типа LSTM. В обоих случаях конфигурация представлена ​​векторами, полученными с помощью LSTM. В K&G он представлен векторами токенов верхних элементов стека и первого элемента буфера. В S-LSTM он представлен векторными представлениями всего стека, буфера и последовательности прошлых переходов.
     Оба типа синтаксических анализаторов изучают векторные представления типов слов, которые передаются в LSTM. В K&G они передаются в LSTM на этапе извлечения признаков, который происходит перед синтаксическим анализом. LSTM в этом случае используется для изучения векторов, у которых есть информация о контексте каждого слова, токен-вектор. В S-LSTM векторы типов слов передаются в Stack LSTM по мере развития синтаксического анализа. В этом случае LSTM используются для изучения векторных представлений стека и буфера (а также того, который изучает представление истории действий синтаксического анализа).
     Если композиция не используется в S-LSTM, векторы слов представляют типы слов. Когда используется композиция, по мере развития синтаксического анализа векторы стека и буфера обновляются информацией о содержащихся в них поддеревьях, так что они постепенно становятся контекстуализированными. В этом смысле эти векторы становятся больше похожими на векторы токенов в K&G. В частности, как объяснялось в предыдущем разделе, когда зависимый объект присоединен к его голове, функция композиции применяется к векторам головы и зависимого, и вектор головы заменяется этим составным вектором.
     Мы не можем применять композицию к векторам типов в архитектуре K&G, поскольку они не используются после этапа извлечения признаков и, следовательно, не могут влиять на представление конфигурации. Вместо этого мы применяем композицию к векторам токенов. Мы встраиваем эти составные представления в то же пространство, что и векторы токенов.
     В K&G, как и в S-LSTM, мы можем создать функцию композиции и составить представление поддеревьев по мере развития синтаксического анализа. Мы создаем две версии синтаксического анализатора, в одной из которых токены слов представлены их вектором токенов. Другой, где они представлены своим вектором токенов и вектором их поддерева ci, который изначально является просто копией вектора токенов (vi=f(x1:n,i)∘ci). Когда зависимое слово d присоединяется к слову h с отношением и направлением r, ci вычисляется с той же функцией композиции, что и в S-LSTM, определенной в предыдущем разделе, повторенной ниже. ^{3 3} 3Обратите внимание, что в предварительных экспериментах мы пытались заменить вектор головы вектором ее поддерева вместо объединения двух, но объединение дало гораздо лучшие результаты.
     Эта композиционная функция представляет собой простую рекуррентную ячейку. Простые RNN имеют известные недостатки, которые были устранены с помощью LSTM, как было предложено Hochreiter and Schmidhuber (1997) . Поэтому естественным расширением этой функции композиции является замена ее ячейкой LSTM. Мы тоже пробуем этот вариант. Мы создаем LSTM для поддеревьев. Мы инициализируем новый LSTM для каждого нового сформированного поддерева, то есть когда зависимый d присоединяется к голове h, у которой еще нет никаких зависимых. Каждый раз, когда мы присоединяем зависимого к голове, мы строим вектор, который представляет собой конкатенацию h, d и r. Мы передаем этот вектор в LSTM h. c — это выходное состояние LSTM после прохождения этого вектора. Мы обозначаем эти модели с +rc для модели, использующей рекуррентную ячейку без ограничений, и с +lc для модели, использующей ячейку LSTM.

     	в	=tanh(W[h;d;r]+b)
     	в	=\textscLstm([h;d;r])

     Как показывают результаты (см. § 5), ни один из типов композиции не кажется полезным при использовании с моделью синтаксического анализа K&G, что указывает на то, что BiLSTM собирают информацию о поддеревьях. Для дальнейшего изучения этого и для того, чтобы изолировать условия, при которых композиция полезна, мы выполняем различные модели абляции и проверяем влияние рекурсивной композиции на эти аблированные модели.
     Во-первых, мы удаляем части BiLSTM: мы удаляем либо переднюю, либо заднюю LSTM. Поэтому мы строим синтаксические анализаторы с 3 различными функциями функций f(x,i) над векторами типа слова xi в предложении x: BiLSTM (bi) (наша базовая линия), обратная LSTM (bw) (т. е. удаление прямой LSTM) и прямой LSTM (fw) (т. Е. Удаление обратного LSTM):

     	би(х,я)	=\textscBiLstm(x1:n,i)
     	чб(х,и)	=\textscLstm(xn:1,i)
     	фв (х, я)	=\textscLstm(x1:n,i)

     Парсеры

     K&G с однонаправленными LSTM в некотором смысле больше похожи на S-LSTM, чем на BiLSTM, поскольку S-LSTM использует только однонаправленные LSTM. Мы предполагаем, что композиция поможет синтаксическому анализатору, использующему однонаправленные LSTM, так же, как он помогает S-LSTM.

     Мы дополнительно экспериментируем с вектором, представляющим слово на входе LSTM. Наиболее сложное представление состоит из конкатенации вложения типа слова e(wi), встраивания (предсказанного) POS-тега wi, p(wi) и символьного представления слова, полученного путем запуска BiLSTM над символы ch2:m из wi (BiLSTM(ch2:m)).

     xi=e(wi)∘p(wi)∘BiLSTM(ch2:m)

     Без внедрения тега POS вектор слова является представлением типа слова. С информацией POS у нас есть некоторая информация о слове в контексте предложения, и тегировщик имеет доступ к полному предложению. Таким образом, представление слова на входе BiLSTM более контекстуализировано, и можно ожидать, что функция рекурсивной композиции будет менее полезной, чем когда информация POS не используется. Было показано, что информация о символах полезна для разбора зависимостей в первую очередь Баллестерос и др. (2015) . Баллестерос и др. (2015) и Smith et al. (2018b) , среди прочего, показали, что POS и информация о символах в некоторой степени дополняют друг друга. Баллестерос и др. (2015) использовали аналогичные векторы символов в синтаксическом анализаторе S-LSTM, но не учитывали влияние композиции при использовании этих векторов. Здесь мы экспериментируем с удалением одного или обоих векторов символа и POS. Мы рассматриваем влияние использования композиции на полную модель, а также на эти аблированные модели. Мы предполагаем, что композиция наиболее полезна, когда эти векторы не используются, поскольку они дают информацию о функциональном использовании слова в контексте.

     Парсер

     Мы используем UUParser, вариант синтаксического анализатора на основе переходов K&G, в котором используется дуговая гибридная система переходов из Kuhlmann et al. (2011) дополнен переходом Swap и статическим динамическим оракулом, как описано в de Lhoneux et al. (2017b) ^{4 4} 4 Код можно найти по адресу https://github.com/mdelhoneux/uuparser-composition. Переход Swap используется для построения непроективных деревьев зависимостей (Нивр, 2009 г.)

     . Мы используем гиперпараметры по умолчанию. При использовании POS-тегов мы используем универсальные POS-теги из банков деревьев UD, которые являются укрупненными и одинаковыми для разных языков. Теги POS прогнозируются UDPipe

     (Straka et al., 2016) как для обучения, так и для синтаксического анализа. Этот синтаксический анализатор получил в среднем 7-е место среди лучших результатов LAS в общей задаче CoNLL 2018 года (Zeman et al., 2018) , что примерно на 2,5 балла LAS ниже лучшей системы, которая использует ансамблевую систему, а также вложения ELMo, представленные Петерс и др. (2018) . Обратите внимание, однако, что мы используем слегка обедненную версию модели, используемой для общей задачи, которая описана в Smith et al. (2018a) : мы используем менее точный теггер POS (UDPipe) и не используем модели с несколькими банками деревьев. Кроме того, Smith et al. (2018a) используют три верхних элемента стека, а также первый элемент буфера для представления конфигурации, в то время как мы используем только два верхних элемента стека и первый элемент буфера. Смит и др. (2018a) также использует расширенный набор функций, представленный Kiperwasser and Goldberg (2016b)

     , где они также используют крайние правые и крайние левые дочерние элементы стека и буфера, которые они рассматривают. Мы не используем этот расширенный набор функций. Это делается для того, чтобы настройки парсера были максимально простыми и чтобы не добавлялись искажающие факторы. Это все еще почти модель SOTA. Мы оцениваем модели синтаксического анализа в наборах для разработки и сообщаем о среднем значении 5 лучших результатов за 30 эпох и 5 прогонов с разными случайными начальными значениями.

     Данные

     Мы тестируем наши модели на образце деревьев из Universal Dependencies v2.1 (Nivre et al., 2017) . Мы следуем критериям de Lhoneux et al. (2017c) для выбора нашей выборки: мы обеспечиваем типологическое разнообразие, мы обеспечиваем разнообразие доменов, мы проверяем качество банков деревьев и используем один банк деревьев с большим количеством непроективных дуг. Однако, в отличие от них, мы не используем очень маленькие валы деревьев. Наш выбор такой же, как и у них, но мы удаляем крошечные валы деревьев и заменяем их тремя другими. Наш последний набор: древнегреческий (PROIEL), баскский, китайский, чешский, английский, финский, французский, иврит и японский.

     5 результатов

     Во-первых, мы рассмотрим влияние наших различных функций рекурсивной композиции на полную модель (т. е. модель, использующую BiLSTM для извлечения признаков, а также информацию о символах и тегах POS). Как видно из рисунка 1, рекурсивная композиция с использованием ячейки LSTM (+lc), как правило, лучше, чем рекурсивная композиция с повторяющейся ячейкой (+rc), но ни один из методов надежно не повышает точность синтаксического анализатора BiLSTM.

     Рисунок 1: LAS моделей с использованием BiLSTM (bi) без композиции, с повторяющейся ячейкой (+rc) и с ячейкой LSTM (+lc). Гистограммы усечены до 50 для наглядности.

     5.1 Удаление прямого и обратного LSTM

     Во-вторых, мы рассматриваем только модели, использующие информацию о символах и POS, и смотрим на влияние удаления частей BiLSTM на разные языки. Результаты можно увидеть на рисунке 2. Как и ожидалось, синтаксический анализатор BiLSTM работает значительно лучше, чем оба однонаправленных синтаксических анализатора LSTM, а обратный LSTM в среднем значительно лучше, чем прямой LSTM. Однако интересно отметить, что использование прямого LSTM гораздо более вредно для одних языков, чем для других: особенно для китайского и японского. Это можно объяснить свойствами языка: правосторонние языки больше страдают от удаления обратного LSTM. чем другие языки. Мы наблюдаем корреляцию между тем, насколько вредна прямая модель по сравнению с базовым уровнем, и процентом правосторонних отношений зависимости от контента (R = -0,838, p <0,01), см. рис. 3. ^{5 5} 5 Причина, по которой мы рассматриваем только отношения зависимости содержания, заключается в том, что схема UD фокусируется на отношениях зависимости между словами содержания и рассматривает служебные слова как характеристики слов содержания, чтобы максимизировать параллелизм между языками (de Marneffe et al. , 2014) .

     Рисунок 2: LAS моделей с использованием BiLSTM (bi), обратного LSTM (bw) и прямого LSTM (fw).

     Нет существенной корреляции между тем, насколько вредным является удаление прямого LSTM, и процентом левосторонних отношений зависимости контента (p>0,05), что указывает на то, что его полезность не зависит от свойств языка. Мы предполагаем, что длина зависимости или длина предложения могут играть роль, но мы также не находим корреляции между тем, насколько вредно удалять прямой LSTM, и средней зависимостью или длиной предложения в банках деревьев. Наконец, также интересно отметить, что обратная производительность LSTM близка к производительности BiLSTM для некоторых языков (японского и французского).

     Рисунок 3: Корреляция между тем, насколько вредно удалять отсталый LSTM и правосторонность языков. Рисунок 4: LAS моделей с использованием BiLSTM (bi), обратного LSTM (bw) и прямого LSTM (fw), без рекурсивной композиции, с рекуррентной ячейкой (+rc) и с ячейкой LSTM (+lc). Гистограммы усечены до 50 для наглядности.

     Теперь мы рассмотрим эффект использования рекурсивной композиции на этих аблированных моделях. Результаты представлены на рисунке 4. Прежде всего, мы неудивительно наблюдаем, что композиция с использованием ячейки LSTM намного лучше, чем с использованием простой рекуррентной ячейки. Во-вторых, оба типа композиции помогают обратному случаю LSTM, но ни один из них не помогает надежно би-моделям. Наконец, рекуррентная ячейка не помогает в случае прямого LSTM, но ячейка LSTM в некоторой степени помогает. Интересно отметить, что использование композиции, особенно с использованием ячейки LSTM, устраняет значительную часть разрыва между моделями bw и bi.

     Эти результаты могут быть связаны с литературой по синтаксическому анализу зависимостей на основе переходов. Синтаксические анализаторы на основе переходов обычно полагаются на два типа функций: функции на основе истории по возникающему дереву зависимостей и упреждающие функции по буферу оставшихся входных данных. Первые основаны на иерархической структуре, вторые — чисто последовательные. McDonald and Nivre (2007) и McDonald and Nivre (2011) показали, что функции, основанные на истории, улучшают синтаксические анализаторы на основе переходов, если они не страдают от распространения ошибок. Однако Nivre (2006) также показал, что функции просмотра вперед абсолютно необходимы, учитывая жадную стратегию разбора слева направо.

     В рассмотренных здесь архитектурах моделей обратный LSTM обеспечивает улучшенный просмотр вперед. Подобно просмотру вперед в статистическом анализе, он является последовательным. Разница в том, что он дает информацию о предстоящих словах неограниченной длины. Прямой LSTM в этой архитектуре модели предоставляет информацию на основе истории, но, в отличие от статистического анализа, эта информация строится последовательно, а не иерархически: прямой LSTM проходит через предложение в линейном порядке предложения. В наших результатах мы видим, что упреждающие функции более важны, чем функции, основанные на истории. Точность синтаксического анализа больше ухудшает удаление обратного LSTM, чем удаление прямого. Это ожидаемо, учитывая, что некоторая информация, основанная на истории, все еще доступна через верхние токены в стеке, в то время как упреждающая информация почти полностью теряется без обратного LSTM.
     Функция композиции предоставляет иерархическую информацию об истории действий по разбору. Имеет смысл, что это больше всего помогает обратной модели LSTM, поскольку эта модель не имеет доступа к какой-либо информации об истории синтаксического анализа. Это немного помогает прямому LSTM, что указывает на то, что можно получить выгоду от использования структурированной информации об истории синтаксического анализа, а не последовательной информации. Тогда мы могли бы ожидать, что композиция должна помочь модели BiLSTM, что, однако, не так. Это может быть связано с тем, что BiLSTM конструирует информацию о синтаксическом анализе истории и просмотре вперед в уникальном представлении. В любом случае это указывает на то, что BiLSTM являются мощными экстракторами функций, которые, кажется, собирают полезную информацию о поддеревьях.

     5.2 Удаление информации о POS и персонаже

     Далее мы рассмотрим влияние различных методов представления слов на разные языки, как показано на рисунке 5. Как и в литературе (Ballesteros et al., 2015; de Lhoneux et al., 2017a; Smith et al. al., 2018b) , использование символьных представлений слов и/или тегов POS постоянно повышает точность синтаксического анализа, но оказывает разное влияние на разные языки, и преимущества обоих методов не суммируются: использование двух методов в сочетании не намного лучше, чем использование либо самостоятельно. В частности, модели символов — это эффективный способ добиться больших улучшений в морфологически богатых языках.

     Рисунок 5: Базовый уровень LAS с использованием тегов char и/или POS для построения представлений слов Разница >0,5 с +lc жирным шрифтом.

     Мы рассматриваем влияние рекурсивных композиций на все комбинации аблированных моделей, см. Таблицу 1. Мы рассматриваем только влияние использования ячейки LSTM, а не рекуррентной ячейки, поскольку это был лучший метод по всем направлениям (см. предыдущий раздел). .
     Если сначала посмотреть на BiLSTM, то кажется, что композиция не обеспечивает надежной точности синтаксического анализа, независимо от доступа к POS и информации о символах. Это указывает на то, что векторы, полученные с помощью BiLSTM, уже содержат информацию, которую в противном случае можно было бы получить с помощью композиции.
     Обращаясь к результатам с прямой или обратной абляции LSTM, мы видим ожидаемую картину. Композиция помогает больше, когда в модели отсутствуют теги POS, что указывает на некоторую избыточность между этими двумя методами построения контекстной информации. Композиция помогает восстановить значительную часть разрыва модели с помощью обратного LSTM с тегом POS или без него. В других случаях он восстанавливает гораздо менее существенную часть пробела, что означает, что, хотя между этими различными методами построения контекстной информации существует некоторая избыточность, они все же дополняют друг друга, и рекурсивная функция композиции не может полностью компенсировать отсутствие обратного LSTM. или POS и/или информацию о персонаже. В результатах есть некоторые языковые особенности. В то время как композиция помогает восстановить большую часть разрыва для обратных моделей LSTM без информации о POS и / или символах для чешского и английского языков, она делает это в гораздо меньшей степени для баскского и финского языков. Мы предполагаем, что глубина дуги может повлиять на полезность композиции, поскольку большая глубина означает большее умножение матриц с функцией композиции. Однако мы не находим корреляции между средней глубиной дуги берегов деревьев и полезностью композиции. Остается открытым вопрос, почему композиция помогает одним языкам больше, чем другим.
     Обратите внимание, что мы не первые, кто использует композицию векторов, полученных из BiLSTM, в контексте синтаксического анализа зависимостей, как это было сделано Qi и Manning (2017) . Отличие в том, что они составляют векторы до подсчета очков за переходы. Это также было сделано Kiperwasser и Goldberg (2016a) , которые показали, что использование векторов BiLSTM для слов в их синтаксическом анализаторе Tree LSTM полезно, но они не сравнивали это с использованием векторов BiLSTM без Tree LSTM.
     Рекуррентные и рекурсивные LSTM в том виде, как они рассматриваются в этой статье, представляют собой два способа создания контекстной информации и предоставления ее для принятия локальных решений в жадном синтаксическом анализаторе. Сила рекурсивных LSTM заключается в том, что они могут создавать эту контекстную информацию, используя иерархический контекст, а не линейный контекст. Возможная слабость заключается в том, что это делает модель чувствительной к распространению ошибок: неправильное присоединение приводит к использованию неправильной контекстной информации. Поэтому возможно, что преимущества и недостатки использования этого метода компенсируют друг друга в контексте BiLSTM.

     5.3 Ансамбль

     Для дальнейшего изучения информации, полученной с помощью BiLSTM, мы объединили 6 версий моделей с POS и символьной информацией с различными экстракторами признаков (bi, bw, fw) с (+lc) и без композиции. Мы используем (невзвешенный) метод повторного анализа Sagae and Lavie (2006) ^{6 6} 6. Этот метод оценивает все дуги по количеству парсеров, предсказывающих их, и извлекает максимальное остовное дерево с использованием алгоритма Чу-Лю-Эдмондса (Эдмондс, 1967) . и игнорирование ярлыков. Как видно из оценок UAS в таблице 2, ансамбль (90 446 полных 90 447) значительно превосходит синтаксический анализатор, использующий только BiLSTM, что указывает на то, что информация, полученная из разных моделей, дополняет друг друга. Чтобы исследовать вклад каждой из 6 моделей, мы удаляем каждую из них одну за другой. Как видно из таблицы 2, удаление любой из моделей BiLSTM или обратного LSTM с использованием композиции приводит к наименее эффективной из моделей удаления, что еще больше укрепляет вывод о том, что BiLSTM являются мощными экстракторами признаков.

     Таблица 2: Ансамбль UAS (полный) и эксперименты по удалению.

     6 Заключение

     Мы исследовали влияние составления представления поддеревьев в синтаксическом анализаторе на основе переходов. Мы заметили, что композиция не помогает синтаксическому анализатору, который использует BiLSTM для извлечения признаков, что указывает на то, что векторы, полученные из BiLSTM, могут собирать информацию о поддеревьях, что согласуется с результатами Linzen et al. (2016) . Однако мы наблюдаем, что при удалении обратного LSTM производительность падает, а рекурсивная композиция не помогает восстановить большую часть этого разрыва. Мы предполагаем, что это связано с тем, что обратный LSTM в первую очередь улучшает просмотр вперед для жадного синтаксического анализатора. При удалении прямого LSTM производительность падает в меньшей степени, а рекурсивная композиция восстанавливает значительную часть разрыва. Это указывает на то, что прямой LSTM и рекурсивная функция композиции собирают аналогичную информацию, которую мы считаем связанной с богатыми функциями, основанными на истории, которые имеют решающее значение для синтаксического анализатора на основе переходов. Для сбора этой информации рекурсивная функция композиции лучше, чем прямая LSTM сама по себе, но еще лучше иметь прямую LSTM как часть BiLSTM. Мы также обнаружили, что рекурсивная композиция помогает больше, когда теги POS удаляются из модели, указывая на то, что теги POS и функция рекурсивной композиции являются частично избыточными способами построения контекстной информации. Наконец, мы сопоставляем результаты со свойствами языка, показывая, что улучшенный просмотр назад обратного LSTM особенно важен для языков с окончанием головы.

     Благодарности

     Мы подтверждаем вычислительные ресурсы, предоставленные CSC в Хельсинки и Sigma2 в Осло через NeIC-NLPL (www.nlpl.eu). Мы благодарим Сару Стимн и Аарона Смита за многочисленные обсуждения этой статьи.

     Каталожные номера

     50 Синонимов СОСТАВА | Тезаурус Мерриам-Вебстер

     существительное

     Сохранить слово

     1 литературное, музыкальное или художественное произведение

     • the compositions of Michelangelo include the dome of St. Peter’s, the ceiling of the Sistine Chapel, and his monumental statue of David
     • number,
     • opus,
     • piece,
     • work
     • classic,
     • magnum opus,
     • шедевр,
     • произведение искусства,
     • экспонат
     • модель,
     • эскиз,
     • 0004
     • этюд
     • канон,
     • корпус,
     • произведение

     2 короткое сочинение, выполненное в качестве школьного упражнения

     • учительница, которая любит, чтобы ее класс писал сочинения
     • бумага,
     • тема
     • статья,
     • эссе,
     • рассказ

     3 способ расположения элементов чего-либо (как произведения искусства)

     • студенты-фотографы узнают о важности композиции в создании ярких изображений
     • расположение,
     • configuration,
     • constellation,
     • design,
     • form,
     • format,
     • getup,
     • layout,
     • makeup,
     • ordonnance,
     • pattern
     • motif,
     • theme

     4 короткий текст, обычно выражающий точку зрения

     • представил композицию в местную газету для своей специальной секции, отмечающая Мартин Лютер Кинг День
     • ,
     • Эссе,
     • Paper,
     • Тема
   • .
   • комментарий,
   • редакционная статья,
   • очерк,
   • отчет,
   • обзор,
   • рецензия
   • диссертация,
   • тезис
   • трактат,
   • Трактат
   • Дискурс,
   • Обсуждение,
   • Exposition,
   • Prolegomenon,
   • Исследование

   Опубликуйте больше слов для композиции в Facebook Поделитесь другими словами для композиции в Твиттере

   Путешественник во времени на состав

   Первое известное использование композиции

   было в 14 веке

   Посмотреть другие слова того же века

   Тезаурус Записи рядом с

   состав

   композитинг

   сочинение

   композиции

   Посмотреть больше записей поблизости 

   Процитируйте эту запись

   «Композиция». Merriam-Webster.com Тезаурус , Merriam-Webster, https://www.merriam-webster.com/thesaurus/composition. По состоянию на 13 сентября 2022 г.

   Стиль: MLA

   Merriam-Webster.com Thesaurus, Merriam-Webster, https://www.merriam-webster.com/thesaurus/composition. По состоянию на 13 сентября 2022 г.»> MLA Merriam-Webster.com Тезаурус, с.в. «composition», по состоянию на 13 сентября 2022 г., https://www.merriam-webster.com/thesaurus/composition.»>Chicago. Тезаурус Merriam-Webster.com. Получено 13 сентября 2022 г. с https://www.merriam-webster.com/thesaurus/composition»>APA. Merriam-Webster.com Thesaurus, https://www.merriam-webster.com/thesaurus/composition. Доступно 9/13/2022.»>Merriam-Webster

   Еще от Merriam-Webster на композиция

   Нглиш: Перевод композиция для говорящих на испанском языке

   Britannica English: Перевод композиции для говорящих на арабском языке 900. 0 com: Энциклопедическая статья о композиции

   СЛОВО ДНЯ

   наряжать

   См. Определения и примеры »

   Получайте ежедневно по электронной почте Слово дня!

   Проверьте свой словарный запас

   Слова, названные в честь людей

   • Тёзка купальника Жюль Леотар какую профессию имел?
   • Хирург Судить
   • Акробат Пожарный

   Проверь свои знания и, возможно, узнаешь что-нибудь по ходу дела.

   ПРОЙДИТЕ ТЕСТ

   Ежедневное задание для любителей кроссвордов.

   ПРОЙДИТЕ ТЕСТ

   Подпишитесь на крупнейший словарь Америки и получите тысячи дополнительных определений и расширенный поиск без рекламы!

   Merriam-Webster без сокращений

   Слова в игре

   • «Дундерхед» и другие «приятные» способы сказать «глупый»

     На примере некоторых очень умных щенков

   • 10 слов из географических названий

     Бикини, бурбон и бадминтон заняли первые места

   • «Гордость»: слово, которое превратилось из порока в силу

     Вы гордитесь Прайдом?

   • Когда впервые были использованы слова?

     Найдите любой год, чтобы узнать

   Спросите у редакторов

   • Буквально

     Как использовать слово, которое (буквально) приводит некоторых людей в.