Times, Sunday Times (2014)

Times, Sunday Times (2014)

Поруш, Дэвид Краткое руководство по написанию статей о науке (1995)

Times, Sunday Times (2014)

Times, Sunday Times (2006)

Times, Sunday Times (2011)

Times, Sunday Times (2012)

Times, Sunday Times (2013)

Христианство сегодня (2000)

Times, Sunday Times (2009)

Подробнее …

Bulgin, Sally Acrylics Masterclass (1994)

Times, Sunday Times (2014)

Times, Sunday Times (2007)

Times, Sunday Times (2013)

Times, Sunday Times (2007)

Бахманн, Сьюзан (редактор) и Барт, Мелинда между мирами: читатель, риторика и справочник (1995)

Times, Sunday Times (2015)

LM Montgomery Anne of Green Gables (1872)

Солнце (2013)

Times, Sunday Times (2010)

Times, Sunday Times (2011)

Пейдж, Рассел «Образование садовника» (1994)

Times, Sunday Times (2012)

Определение слова Мерриам-Вебстер

переходный глагол

б (1) : сформулировать и написать (музыкальное произведение) сочинил симфонию

(2) : сочинять музыку для

3 : , чтобы разобраться или действовать так, чтобы свести к минимуму составить свои различия

4 : оформить в надлежащем или упорядоченном виде Двое мужчин уложили его на кровать и собрали его конечности. — Джозеф Шеридан Ле Фану

непереходный глагол

: для практики композиции (литературной, музыкальной или типографской работы) В 10 лет он сочинял музыку за фортепиано.

(PDF) Улучшенный анализ на основе переходов путем моделирования символов вместо слов с LSTM

Алекс Грейвс. 2013. Генерация последовательностей с помощью повторяющихся

арендных нейронных сетей. CoRR, абс. / 1308.0850.

Клаус Грефф, Рупеш Кумар Шривастава, Ян Кутн

ık,

Bas R. Steunebrink и J ¨

urgen Schmidhuber.

2015. LSTM: космическая одиссея поиска. CoRR,

абс / 1503.04069.

Карл Мориц Херманн и Фил Блансом. 2013. Роль синтаксиса

в моделях векторного пространства композиционной семантики. В Proc. ACL.

Зепп Хохрайтер и J¨

urgen Schmidhuber.1997.

Долговременная кратковременная память. Нейронные вычисления,

9 (8): 1735–1780.

Терри Ку, Александр М. Раш, Майкл Коллинз,

Томми Яаккола и Дэвид Зонтаг. 2010. Двойное разложение

для разбора с непроективной головкой

автоматов. В Proc ЕМНЛП.

Ван Линг, Тьяго Лу

ıs, Лу

Ис Маруджо, Рам

на Фернане

де Астудилло, Сильвио Амир, Крис Дайер, Алан В.

Блэк и Изабель Транкозу. 2015. Функция поиска

в форме: Композиционные символьные модели для открытого словарного представления

. В Proc. ЕМНЛП.

Мохамед Маамури, Энн Биис, Тим Баквалтер и

Вигдан Мекки. 2004. Penn Arabic Treebank:

Создание крупномасштабного аннотированного арабского корпуса.

В конференции NEMLAR по арабскому языку Re-

источников и инструментов.

Митчелл П. Маркус, Беатрис Санторини и Мэри Энн

Марцинкевич.1993. Создание большого аннотированного корпуса английского языка

: Penn treebank. Компьютерная лингвистика,

, 19 (2): 313–330.

Мари-Катрин де Марнефф, Билл Маккартни и

Кристофер Д. Мэннинг. 2006. Генерация типизированных

синтаксических анализов зависимостей на основе синтаксического анализа структуры фраз. В

Proc LREC.

Thomas M¨

uller, Helmut Schmid и Hinrich Sch

utze.

2013. Эффективные CRF высшего порядка для морфологической маркировки

кал. В Proc ЕМНЛП.

Joakim Nivre, Johan Hall, Jens Nilsson, G¨

ulsen

Eryi˘

git, и Святослав Маринов. 2006a. Обозначается

псевдопроективного синтаксического анализа зависимостей с поддержкой

. В Proc CoNLL.

Йоаким Нивре, Йенс Нильссон и Йохан Холл. 2006b.

Talbanken05: Шведский банк деревьев со структурой фразы

и аннотацией зависимостей. In Proc of

LREC, Генуя, Италия.

Joakim Nivre.2004. Приращение детерминированного анализа зависимостей

. В ходе семинара по креативному синтаксическому анализу In-

: объединение инженерии и Cog-

nition.

Joakim Nivre. 2009. Непроективный анализ зависимостей —

за ожидаемое линейное время. В Proc ACL.

Кемаль Олязер, Бильге Сай, Дилек Зейнеп Хаккани-Т ¨

ур,

и Г¨

охан Т¨

ур. 2003. Строим турецкое дерево —

.В Treebanks, страницы 261–277. Springer.

Фердинанд Соссюр. 1916. Природа языкового знака

. В курсе общего языкознания.

Джам

е Седдах и Реут Царфаты. 2014. Введение —

, выполняющая общую задачу SPMRL 2014 по синтаксическому анализу

морфологически богатых языков. SPMRL-SANCL

2014.

Djam´

e Seddah, Reut Tsarfaty, Sandra K

ubler, Marie

Candito, Jinho Choi, Rich´

ard Farkas, Jennifer Fosenaga3 , Колдо Годенола, Йоав Голдберг,

и др.2013. Обзор SPMRL 2013 разделял задачу

: кросс-фреймворковая оценка синтаксического анализа мор-

языков с богатым фологическим содержанием. В SPMRL-EMNLP

2013.

Вольфганг Искер и Йонас Кун. 2012. Создание явных липсов El-

в преобразовании зависимостей для человека Treebank из Германии

. В Proc LREC.

Халил Симан, Алон Итаи, Йоад Винтер, Алон Альтман,

и Ноа Натив. 2001. Создание банка деревьев для

современного еврейского текста.В Traitement Automatique

des Langues.

Ричард Сочер, Эрик Х. Хуанг, Джеффри Пеннингтон,

Эндрю Й. Нг и Кристофер Д. Мэннинг. 2011.

Динамическое объединение и разворачивание рекурсивных автоэн-

кодеров для обнаружения перефразирования. В Proc НИПС.

Ричард Сохер, Андрей Карпати, Куок В. Ле, Христо-

Фэр Д. Мэннинг и Эндрю Й. Нг. 2013a.

Обоснованная композиционная семантика для поиска и

описания изображений с предложениями.TACL.

Ричард Сохер, Алекс Перелыгин, Жан Ю. Ву, Джейсон

Чуанг, Кристофер Д. Мэннинг, Эндрю И. Нг,

и Кристофер Поттс. 2013b. Рекурсивная глубокая модификация —

els для семантической композиционности по дереву тональности

. В Proc ЕМНЛП.

Pontus Stenetorp. 2013. Анализ зависимостей на основе переходов

с использованием рекурсивных нейронных сетей. В процессе

NIPS Deep Learning Workshop.

Марек ´

Свидзи

нски и Марцин Воли

нски.2010. To-

обслуживает банк составляющих деревьев синтаксического анализа для польского языка.

В материалах ТСД.

Иван. Титов и Джеймс. Хендерсон. 2007. Скрытая вариативная модель

для анализа генеративной зависимости. В

Proc IWPT.

Кристина Тутанова, Дэн Кляйн, Кристофер Д. Ман-

нинг и Йорам Сингер. 2003. Многофункциональная часть

речевых тегов с циклической сетью зависимостей.

В процессе NAACL.

Реут Царфаты.2006. Интегрированное морфологическое и

синтаксическое устранение неоднозначности для современного иврита. В

Proc Студенческой исследовательской мастерской ACL.

Композиционное обобщение в семантическом анализе: наборы данных | Денис Луковников | Аналитика Vidhya

Если вы скажете человеку, что 🦓 — это зебра, а 🐴 — лошадь, а затем покажете несколько предложений, в которых используется слово «лошадь» (например, «Лошадь — это млекопитающее». И «Сколько ног у лошади? ») Человек также сможет мгновенно понимать похожие предложения и задавать похожие вопросы о лошадях. Это пример способности человека обобщать новые комбинации ранее увиденных элементов и конструкций, что называется «композиционным обобщением».

Хотя люди принимают это как должное, нет уверенности, что наши модели НЛП обладают такой же способностью (предупреждение о спойлере: согласно многим статьям, перечисленным ниже, они довольно плохо справляются с этим).

Измерить композиционное обобщение непросто и требует тщательного обдумывания конструкции используемых наборов данных и их разделений на поезд / тест.Однако благодаря некоторой (совсем недавней) замечательной работе мы видим больший прогресс в этом вопросе, и, надеюсь, еще больше.

Ниже мы рассмотрим некоторые существующие наборы данных.

(Lake and Baroni, ICML 2018)

Документ: https://arxiv.org/pdf/1711.00350.pdf

Это одно из первых исследований, показывающих, что существующие модели семантического анализа плохо подходят для обобщения на новые комбинации уже наблюдаемых элементов. Хотя используемые данные просты, в документе указывается на очень интересную проблему существующих систем.После публикации эта работа вдохновила на создание нескольких высококачественных работ, предлагающих различные решения проблемы, которые мы, надеюсь, рассмотрим в будущем.

В этой работе создается набор данных, состоящий из последовательностей слов в паре с последовательностями простых инструкций (например, JUMP). Входные последовательности генерируются с использованием простого CFG, а соответствующие выходные последовательности генерируются с использованием простых правил. В SCAN есть примитивных команды (например, LTURN, JUMP), а также модификаторы и соединения, которые помогают композиционно выстроить последовательность действий.Пример задачи дается парой

• ( «дважды повернуть налево» , LTURN LTURN).

Итак, задача состоит в том, чтобы отобразить последовательность «естественного языка» на последовательность инструкций.

Авторы экспериментируют с различными архитектурами seq2seq, основанными на RNN, с вниманием и без внимания.

Было проведено три эксперимента с данными сканирования.

Во-первых, случайным образом разбивает доступных данных с точностью> 99%.Высокая точность теста все же была достигнута с использованием лишь небольшой части обучающих примеров.

Затем авторы проверили, могут ли модели обобщаться на длин последовательностей с большей длиной . Примеры с самыми короткими последовательностями действий (выходами) использовались во время обучения, а самые длинные последовательности действий — для тестирования. Все модели потерпели фиаско в этом сплите (с точностью до 20,8%) и решали только тестовые примеры с кратчайшими последовательностями действий.

Наконец, авторы также экспериментируют с , «экстраполируя» примитив .Настройка такова, что определенная команда рассматривается только как примитивный пример (например, «прыжок» → JUMP) во время обучения, в то время как все другие команды видны в составных командах. В частности, были протестированы только «повернуть налево» и «прыжок» , потому что другие варианты эквивалентны. Эксперименты показали, что вариант «повернуть налево» и по-прежнему дает хорошие результаты (~ 90%), тогда как версия «прыгать» не работает полностью (~ 1% 🙊). Это различие объясняется тем, что в то время как команда «повернуть налево» наблюдалась только изолированно (все другие обучающие примеры не содержали эту команду во входных данных), соответствующее ей действие LTURN наблюдалось во время обучения как часть других команды (например,грамм. «идти налево и прыгать налево» ). В версии «прыжок» соответствующая команда JUMP при обучении вообще не наблюдалась.

Несмотря на то, что модель знала, что «прыгает» → JUMP и понимала различные выражения с другими действиями (например, « идти и повернуть направо» ), модель не смогла понять «прыгать» в этих контекстах ( например, « прыгнуть и повернуть направо» ).

(Финеган-Доллак, ACL 2018)

Документ: https: // arxiv.org / pdf / 1806.09029.pdf

В этой работе авторы сосредотачиваются на (1) сложности запроса, утверждая, что человеческие вопросы требуют более сложных запросов, чем те, которые содержатся в автоматически сгенерированных наборах данных, и (2) разделение поездов / тестов, где авторы утверждают, что стандартное разбиение на самом деле не требует обучения для создания новых шаблонов запросов.

В своем анализе наборов данных Text2SQL они обнаружили, что некоторые из наиболее часто используемых наборов данных имеют ограниченное количество шаблонов и что более крупные наборы данных не обязательно содержат пропорционально большее количество шаблонов запросов.Для дальнейшего изучения эффекта, который это оказывает, авторы пробуют простой подход, основанный на шаблонах, который автоматически определяет шаблоны из обучающих данных, и во время тестирования назначает один из этих шаблонов примеру и заполняет его слоты. Эта основанная на шаблонах базовая линия обеспечивает конкурентоспособную производительность для моделей seq2seq на нескольких наборах данных. Это вызывает беспокойство, потому что базовые показатели на основе шаблонов не могут быть обобщены на новые шаблоны запросов по дизайну. Тем не менее, авторы обнаруживают, что seq2seq действительно демонстрирует некоторую способность к обобщению, выходящему за рамки шаблонов, наблюдаемых во время обучения.

Авторы также экспериментируют с другим разделением поездов / тестов. Там, где обычно данные разделяются таким образом, что в тесте, происходящем при обучении, не будет пары (вопрос, запрос), авторы предлагают разделение , основанное исключительно на шаблоне запроса. Для создания этого разделения они сначала анонимизируют сущности в запросах SQL и позволяют примерам с одним и тем же анонимным запросом быть только в обучении или тестировании. Это разделение оказалось гораздо более сложным для нескольких часто используемых наборов данных Text2SQL, что часто приводило к резкому снижению производительности.Это снова указывает на зависимость существующих моделей от запоминания шаблонов запросов.

Таким образом, эта работа показывает, что обычно используемая методология оценки для семантического синтаксического анализа может игнорировать композиционную обобщающую способность моделей, которая в значительной степени может быть сведена к модели заполнения слотов.

(Кейзерс и др., ICLR 2020)

Документ: https://openreview.net/pdf?id=SygcCnNKwr

Хотя работа над SCAN предоставила первоначальные доказательства неспособности стандартных моделей seq2seq обобщать невидимые композиции, настройка в SCAN была чрезвычайно простой, и данные использовали только наноскопическую часть языка.В этой работе авторы нацелены на более интересную универсальную настройку семантического синтаксического анализа для ответов на вопросы по графам знаний. И хотя SCAN протестировал сценарии «повернуть налево» и «прыгнуть» , эта работа следует более систематическому подходу, который генерирует расщепления, основанные на максимальном расхождении составных частей при минимальном расхождении атомов.

Оценка композиционности на основе распределения

Основная идея, лежащая в основе этой работы, заключается в создании набора данных / эталонного теста с разделениями на обучение / тест, которые минимизируют перекрытие между соединениями, наблюдаемыми во время обучения, и соединениями, наблюдаемыми во время тестирования, при этом гарантируя, что все компоненты (атомы) для построения этих составных фраз во время теста наблюдались во время обучения.

Атомарные фразы можно рассматривать как те фразы, значение которых не может быть далее разделено на состав некоторых составляющих элементов. Например, слово «лошадь» напрямую относится к животному 🐴 и не может быть далее разложено. Другие фразы, такие как «возраст» (относящиеся к предикату age (X, Y) ) и шаблоны вопросов (например, «Что такое <предикат> <сущности>» ) также считаются атомами. . Напротив, соединения — это фразы, из которых состоят эти атомы.Например, «Какой возраст лошади» составляет все три приведенных выше атома.

Чтобы проверить композиционное обобщение моделей seq2seq, разбиения тестовой последовательности определены таким образом, что расхождение между распределениями атомов должно быть минимизировано, в то время как расхождение между распределениями композиционных фраз (составное расхождение) должно быть максимальным. Когда во время обучения наблюдаются все атомы, система не страдает от проблем, связанных с отсутствием словарного запаса, что привело бы к очевидным потерям производительности.Тем не менее, минимизация количества общих соединений между тестом и обучением проверяет способность модели составлять уже наблюдаемые атомы новыми, ненаблюдаемыми способами.

Набор данных

Авторы генерируют большой набор данных семантического синтаксического анализа на основе Freebase и предоставляют три различных разбиения на поезд-тест, которые максимизируют составное расхождение при минимальном атомном расхождении. Набор данных формируется автоматически, но, судя по примерам, вопросы выглядят достаточно естественно.

По стандартам семантического анализа набор данных очень большой: 239357 вопросов, 228149 запросов и 34921 шаблон запросов.И ввод, и вывод предоставляются в разных форматах, где сущности упоминаются по их имени, идентификатору или просто заполнителю. Это означает, что вам не нужно беспокоиться о запуске объекта, связывающего ¯ \ _ (ツ) _ / ¯.

Вопросы на английском языке:

• «Был ли Агустин Альмодовар исполнительным продюсером Deadfall»

Также предлагаются различные варианты входных вопросов, например, использование заполнителей для сущностей:

• «Сделал M0 исполнительный продюсер M1 ”

И запросы приведены в SPARQL:

• « SELECT count (*) WHERE {ns: m.04lhs01 ns: film.producer.films_executive_produced ns: m.0gx0plf} ”

Также указаны версии запросов SPARQL:

• “ SELECT count (*) WHERE {M0 ns: film.producer. Films_executive_produced M1} ”

При проведении экспериментов авторы используют версии, в которых сущности заменены заполнителями.

Набор данных автоматически создается с использованием набора правил. Сначала генерируется вопрос на естественном языке и соответствующая ему логическая форма.Затем логическая форма сопоставляется с его запросом SPARQL. Логическая форма использует вариант логики описания ℰℒ (ℰℒ DL допускает только пересечения и экзистенциальные кванторы). Приложения правил формируют DAG, и подграфы этого DAG, которые соответствуют соединениям, используются для измерения составного расхождения.

Эксперименты

Авторы проводят эксперименты на CFQ, а также на SCAN с тремя моделями: LSTM + Attention, Transformer и Universal Transformer. Когда используется случайное разбиение, что обычно делается, все три модели достигают очень высокой производительности (выше 95%).Однако, когда модели обучаются с использованием расщеплений MCD, результаты резко падают ниже 20% !!! 😮

Авторы приходят к выводу, что нормальные модели, которые обычно используются повсеместно для семантического разбора, на самом деле довольно плохи, когда они видят новые комбинации уже увиденных вещей.

Можно утверждать, что эти результаты ожидаемы, поскольку распределения обучающих и тестовых данных сильно различаются, и что модель даже не должна обрабатывать такое несоответствие.

С другой стороны, это не имеет значения, поскольку нам нужны семантические анализаторы, которые могут создавать новые комбинации элементов.

(Shaw et al., 2020)

Документ: https://arxiv.org/pdf/2010.12725.pdf

В то время как критерий MCD CFQ обеспечивает хорошо обоснованное разделение, метод разделения CFQ полагается на входные и выходные данные. генерируется набором правил. Это ограничивает их критерий MCD применимостью только к синтетическим данным. В этой работе Shaw et al. предложить простую адаптацию MCD, которая вычисляет составную дивергенцию, используя только целевые представления (логические формы).Это позволяет находить разбиения TMCD также для уже существующих, созданных вручную примеров без каких-либо дополнительных аннотаций.

Эта метрика может использоваться для разделения существующих наборов данных (здесь используются GeoQuery и Spider). Авторы создают расщепления, которые максимизируют TMCD, гарантируя, что все атомы наблюдаются хотя бы один раз во время обучения.

Для набора данных GeoQuery авторы используют версию FunQL и принимают все символы предикатов и сущностей как атомы. Соединения — это комбинации родительских и дочерних символов в дереве FunQL.Обратите внимание, что соединения не обязательно должны быть полными (под) деревьями. Для SQL авторы берут отдельные токены в качестве атомов и определяют соединения на основе анализа CFG запросов.

Авторы также отмечают, что многие работы, посвященные композиционному обобщению, оценивались только с помощью SCAN, и что их производительность на существующих наборах данных стандартного семантического анализа (таких как GeoQuery) может быть не на должном уровне из-за компромиссов, сделанных для улучшения композиционное обобщение.

Наконец, авторы предлагают подход к семантическому синтаксическому анализу, который использует предварительно обученный преобразователь seq2seq T5, а также автоматически индуцированный семантический синтаксический анализатор на основе грамматики, который мы рассмотрим в следующей статье.

(Ким и Линзен, EMNLP 2020)

Документ: https://arxiv.org/pdf/2010.05465.pdf

Здесь авторы создают набор данных семантического анализа, который позволяет явно измерить пять лингвистически мотивированных типов обобщения. Это отличается от CFQ, который просто максимизирует составную дивергенцию. Хотя COGS охватывает некоторые случаи (обобщение примитивов), использованные в предыдущих работах, диапазон категорий более обширен.

Набор данных содержит предложения в паре с лямбда-выражениями.Предложения генерируются автоматически с помощью PCFG.

В наборе данных содержатся следующие категории обобщения:

1. Обобщение на примитивы и другие грамматические роли:

Здесь есть два типа примеров:

a). обучение только примитивам (атомам) и тестирование предложений, содержащих эти примитивы. Нарицательные существительные отображаются в унарные предикаты (например, «лошадь» → λx.horse (x) ), имена собственные отображаются в константы (например, «Rocinante» → ROCINANTE ), а глаголы отображаются в n-арные предикаты (пример из статьи: «нравится» → λx.λy.λe.like.agent (e, y) ∧ like.theme (e, x) ).

Такие изолированные отображения наблюдаются только во время обучения. Во время тестирования эти примитивы используются в полном предложении вместе с другими константами и предикатами.

Обратите внимание, что это очень похоже на третий эксперимент SCAN, в котором проверяется обобщение на примитивы, видимые только изолированно.

б). перевод слова от объекта к субъекту. Например, если «лошадь съела морковь» наблюдается во время тренировки ( «лошадь» здесь является предметом), то в тестовой выборке не будет примеров, где «лошадь» используется в качестве субъект, но будет пример, где «лошадь» используется как прямой объект (например, «Дон Кихот ехал на лошади» ).

2. Измененные фразы в другой синтаксической роли

Когда, например, именная фраза (NP) изменена с помощью предложной фразы (PP), мы получаем новую NP, которая может использоваться в тех же синтаксических ролях, что и оригинальный НП. Например, [лошадь] (NP) и [[лошадь] [на поле]] (NP, состоящая из NP и PP) могут использоваться в предложении либо как объект, либо как подлежащее.

Во время обучения COGS использует предложения с NP, модифицированные PP, в качестве объекта, в то время как во время тестирования NP, модифицированные PP, используются в качестве роли субъекта.

3. Более глубокая рекурсия

Человеческий язык позволяет вкладывать фразы в другие фразы, что позволяет строить бесконечное количество выражений. Например, предложение может иметь один уровень вложенности: «Дон Кихот знал, что Росинанте ел траву» , но это может быть более глубоким: «Дон Кихот знал, что Санчо Панса знал, что Росинанте ел траву» .

В COGS во время обучения используется только до двух уровней вложенности, а в тестовых примерах этой категории используется строго три или более уровней.Это позволяет измерить способность моделей экстраполировать на более длинные предложения с определенными типами рекурсии. Обратите внимание, что это чем-то похоже на второй эксперимент SCAN, в котором для обучения использовались более короткие последовательности, а затем модель тестировалась на более длинных.

4. Чередование глаголов

Некоторые глаголы, которые могут использоваться в переходной форме ( «Дон Кихот накормил лошадь» ), могут также использоваться в пассивной форме ( «Лошадь накормили» ). Этот и другие шаблоны включены в набор данных COGS: конкретный глагол используется только одним способом (например,грамм. active) в обучающем наборе, тогда как в тестовом наборе используется только другим способом (например, пассивным).

5. Класс глагола

Прежде чем обсуждать этот последний, давайте возьмем…

Небольшой обход глаголов и семантики:

Некоторые более осведомленные в лингвистике читатели, вероятно, уже знают это и могут уверенно пропустить это. Для остальных вот небольшой краткий обзор терминологии, чтобы помочь понять, о чем идет речь в этой пятой категории.

Глаголы могут быть переходными , что означает, что у глагола есть подлежащее и объект (например, «Rocinante [subj] 🐴 ate the grass [obj] 🌿» ). Но глаголы также могут быть непереходными , что означает, что у них нет объекта (например, «Rocinante [subj] ate» ).

Теперь подведем итоги семантических ролей. Субъект и объект — это грамматические роли, и, хотя они обычно коррелируют с нашим пониманием того, кто что и с кем делает, они не всегда верны.Чтобы правильно описать, что кто-то и с кем делает, что было бы буквальным «значением» описываемого действия, мы можем лучше использовать семантические роли. Кроме того, семантические роли также предоставляют более подробную информацию о последствиях действия.

Основные семантические роли (также известные как тематические отношения), которые нас больше всего интересуют: (1) Агент , (2) Тема и (3 ) Пациент , хотя есть несколько других, которые покрывают свой собственный кусок семантического пирога.Агент — это объект в предложении, который выполняет действие (например, «Росинант [Агент] съел траву». ). Роли Тема и Пациент — это получатели, выполняющие выполняемое действие, с той разницей, что состояние Пациента изменяется (например, «Росинанте ел траву [Пациент]» ), а Темы — нет (например, «Росинанте любит траву [Тема]] »).

Вернемся к глаголам. Среди непереходных глаголов есть неотрицательные глаголы и непереходные глаголы. Неэргативные глаголы — это те глаголы, грамматический субъект которых также является его семантическим агентом (например, «Rocinante ate» ), а неповрежденный глаголы — это те, субъект которых является пациентом или темой, поэтому сам субъект страдает от действия (например, «Росинант исчез». ).

Для последней категории, «Класс глагола», авторы отмечают, что грамматических ролей недостаточно для предсказания правильной структуры аргумента.Например, хотя как неотрицательные, так и непротиворечивые глаголы кажутся синтаксически непереходными, субъектом глагола в первом случае является Агент, а во втором случае — Тема или Пациент, что также будет отражено в построенной логической форме.

Чтобы проверить способность моделей семантического анализа к обобщению, авторы включают случаи, когда определенный NP встречается только в одной роли в обучении, а в другой — во время тестирования. Например, некий НП рассматривается как субъект-агент (например,грамм. «Росинанте» в «Росинанте траву съел». ), но в наборе обобщений встречается как тема темы (например, «Росинант исчез 👻 ». )

Набор данных

Набор данных автоматически генерируется с помощью PCFG, и каждое предложение на естественном языке проходит через автоматическую этап обработки для создания логических форм.

Пример пары вопрос-логическая форма:

• «Кот улыбнулся» → кошка (x) ∧ улыбка.agent (y, x)

Наборы для обучения, разработки и тестирования содержат 24155, 3000 и 3000 примеров соответственно. 155 последних примеров в обучающей выборке являются примитивами. Набор обобщения, который представляет собой набор тестов, используемый для измерения обобщения композиции, был сгенерирован с использованием другого PCFG и содержит 21000 примеров.

Результаты

Модели seq2seq на основе трансформатора и LSTM были протестированы в экспериментах.

Как и ожидалось, результаты случайных тестов (с использованием набора примеров 3000) были близки к идеальным.

Однако производительность на наборе обобщения (набор из 21k примеров, содержащий сложные случаи) в среднем была довольно низкой, с разными числами для разных случаев обобщения и большим разбросом между прогонами. В целом, стандартные модели seq2seq потерпели неудачу:

Авторы также выполнили анализ ошибок, сравнивая лексическое обобщение и структурное обобщение . Примеры лексического обобщения — это те, где определенный аргумент (примитив) встречается в структуре, которая наблюдалась во время обучения, но сочетание этого аргумента в определенной роли в структуре является новым.Структурное обобщение относится к случаям, когда была создана новая структура предложения.

Модели были намного лучше при лексическом обобщении:

Это указывает на то, что, хотя это непросто, модели могут повторно использовать наблюдаемые структуры, но по существу не могут адаптироваться к невидимым структурам.

Это были интересные работы по композиционному обобщению.

Мы рассмотрели работы, которые разрабатывают новые наборы данных и показывают, что существующие стандартные модели seq2seq плохо подходят для обобщения на новые структуры или даже использования уже наблюдаемых элементов в уже наблюдаемых структурах.

Описание слов — поиск прилагательных для описания вещей

слов для описания ~ термин ~

Как вы, наверное, заметили, прилагательные к слову «термин» перечислены выше. Надеюсь, сгенерированный выше список слов для описания термина соответствует вашим потребностям.

Если вы получаете странные результаты, возможно, ваш запрос не совсем в правильном формате. В поле поиска должно быть простое слово или фраза, например «тигр» или «голубые глаза». Поиск слов, описывающих «людей с голубыми глазами», скорее всего, не даст результатов.Поэтому, если вы не получаете идеальных результатов, проверьте, не вводит ли ваш поисковый запрос «термин» в заблуждение таким образом.

Также обратите внимание, что если терминов прилагательных не так много или их совсем нет, возможно, в вашем поисковом термине содержится значительная часть речи. Например, слово «синий» может быть как существительным, так и прилагательным. Это сбивает двигатель с толку, и поэтому вы можете не встретить много прилагательных, описывающих его. Возможно, я исправлю это в будущем. Вам также может быть интересно: что за слово ~ термин ~?

Описание слов

Идея движка Describing Words возникла, когда я создавал движок для связанных слов (он похож на тезаурус, но дает вам гораздо более широкий набор из связанных слов, а не только синонимов).Играя с векторами слов и API «HasProperty» концептуальной сети, я немного повеселился, пытаясь найти прилагательные, которые обычно описывают слово. В конце концов я понял, что есть гораздо лучший способ сделать это: разбирать книги!

Project Gutenberg был первоначальным корпусом, но синтаксический анализатор стал более жадным и жадным, и в итоге я скармливал ему где-то около 100 гигабайт текстовых файлов — в основном художественной литературы, в том числе многих современных работ. Парсер просто просматривает каждую книгу и вытаскивает различные описания существительных.

Надеюсь, это больше, чем просто новинка, и некоторые люди действительно сочтут ее полезной для написания и мозгового штурма, но стоит попробовать сравнить два существительных, которые похожи, но отличаются в некотором значении — например, интересен пол: «женщина» против «мужчины» и «мальчик» против «девочки». При первоначальном быстром анализе кажется, что авторы художественной литературы по крайней мере в 4 раза чаще описывают женщин (в отличие от мужчин), используя термины, связанные с красотой (в отношении их веса, черт лица и общей привлекательности).Фактически, «красивая», возможно, является наиболее широко используемым прилагательным для женщин во всей мировой литературе, что вполне согласуется с общим одномерным представлением женщин во многих других формах СМИ. Если кто-то хочет провести дальнейшее исследование по этому поводу, дайте мне знать, и я могу предоставить вам гораздо больше данных (например, существует около 25000 различных записей для слова «женщина» — слишком много, чтобы показать здесь).

Голубая окраска результатов отражает их относительную частоту. Вы можете навести курсор на элемент на секунду, и должна появиться оценка частоты.Сортировка по «уникальности» используется по умолчанию, и благодаря моему сложному алгоритму ™ она упорядочивает их по уникальности прилагательных к этому конкретному существительному относительно других существительных (на самом деле это довольно просто). Как и следовало ожидать, вы можете нажать кнопку «Сортировать по частоте использования», чтобы выбрать прилагательные по частоте их использования для этого существительного.

Особая благодарность разработчикам mongodb с открытым исходным кодом, который использовался в этом проекте.

Обратите внимание, что Describing Words использует сторонние скрипты (такие как Google Analytics и рекламные объявления), которые используют файлы cookie.Чтобы узнать больше, см. Политику конфиденциальности.

Sentence Maker