Что такое встраивание слов для текста?

Последнее обновление 7 августа 2019 г.

Вложения слов — это тип представления слов, который позволяет словам со схожим значением иметь аналогичное представление.

Они представляют собой распределенное представление текста, что, возможно, является одним из ключевых достижений в области впечатляющей производительности методов глубокого обучения при решении сложных задач обработки естественного языка.

В этом посте вы познакомитесь с подходом встраивания слов для представления текстовых данных.

Заполнив этот пост, вы будете знать:

• Что такое метод встраивания слов для представления текста и чем он отличается от других методов извлечения признаков.
• Что существует 3 основных алгоритма для обучения встраиванию слова из текстовых данных.
• Что вы можете либо обучить новое вложение, либо использовать предварительно обученное вложение для своей задачи обработки естественного языка.

Начните свой проект с моей новой книги «Глубокое обучение для обработки естественного языка», включающей пошаговых руководств и файлов исходного кода Python для всех примеров.

Приступим.

Что такое встраивание слов в текст?
Фотография Хизер, некоторые права защищены.

Обзор

Этот пост разделен на 3 части; их:

1. Что такое вложения слов?
2. Алгоритмы встраивания слов
3. Использование вложений слов

Нужна помощь с глубоким обучением текстовых данных?

Пройдите мой бесплатный 7-дневный ускоренный курс электронной почты (с кодом).

Нажмите, чтобы зарегистрироваться, а также получите бесплатную электронную версию курса в формате PDF.

Начните БЕСПЛАТНЫЙ ускоренный курс прямо сейчас

Что такое вложения слов?

Вложение слов — это заученное представление текста, в котором слова, имеющие одинаковое значение, имеют аналогичное представление.

Именно такой подход к представлению слов и документов можно считать одним из ключевых достижений глубокого обучения в решении сложных проблем обработки естественного языка.

Одно из преимуществ использования плотных и низкоразмерных векторов — вычислительные: большинство инструментов нейронных сетей плохо работают с разреженными векторами очень высокой размерности.… Основным преимуществом плотных представлений является возможность обобщения: если мы считаем, что некоторые функции могут давать аналогичные подсказки, стоит предоставить представление, которое способно уловить эти сходства.

— стр. 92, Методы нейронных сетей в обработке естественного языка, 2017.

Вложения слов на самом деле представляют собой класс методов, при которых отдельные слова представляются как векторы с действительными значениями в заранее определенном векторном пространстве. Каждое слово сопоставляется с одним вектором, и значения вектора изучаются способом, напоминающим нейронную сеть, и, следовательно, этот метод часто относят к области глубокого обучения.

Ключом к подходу является идея использования плотного распределенного представления для каждого слова.

Каждое слово представлено вектором с действительными значениями, часто с десятками или сотнями измерений. Это контрастирует с тысячами или миллионами измерений, необходимых для разреженных представлений слов, таких как одноразовое кодирование.

связать с каждым словом в словаре вектор признаков распределенного слова… Вектор признаков представляет различные аспекты слова: каждое слово связано с точкой в ​​векторном пространстве.Количество функций… намного меньше, чем размер словаря

— Нейро-вероятностная языковая модель, 2003.

Распределенное представление изучается на основе использования слов. Это позволяет словам, которые используются одинаково, приводить к похожим представлениям, естественным образом передавая их значение. Этому можно противопоставить четкое, но хрупкое представление в модели мешка слов, где, если явно не управлять, разные слова имеют разные представления, независимо от того, как они используются.

За этим подходом стоит более глубокая лингвистическая теория, а именно «гипотеза распределения » Зеллига Харриса, которую можно резюмировать следующим образом: слова, имеющие схожий контекст, будут иметь схожие значения. Для более подробной информации см. Статью Харриса 1956 года «Распределительная структура».

Это понятие, позволяющее употреблению слова определять его значение, можно резюмировать с помощью часто повторяемой шутки Джона Ферта:

Вы должны знать слово по компании, в которой оно находится!

— стр. 11, «Краткий обзор лингвистической теории 1930-1955 гг.», В «Исследованиях по лингвистическому анализу 1930-1955, 1962».

Алгоритмы встраивания слов

Методы встраивания слов изучают вещественное векторное представление для предопределенного словаря фиксированного размера из корпуса текста.

Процесс обучения либо объединяется с моделью нейронной сети для выполнения некоторой задачи, такой как классификация документов, либо является неконтролируемым процессом с использованием статистики документов.

В этом разделе рассматриваются три метода, которые можно использовать для изучения встраивания слова из текстовых данных.

1. Встраиваемый слой

Уровень внедрения, из-за отсутствия лучшего названия, представляет собой встраивание слов, которое изучается совместно с моделью нейронной сети для конкретной задачи обработки естественного языка, такой как языковое моделирование или классификация документов.

Требуется, чтобы текст документа был очищен и подготовлен таким образом, чтобы каждое слово было закодировано по очереди. Размер векторного пространства указывается как часть модели, например 50, 100 или 300 измерений. Векторы инициализируются небольшими случайными числами. Слой внедрения используется во внешнем интерфейсе нейронной сети и подбирается контролируемым образом с использованием алгоритма обратного распространения.

… когда входные данные нейронной сети содержат символические категориальные признаки (например, признаки, которые принимают один из k различных символов, например слова из закрытого словаря), обычно связывают каждое возможное значение признака (т.е.е., каждое слово в словаре) с d-мерным вектором для некоторого d. Эти векторы затем считаются параметрами модели и обучаются вместе с другими параметрами.

— стр. 49, Методы нейронных сетей в обработке естественного языка, 2017.

Слова с горячим кодированием отображаются в векторы слов. Если используется многослойная модель персептрона, то векторы слов объединяются перед подачей в качестве входных данных в модель. Если используется рекуррентная нейронная сеть, то каждое слово может использоваться как один вход в последовательности.

Этот подход к изучению слоя встраивания требует большого количества обучающих данных и может быть медленным, но при этом будет изучаться встраивание, ориентированное как на конкретные текстовые данные, так и на задачу НЛП.

2. Word2Vec

Word2Vec — это статистический метод для эффективного обучения автономному встраиванию слов из корпуса текста.

Разработан Томасом Миколовым и др. в Google в 2013 году в ответ на повышение эффективности обучения встраиванию на основе нейронных сетей, и с тех пор он стал де-факто стандартом для разработки предварительно обученного встраивания слов.

Кроме того, работа включала анализ выученных векторов и изучение векторной математики для представлений слов. Например, вычитание « мужественности » из « король » и добавление « женского достоинства » дает слово « королева », улавливая аналогию « король для королевы, поскольку мужчина есть женщине “.

Мы обнаружили, что эти представления на удивление хороши для улавливания синтаксических и семантических закономерностей в языке, и что каждое отношение характеризуется смещением вектора, зависящим от отношения.Это позволяет использовать векторные рассуждения на основе смещений между словами. Например, отношения мужчина / женщина изучаются автоматически, и с помощью индуцированных векторных представлений «Король — Мужчина + Женщина» дает вектор, очень близкий к «Королеве».

— Лингвистические закономерности в представлениях слов в непрерывном пространстве, 2013.

Были представлены две разные модели обучения, которые можно использовать как часть подхода word2vec для изучения встраивания слов; их:

• Непрерывный мешок слов, или модель CBOW.
• Непрерывная модель скип-грамма.

Модель CBOW изучает встраивание, предсказывая текущее слово на основе его контекста. Модель непрерывной скип-граммы учится, предсказывая окружающие слова по текущему слову.

Модель непрерывной скип-граммы обучается, предсказывая окружающие слова по текущему слову.

Обучающие модели Word2Vec
Взято из «Эффективной оценки представлений слов в векторном пространстве», 2013 г.

Обе модели ориентированы на изучение слов с учетом их местного контекста использования, где контекст определяется окном соседних слов.Это окно является настраиваемым параметром модели.

Размер скользящего окна сильно влияет на сходство результирующих векторов. Большие окна имеют тенденцию производить больше тематических сходств […], в то время как меньшие окна имеют тенденцию производить больше функциональных и синтаксических сходств.

— стр. 128, Методы нейронных сетей в обработке естественного языка, 2017.

Ключевым преимуществом этого подхода является то, что высококачественные вложения слов могут быть эффективно изучены (низкая пространственная и временная сложность), что позволяет изучать более крупные вложения (больше измерений) из гораздо больших массивов текста (миллиарды слов).

3. перчатка

Алгоритм глобальных векторов для представления слов, или GloVe, является расширением метода word2vec для эффективного изучения векторов слов, разработанного Пеннингтоном и др. в Стэнфорде.

Классическая модель представления слов в векторном пространстве была разработана с использованием методов матричной факторизации, таких как скрытый семантический анализ (LSA), которые хорошо справляются с использованием глобальной текстовой статистики, но не так хороши, как изученные методы, такие как word2vec, для захвата значения и демонстрации его на такие задачи, как вычисление аналогий (например,грамм. пример Короля и Королевы выше).

GloVe — это подход, объединяющий глобальную статистику методов матричной факторизации, таких как LSA, с локальным контекстным обучением в word2vec.

Вместо того, чтобы использовать окно для определения локального контекста, GloVe создает явный контекст слова или матрицу совпадения слов, используя статистику по всему текстовому корпусу. Результатом является обучающая модель, которая в целом может улучшить встраивание слов.

GloVe — это новая глобальная лог-билинейная модель регрессии для неконтролируемого изучения представлений слов, которая превосходит другие модели в задачах аналогии слов, сходства слов и распознавания именованных сущностей.

— GloVe: глобальные векторы для представления слов, 2014.

Использование вложений слов

У вас есть несколько вариантов, когда приходит время использовать встраивание слов в вашем проекте обработки естественного языка.

В этом разделе описаны эти варианты.

1. Выучите вложение

Вы можете выучить встраивание слов для вашей задачи.

Это потребует большого количества текстовых данных, чтобы гарантировать, что полезные вложения будут изучены, например, миллионы или миллиарды слов.

У вас есть два основных варианта при обучении внедрению слов:

1. Learn it Standalone , где модель обучается изучать встраивание, которое сохраняется и используется как часть другой модели для вашей задачи позже. Это хороший подход, если вы хотите использовать одно и то же встраивание в нескольких моделях.
2. Совместное обучение , где встраивание изучается как часть большой модели для конкретной задачи. Это хороший подход, если вы собираетесь использовать встраивание только для одной задачи.

2. Повторное использование вложения

Исследователи часто делают предварительно обученные встраивания слов доступными бесплатно, часто по разрешительной лицензии, чтобы вы могли использовать их в своих собственных академических или коммерческих проектах.

Например, для бесплатной загрузки доступны вложения слов word2vec и GloVe.

Их можно использовать в своем проекте вместо обучения собственным вложениям с нуля.

У вас есть два основных варианта использования предварительно обученных встраиваний:

1. Статический , где вложение остается статичным и используется как компонент вашей модели.Это подходящий подход, если встраивание хорошо подходит для вашей проблемы и дает хорошие результаты.
2. Обновлено , где предварительно обученное вложение используется для заполнения модели, но встраивание обновляется совместно во время обучения модели. Это может быть хорошим вариантом, если вы хотите получить максимальную отдачу от модели и реализовать свою задачу.

Какой вариант следует использовать?

Изучите различные варианты и, если возможно, проверьте, какой из них дает наилучшие результаты при решении вашей проблемы.

Возможно, начните с быстрых методов, таких как использование предварительно обученного встраивания, и используйте новое встраивание только в том случае, если оно приведет к повышению производительности вашей проблемы.

Учебники по внедрению Word

В этом разделе перечислены некоторые пошаговые руководства, которым вы можете следовать, чтобы использовать встраивание слов и внедрить встраивание слов в свой проект.

Дополнительная литература

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

Статьи

Статьи

Проектов

Книги

Сводка

В этом посте вы открыли для себя вложения Word как метод представления текста в приложениях глубокого обучения.

В частности, вы выучили:

• Что такое метод встраивания слов для представления текста и чем он отличается от других методов выделения признаков.
• Что существует 3 основных алгоритма для обучения встраиванию слова из текстовых данных.
• Что вы можете обучить новое встраивание или использовать предварительно обученное встраивание в своей задаче обработки естественного языка.

Есть вопросы?
Задайте свои вопросы в комментариях ниже, и я постараюсь ответить.

Разрабатывайте модели глубокого обучения для текстовых данных уже сегодня!

Создавайте собственные текстовые модели за считанные минуты

… всего несколькими строками кода Python

Узнайте, как это сделать, в моей новой электронной книге:
Deep Learning for Natural Language Processing

Он предоставляет руководств для самообучения по таким темам, как:
Пакет слов, встраивание слов, языковые модели, создание титров, перевод текста и многое другое …

Наконец-то привнесите глубокое обучение в свои проекты по обработке естественного языка

Пропустить академики.Только результаты.

Сиамская сеть долговременной краткосрочной памяти на основе зависимостей для изучения представлений предложений

Abstract

Текстовые представления играют важную роль в области обработки естественного языка (НЛП). Эффективность задач НЛП, таких как понимание текста и извлечение информации, можно значительно повысить с помощью правильного текстового представления. Поскольку нейронные сети постепенно применяются для изучения представления слов и фраз, были разработаны довольно эффективные модели изучения представлений короткого текста, такие как непрерывный мешок слов (CBOW) и модели пропуска грамм, и они широко используются в разнообразные задачи НЛП.Из-за сложной структуры, порождаемой более длинными текстовыми представлениями, такими как предложения, алгоритмы, подходящие для изучения коротких текстовых представлений, не применимы для изучения длинных текстовых представлений. Одним из методов изучения длинных текстовых представлений является сеть Long Short-Term Memory (LSTM), которая подходит для обработки последовательностей. Однако стандартный LSTM неадекватно обращается к первичной структуре предложения (субъект, предикат и объект), что является важным фактором для создания соответствующих представлений предложений.Чтобы решить эту проблему, в этом документе предлагается модель LSTM на основе зависимостей (D-LSTM). D-LSTM делит представление предложения на две части: базовый компонент и вспомогательный компонент. D-LSTM использует предварительно обученный анализатор зависимостей для получения информации о первичном предложении и создания вспомогательных компонентов, а также использует стандартную модель LSTM для генерации основных компонентов предложения. Для генерации представления предложения вводится весовой коэффициент, который может регулировать соотношение основных и вспомогательных компонентов в предложении.По сравнению с представлением, изученным стандартным LSTM, представление предложения, изученное D-LSTM, содержит большее количество полезной информации. Результаты экспериментов показывают, что D-LSTM превосходит стандартный LSTM для предложений, содержащих данные о композиционном знании (SICK).

Образец цитирования: Zhu W, Yao T, Ni J, Wei B, Lu Z (2018) Сиамская сеть долговременной краткосрочной памяти на основе зависимостей для обучения репрезентациям предложений. PLoS ONE 13 (3): e0193919.https://doi.org/10.1371/journal.pone.0193919

Редактор: Xuchu Weng, Ханчжоуский педагогический университет, Китай

Поступила: 30 августа 2017 г .; Одобрена: 21 февраля 2018 г .; Опубликован: 7 марта 2018 г.

Авторские права: © 2018 Zhu et al. Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Все соответствующие файлы доступны по адресу: https://github.com/jx00109/dependency-based-siamese-lstm.

Финансирование: Работа над этой статьей поддержана Национальным фондом естественных наук Китая (№ 61572434 и № 61303097) для WZ. Спонсор не имел никакого отношения к дизайну исследования, сбору и анализу данных, принятию решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили, что конкурирующих интересов не существует.

Введение

Изучение текстовых представлений — жизненно важная часть обработки естественного языка (НЛП) и важна для последующих задач НЛП. В последнее время изучение представлений фраз и предложений привлекло внимание многих исследователей, добившихся определенных успехов [1].

Исследования коротких текстовых представлений достигли ряда достижений, и модель непрерывного мешка слов Миклова (CBOW) и модель скип-грамм (модель непрерывной скип-граммы) являются одними из самых известных моделей.Представления слов, полученные из этих моделей, обеспечивают относительно хорошую производительность во многих задачах НЛП, включая аналогии слов [2, 3]. В последнее время интересы сместились в сторону расширения этих идей за пределы уровня отдельных слов на более крупные объемы текста, такие как предложения. Исследователи надеются напрямую изучить представление предложений через сумму или среднее значение, основанное на представлении слов, и они достигли удовлетворительных результатов для некоторых простых задач НЛП [4]. Из-за переменной длины и сложной структуры предложений эти простые алгоритмы не могут обрабатывать сложные задачи (такие как оценка сходства между двумя предложениями).Чтобы решить эту проблему, Кирос, Тай и Ле предложили методы изучения представлений предложений фиксированной длины [5–7].

Среди всех моделей для изучения представлений предложений, модели рекуррентной нейронной сети (RNN), особенно модель Long Short-Term Memory (LSTM) [8], являются одними из наиболее подходящих моделей для обработки предложений, и они достигли значительного успеха в тексте. категоризация [9] и машинный перевод [10]. Таким образом, этот документ также представил сети LSTM в сиамской модели LSTM на основе зависимостей (D-LSTM) для повышения производительности.

В этой статье предложение состоит из двух частей: основного компонента и вспомогательного компонента. Мы улучшили традиционный метод, который использует стандартный LSTM для изучения представлений предложений, и предложили D-LSTM, который основан на зависимости предложений для изучения представлений предложений. D-LSTM может читать предложения разной длины для создания представлений фиксированной длины. Базовый компонент, содержащий фундаментальную информацию о предложении, получается с помощью стандартной языковой модели LSTM.Вспомогательный компонент содержит основную информацию о предложении (в основном от подлежащего, предиката и объекта предложения) и генерируется после выполнения синтаксического анализа зависимости предложения. При генерации представления предложения основной компонент занимает доминирующее положение, а вспомогательный компонент играет вспомогательную роль. В этой статье был введен весовой коэффициент (α), который может регулировать соотношение основного и вспомогательного компонентов в представлении предложения, чтобы узнать окончательное представление предложения.В задаче на подобие предложений представление предложения, изученное D-LSTM, дало подходящие результаты.

Ключевым вкладом этого исследования является разделение представления предложения на две части, то есть базовый компонент и вспомогательный компонент. Вдохновленный этой идеей, в данной статье предлагается модель D-LSTM, которая может собирать более обширную информацию о предложении, чем стандартная модель LSTM, и изучать эффективное представление предложения. Эффекты различных пропорций основного компонента и вспомогательного компонента в представлении предложения были тщательно исследованы с помощью серии экспериментов.Добавление вспомогательного компонента в базовое представление может улучшить производительность представления предложения.

Связанные работы

После того, как Бенжио предложил нейронную вероятностную языковую модель [11], популярность нейронных сетей для изучения текстовых представлений возросла. В последнее время были достигнуты многочисленные достижения в изучении представлений на уровне слов с помощью нейронных сетей, таких как известная модель CBOW [3]. Из-за естественных преимуществ RNN и LSTM в обработке последовательностей исследователи начали применять RNN и LSTM для лучшего изучения представлений предложений.Например, Кирос предложил модель пропуска мыслей, которая может расширить подход word2vec с пропуском грамматики с уровня слова до уровня предложения [5]. RNN адаптируют стандартные нейронные сети с прямой связью для данных последовательности ( x ₁ ,… x _T ), и при каждом t ∈ {1,…, T } обновляет вектор скрытого состояния ч _т выполняются через (1)

Хотя RNN демонстрируют удовлетворительную производительность при обработке последовательностей, они также представляют собой значительный недостаток, связанный с долговременной зависимостью, который обсуждался многими исследователями [12].Сети LSTM специально разработаны, чтобы избежать проблемы долгосрочной зависимости. Подобно RNN, LSTM последовательно обновляет представление скрытого состояния; однако эти шаги также полагаются на ячейку памяти, которая содержит четыре компонента (которые являются векторами действительных значений): состояние памяти c _t и выходной вентиль o _t , которые определяют, как состояние памяти влияет на другие устройства, а также элементы ввода и забвения i _t и f _t соответственно, которые управляют тем, что хранится в памяти и удаляется из памяти на основе каждого нового ввода и Текущее состояние.Следующие обновления выполнялись для каждого t ∈ {1,…, T } в LSTM, параметризованном матрицами весов W _i , W _f , W _c , W _o , U _i , U _f , U _{c 906 906 903 и U34 векторы смещения 90 b i , b f , b c , b o : (2) (3) (4) (5) (6) (7)}

Доступно множество вариантов LSTM.Один популярный вариант, предложенный Герсом и Шмидхубером, добавляет «соединения в виде глазков» [13]. Другой вариант — закрытый рекуррентный блок (ГРУ) [14]. Хотя доступно множество вариантов LSTM, Грефф провел сравнение популярных вариантов и выявил их сходство, и результаты показали, что функция «забыть» вентиль и выходная активация может быть наиболее важными компонентами в LSTM [15].

Недавно аналогичный подход к методам нейронной сети позволил значительно улучшить производительность.Tai, Socher и Manning (2015) предложили Tree-LSTM, которые обобщают чувствительную к порядку цепную структуру стандартных LSTM на древовидные топологии сети [6]. Каждое предложение преобразуется в дерево синтаксического анализа (с использованием отдельно обученного синтаксического анализатора), и Tree-LSTM составляет свое скрытое состояние в данном узле дерева из соответствующего слова и скрытых состояний всех дочерних узлов. По сравнению со стандартной моделью LSTM, Tree-LSTM представляют собой ворота забывания для каждого дочернего узла, что позволяет Tree-LSTM выборочно получать информацию о дочернем узле и создавать лучшее представление предложения.

С развитием нейронных сетей новая архитектура сиамской сети также используется для изучения представлений предложений [16, 17]. Кентер, Борисов и Рийке предложили модель сиамского непрерывного мешка слов (сиамский CBOW), основанную на сиамской сети [18]. Их работа показала, что вложения слов, обученные с помощью доступных в настоящее время методов, не оптимизированы для задачи представления предложений, тогда как сиамский CBOW решает эту проблему путем прямого обучения, а затем усреднения встраивания слов.Базовая нейронная сеть изучает вложения слов, предсказывая окружающие предложения из представления предложения.

Джонас и Адитья объединили сиамскую сеть с LSTM и предложили свою манхэттенскую модель LSTM (MaLSTM) для моделирования семантического сходства между предложениями [19]. Модель MaLSTM показана на рис. 1.

Рис. 1. Модель MaLSTM.

MaLSTM использует LSTM для чтения слов-векторов, которые представляют каждое входное предложение, и использует его окончательное скрытое состояние как векторное представление для каждого предложения.Сходства между этими представлениями используются в качестве предикторов семантического сходства.

https://doi.org/10.1371/journal.pone.0193919.g001

В MaLSTM используются два LSTM: LSTM _a и LSTM _b ( _a = LSTM _b в их эксперименте). Каждый LSTM обрабатывает предложение во входной паре предложений.LSTM изучает отображение из пространства последовательностей переменной длины d _в -мерных векторах в ( d _в = 300, d _rep = 50). Каждое предложение (представленное как последовательность векторов слов) x ₁ ,.…, x _T передается в LSTM, который обновляет свое скрытое состояние в каждом индексе последовательности с помощью уравнений (2) — (7). Окончательное представление предложения кодируется, что является последним скрытым состоянием модели.Для данной пары предложений предопределенная функция подобия применяется к LSTM-представлениям (в их исследовании). Сходства в пространстве представления впоследствии используются, чтобы сделать вывод о семантическом сходстве, лежащем в основе предложений. Эмпирически результаты довольно стабильны для различных типов простых функций подобия; однако функция g, использующая манхэттенское расстояние, немного превосходит другие разумные альтернативы, такие как косинусное подобие [20]. Кроме того, методы предварительного обучения и расширения синонимов для аналогичных наборов данных были применены для расширения ограниченных данных обучения.

Материалы и методы

Сиамская модель LSTM на основе зависимостей

Модель LSTM имеет естественное преимущество в обработке последовательностей, таких как предложения. По сравнению со словами, предложения имеют более сложную структуру, и между словами в одном предложении наблюдаются различные отношения. Чтобы изучить более мощные представления предложений, следует учитывать разницу между предложениями и словами. Как упоминалось ранее, полное представление предложения состоит из двух частей: базового компонента v _basic , который содержит базовую информацию о предложении, и вспомогательного компонента v _supp , который содержит информацию об основном предложении. (в первую очередь от подлежащего, сказуемого и объекта предложения).Основываясь на этой идее, в данной статье предлагается D-LSTM, показанный на рис. 2.

Рис. 2. Модель LSTM на основе зависимостей.

D-LSTM использует LSTM для чтения векторов слов и использует свое окончательное скрытое состояние в качестве базового компонента v _basic для каждого предложения. D-LSTM выполняет синтаксический анализ зависимостей во входном предложении и генерирует вспомогательный компонент v _supp для каждого предложения. Вводя весовой коэффициент α , D-LSTM генерирует представление предложения v согласно v _basic и v _supp , а затем прогнозирует сходство между ними. представления.

https://doi.org/10.1371/journal.pone.0193919.g002

Сетевая структура, аналогичная описанной в Mueller et al. [19] используется для разработки модели D-LSTM. D-LSTM считывает предложения a и b, используя два LSTM, и генерирует векторы фиксированной длины и в качестве основных компонентов a и b соответственно (описано в другом разделе). При создании базового компонента D-LSTM также выполняет анализ зависимостей a и b, чтобы получить отношения между словами в предложении.D-LSTM генерирует вспомогательные компоненты и суммирует скрытые состояния, которые соответствуют входным словам, имеющим определенную взаимосвязь в предложении (описанном в другом разделе).

В этом исследовании основной компонент предложения занимает доминирующее положение, а вспомогательный компонент играет вспомогательную роль. Таким образом, D-LSTM вводит весовой коэффициент α, который может регулировать соотношение основного компонента к поддерживающему компоненту в представлении предложения для генерации полного представления предложения.Окончательное представление предложения можно рассчитать по следующей формуле: (8)

Когда α = 0, D-LSTM = MaLSTM.

Выходной уровень D-LSTM может быть изменен в соответствии с конкретной проблемой. В этом исследовании изучается схожесть предложений, и сходство между v ^{( a )} и v ^{( b )} может быть вычислено с помощью функции сходства.

Базовый и вспомогательный компоненты предложения описаны в следующих подразделах.

Базовый компонент

Базовый компонент содержит основную информацию о предложении. Распространенным методом получения базового компонента является модель набора слов, которая не учитывает порядок слов в предложении и напрямую получает представление предложения путем суммирования (или применения другого математического вычисления) представления слов, которое соответствует слово. Однако полученные таким образом представления предложений не учитывают важную информацию, такую ​​как порядок каждого слова в предложении.Чтобы решить эту проблему, в данном исследовании была выбрана модель LSTM для изучения базового компонента предложения. Во-первых, D-LSTM преобразует каждое слово во входном предложении в вложение слов (в эксперименте использовались предварительно обученные векторы word2vec). Во-вторых, D-LSTM обновляет свое состояние памяти c _t и скрытое состояние h _t при каждом t ∈ {1,2,…, T } в соответствии с формулами (2) — (7). Наконец, модель генерирует набор C = { c ₁ , c ₂ ,…, c _T }, который содержит все состояния памяти, и устанавливает H = { h ₁ , h ₂ ,…, h _T }, который содержит все скрытые состояния, где T представляет собой общее количество слов в предложении.

Поскольку LSTM последовательно принимает входные данные и генерирует состояния памяти и скрытые состояния в текущий момент на основе выходных данных в предыдущий момент, состояния памяти и скрытые состояния, которые генерируются в конкретный момент, содержат всю ранее введенную информацию. Таким образом, в этой статье в качестве основного компонента предложения выбирается v _basic = h _T , что аналогично предложению Mueller et al.[19]. Например, как показано на рис. 2, и.

Опорный элемент

В дополнение к базовому компоненту вспомогательный компонент содержит вспомогательную информацию в представлении предложения в этой статье. Чтобы изучить вспомогательный компонент предложения, Stanford Parser [21], который представляет собой синтаксический анализатор естественного языка, который определяет грамматическую структуру предложений, такую ​​как группы слов, которые идут вместе (например, как «фразы»), и слова которые представляют подлежащее или объект глагола, используются для выполнения синтаксического анализа зависимостей в предложениях.Всего наблюдается 37 универсальных синтаксических отношений, таких как номинальный субъект (nsubj), объект (obj) и косвенный объект (iobj). С лингвистической точки зрения предложение состоит из различных компонентов, таких как подлежащее, сказуемое, объект, атрибутивное прилагательное, наречивая фраза и дополнения. Из всех компонентов подлежащее, сказуемое и объект играют самые важные роли в предложении; таким образом, D-LSTM помечает слова в анализе, которые имеют отношение * subj (включая номинальный и клаузальный субъект), которое может идентифицировать подлежащее предложения, и * obj (включая прямой объект и косвенный объект), которое может идентифицировать предикат и объект предложения и генерирует горячий вектор v _d .D-LSTM генерирует вспомогательный компонент по следующей формуле: (9) где — значение i-мерного измерения v _d и h _i ∈ H — скрытое состояние, которое соответствует i-му слову. Результаты, полученные с помощью Stanford Parser, перечислены в таблице 1.

Согласно результатам анализа, приведенным в таблице 1, и. Опорные компоненты можно рассчитать по формуле (9):

Эксперимент

Данные.

В эксперименте используются два набора данных: предложение, включающее набор данных композиционных знаний (SICK) и набор данных до обучения.

Набор данных SICK — это помеченный набор данных, содержащий 9927 (5000 для обучения / 4927 для тестирования) пар предложений [1]. Каждая пара предложений аннотирована меткой родства ∈ [1,5], которая соответствует средней степени родства, оцененной десятью разными людьми, и каждая из пар предложений SICK также была помечена как один из трех классов: следствие, противоречие или нейтральный , которые должны быть предсказаны для тестовых примеров.

Набор данных до обучения состоит из отдельных данных пары предложений, предоставленных для предыдущей задачи SemEval 2013 Semantic Textual Similarity. Набор данных до обучения содержит примерно 11000 пар предложений, которые также имеют метку ∈ [1,5] [22].

Оценка семантического родства

Оценочные метрики.

В задаче семантического родства есть три показателя оценки: коэффициент корреляции Пирсона, корреляция Спирмена и среднеквадратичная ошибка (MSE).Коэффициент корреляции Пирсона является официальной основой рейтинга, и мы в основном оцениваем модель на основе коэффициента корреляции Пирсона.

Коэффициент корреляции Пирсона (PCC), который также называют коэффициентом Пирсона r, является общей метрикой для задач семантического текстового сходства, а коэффициент корреляции продукта-момента Пирсона (PPMCC) или двумерная корреляция является мерой. линейной корреляции между двумя переменными X и Y. PPMCC имеет значение от +1 до -1, где 1 представляет полную положительную линейную корреляцию, 0 означает отсутствие линейной корреляции, а -1 представляет полную отрицательную линейную корреляцию [23 ].Цель задания — получить максимально возможную ОКК для тестовой выборки.

Коэффициент ранговой корреляции Спирмена между двумя переменными равен корреляции Пирсона между ранговыми значениями этих двух переменных [24]; тогда как корреляция Пирсона оценивает линейные отношения, корреляция Спирмена оценивает монотонные отношения (линейные или нет). Если нет повторяющихся значений данных, идеальная корреляция Спирмена +1 или -1 возникает, когда каждая из переменных является идеальной монотонной функцией другой.Интуитивно корреляция Спирмена между двумя переменными будет высокой, когда наблюдения имеют одинаковый (или идентичный, для корреляции 1) ранг (т. Е. Метку относительного положения наблюдений внутри переменной: 1-й, 2-й, 3-й и т. Д.) Между две переменные, и низкий, когда наблюдения имеют разный (или полностью противоположный, при корреляции -1) ранг между двумя переменными.

MSE оценщика (процедуры оценки ненаблюдаемой величины) измеряет среднее квадратов ошибок, то есть разницу между оценщиком и тем, что оценивается.MSE — это функция риска, соответствующая ожидаемому значению квадратичной потери ошибок или квадратичной потери [25].

Детали обучения.

D-LSTM имеет две версии: D-LSTM с предварительно обученными данными и D-LSTM без предварительно обученных данных.

Параметры D-LSTM инициализируются распределением Гаусса (μ = 0,0, σ = 0,02) и отдельным большим значением 2,5 для смещения затвора забывания, чтобы облегчить моделирование зависимости на больших расстояниях. В версии до обучения набор данных до обучения используется для предварительного обучения модели, а предварительно обученная модель будет продолжать обучаться в качестве начальной модели фазы обучения.

На этапе обучения используются 300-мерные вложения word2vec, и они не обновляются в процессе обучения. D-LSTM использует 50-мерные скрытые представления h _t и ячейки памяти c _t . Оптимизация параметров выполняется с использованием метода Ададелты Цайлера [26] и ограничения градиента (изменение масштаба градиентов, в которых норма превышает пороговое значение), чтобы избежать проблемы взрывных градиентов [27].

Результаты.

Мы реализуем MaLSTM (без калибровки регрессии и увеличения синонимов) и D-LSTM (предварительно обученные и без предварительно обученных версий) с Tensorflow. Код скоро станет общедоступным.

Значения r Пирсона, корреляции Спирмена и MSE для всех моделей, использующих данные испытаний SICK, перечислены в таблице 2. Названия моделей, выделенные жирным шрифтом, представляют модели с предварительным обучением, а числа в скобках представляют альфа-значения для модели.Первые четыре модели — самые популярные на SemEval 2014 [28].

Из результатов, показанных в таблице 2, D-LSTM (0,5) имеет лучший коэффициент корреляции Пирсона и коэффициент корреляции Спирмена на тестовом наборе, чем лучшие материалы SemEval 2014 и MaLSTM, независимо от того, прошли ли они предварительное обучение или нет. В то же время мы заметили, что D-LSTM (0,5) имеет немного худшую MSE, чем первая отправка SemEval 2014 года (примерно на 0,019 выше). Однако мы считаем, что MSE является нестабильной метрикой, и мы провели дополнительный эксперимент, чтобы показать, что MSE менее стабильна, чем корреляция Пирсона.Имея в общей сложности 4927 выборок в тестовом наборе, мы удалили 50 худших прогнозов модели (примерно 1%) и пересчитали коэффициент корреляции Пирсона и MSE. При этом мы обнаружили, что MSE изменилась на 7%, в то время как коэффициент корреляции Пирсона изменился только на 1%, что показывает, что по сравнению с MSE коэффициент корреляции Пирсона является относительно стабильным и надежным показателем оценки. Это также причина, по которой в большинстве задач на подобие в качестве основного показателя оценки используется коэффициент корреляции Пирсона, а не MSE.

Классификация происхождения

Оценочные метрики.

Каждая пара предложений SICK также относится к одному из трех классов: следствие, противоречие или нейтральный. Модели оцениваются с точки зрения точности классификации. Цель задачи — получить наивысшую точность тестового набора.

Детали обучения.

Мы используем наиболее эффективную модель в эксперименте на подобие, чтобы получить представление предложения, после чего мы вычисляем простые характеристики (также успешно использованные в [6]): поэлементные (абсолютные) различия,.Используя только эти возможности, мы обучаем SVM с радиальным базисом, используя тот же метод, что и [19], для классификации меток следования.

Результаты.

Точность тестового набора для всех моделей показана в таблице 3. Первые четыре модели являются лучшими представленными на SemEval 2014 [28], последняя модель представляет собой простую модель SVM с функциями, изученными D-LSTM, а остальные — недавно предложенные методы [29–31].

Обсуждение

Влияние поддерживающего компонента