также использует списки слов, называемые географическими справочниками . Это списки существительных, глаголов и так далее.Географический справочник также предоставляет что-то вроде лемматизации. Следовательно, справочник глаголов может сгруппировать все формы глагола как под глаголом быть . Но географический справочник может использовать более прямой подход. Для анализа настроений в географическом справочнике может быть запись ужасно с подпунктами ужасно, ужасно, противно. Следовательно, географический справочник может выполнять как лемматизацию, так и группировку синонимов.

Механизмы текстовой аналитики, предлагаемые SAP, основаны на правилах.Они используют язык правил под названием CGUL (Custom Grouper User Language). SAP говорит, что из этого языка (выделено мной):

Пользовательский язык Custom Grouper (CGUL) — это язык на основе предложений, который позволяет выполнять сопоставление с образцом с использованием регулярных выражений на основе символов или токенов в сочетании с лингвистическими атрибутами для определения типов настраиваемых сущностей. Работа с CGUL может быть очень сложной .

Вот пример того, как выглядит правило на языке CGUL:

 #subgroup VerbClause: {
  (
    [CC]
    (% (Существительные) *% (NonBeVerbs) +)
    | ([OD VB]% (NonBeVerbs) + |% (BeVerbs) [/ OD])
    | ([OD VB]% (BeVerbs) + |% (NonBeVerbs) + [/ OD])
    [/ CC]
  )

  | ([OD VB]% (NonBeVerbs) [/ OD])
}
 

По своей сути CGUL использует регулярные выражения и географические справочники для формирования все более сложных группировок слов.Конечным результатом правил являются готовые группы, например, концепты.
Многие инструменты, основанные на правилах, предполагают, что пользователь свободно владеет языком правил. Предоставление пользователю доступа к языку правил дает пользователю возможность создавать индивидуализированные анализы за счет обучения и разработки правил.

Глубокое обучение и нейронные сети

Третий подход, который мы обсудим, — это машинное обучение. Основная идея машинного обучения состоит в том, чтобы дать компьютеру несколько примеров того, что вы хотите, чтобы он делал, и позволить ему выяснить правила того, как это делать.Эта основная идея существует уже давно и претерпела несколько эволюций. Текущая горячая тема — нейронных сетей . Этот подход к машинному обучению естественного языка во многом основан на том, как работает наш мозг. IBM широко рекламирует это с помощью своей технологии Watson. Вы помните, что Ватсон победил лучших игроков в игре Jeopardy. На этом примере мы можем получить представление о технике машинного обучения.

Идея глубокого обучения состоит в том, чтобы строить нейронные сети в несколько слоев, каждый из которых работает над все более широкими частями проблемы.Глубокое обучение — еще одно модное слово, которое часто применяется за пределами области, предназначенной лингвистическими исследователями.

Мы не будем вдаваться в подробности этих методов, а сосредоточимся на их фундаментальных требованиях. Для работы машинному обучению нужны примеры. Много примеров. Одной из областей, в которой машинное обучение преуспело, является распознавание изображений. Возможно, вы использовали камеру, которая может находить лица на снимке, который вы делаете. Нетрудно понять, как машинное обучение могло это сделать.Дайте компьютеру много тысяч изображений и скажите ему, где находятся лица. Затем он может выяснить правила поиска лиц. Это действительно хорошо работает.

Назад к Ватсону. В Jeopardy он отлично поработал. Вы понимаете почему? Игра отлично настроена для машинного обучения. Сначала компьютеру дается ответ. Задача компьютера — вернуть правильный вопрос (в Jeopardy вам дается ответ, и вы должны ответить правильным вопросом). Поскольку в Jeopardy играют уже много лет, у компьютера есть то, с чем он должен работать: масса примеров, настроенных так, как нужно компьютеру.

А что, если мы хотим использовать глубокое обучение для анализа настроений? Где взять примеры? Это не так просто. Люди пытались создать наборы данных, чтобы помочь машинам изучать такие вещи, как сантименты, но на сегодняшний день результаты неутешительны. В проекте Stanford CoreNLP есть инструмент анализа настроений, использующий машинное обучение, но он не пользуется заслуженной популярностью. Сегодня машинное обучение может дать отличные результаты для извлечения концепций, но менее впечатляющие — для анализа настроений.

Сводка

Лингвистический анализ — сложная и быстро развивающаяся наука. Было разработано несколько подходов к лингвистическому анализу, каждый из которых имеет свои сильные и слабые стороны. Чтобы получить наилучшие результаты, вы должны выбрать подход, обеспечивающий превосходную производительность для нужного вам типа анализа. Например, вы можете выбрать подход машинного обучения для определения тем, подход, основанный на правилах, для анализа тональности и подход синтаксического анализа предложений для определения частей речи и их взаимосвязей.

Все о синтаксическом анализе: что это такое и как оно связано с программным обеспечением для преобразования текста в речь | Алекс Кителингер | Voice Tech Podcast

Суть этого, помимо прекрасного предлога, заставляющего всех вас услышать немного классической игры слов, состоит в том, чтобы показать, что наличия всех слов во фразе недостаточно, чтобы получить ее полное значение во многих случаи. Мы, люди, чертовски хорошо умеем интерпретировать значение предложения из контекста (идите, люди!), Но это сложный процесс для машин. Когда мы говорим о синтаксическом анализе в компьютерной лингвистике, эти предложения должны интерпретироваться с помощью установленной грамматики: установленного набора правил того, как работает данный язык, чтобы определить, что является «грамматическим», а что нет.Это используется в качестве основы для разбивки предложения на возможные интерпретации. Я говорю «возможно» здесь очень сознательно, поскольку человеческие языки в целом (конечно, английский) имеют большую тенденцию к двусмысленности. Обычно это достигается с помощью одного из нескольких методов машинного обучения; большая часть этого основана на частоте определенных типов высказываний. В одном из первоначально предложенных методов синтаксического анализа (с использованием вероятностных контекстно-свободных грамматик ) неоднозначное предложение будет сравниваться с другими экземплярами того же или аналогичного предложения и просто давать вероятность каждой данной интерпретации.С тех пор мы прошли долгий путь, но есть, что рассказать… так что я не буду! По крайней мере, не сегодня.

Более интересным, пожалуй, является текущая реализация того, как работают наши голосовые помощники. Alexa, например, не выполняет всю эту тяжелую работу локально (как и другие, хотя это может быть не всегда …) Ваше устройство Echo будет принимать звуковой файл, который он получил (прочтите мой последний пост, если вы любопытно, как работает эта магия), и передайте его в службу Alexa, размещенную в облаке Amazon, и основная часть обработки выполняется там.Даже в этом случае объем работы очень урезан по сравнению с этой весомой сравнительной моделью. Alexa действует на основе нескольких ключевых элементов, которые она ищет в запросе, и использует их для определения основного значения того, что вы ищете. Ниже приведен пример запроса из отличного руководства для тех, кто хочет получить краткий обзор начала разработки для устройств с поддержкой Alexa:

Эти и большинство примеров такого же типа запросов от голосовых помощников заметно упрощены, так как все, что действительно нужно сделать, это определить названия вызова и навыков, а затем проанализировать, где «высказывание» ”Есть и будет основываться только на этом небольшом фрагменте.Даже в этом случае гораздо проще разобрать, когда структура запроса уже известна; вы просите устройство выполнить за вас задачу, и это сильно ограничивает возможности того, что вы могли бы сказать.

В этом много всего, и я только начинаю царапать поверхность, но суть в том, что «разбор» того, что вы говорите за пределами виртуальных помощников, — это огромное испытание, связанное с ошибками и несоответствиями, особенно если учесть, что то, как мы, люди, говорим, откровенно говоря, содержит ошибки и несоответствия.Даже в этом ограниченном контексте, который мы оцениваем с помощью Alexa, предстоит проделать большую работу. Я определенно планирую продолжить копаться в мельчайших деталях того, что происходит от A до B, но я надеюсь, что этот небольшой взгляд был, по крайней мере, немного проницательным!

Учебное пособие по Прологу — 7.2

7.2 Грамматика Пролога для простых английских фразеологических структур

 с -> нп, вп. /* предложение */

нп -> пн. /* словосочетание */
np -> d, n, отн. ед.

вп -> тв, нп. /* фразовый глагол */
вп -> iv.

rel -> []. /*  придаточное предложение */
rel -> rpn, вп.

pn -> [PN], {pn (PN)}. /* имя собственное */
пн (мэри).
пн (генри).

rpn -> [RPN], {rpn (RPN)}./* относительное местоимение */
рпн (это).
рпн (который).
рпн (кто).

iv -> [IV], {iv (IV)}. /*  непереходный глагол */
iv (работает).
iv (сидит).

d -> [DET], {d (DET)}. / * определитель * /
г (а).
d (в).

п -> [N], {n (N)}. /* имя существительное */
п (книга).
п (девушка).
п (мальчик).

ТВ -> [ТВ], {ТВ (ТВ)}. /* переходный глагол */
тв (дает).
телевизор (читает). 

? - s ([тот, мальчик, который, сидит, читает, a, книга], []).
да

? - s ([Генри, читает], []).
нет

? - листинг ([np, d]).

np (A, B): -
pn (А, В).

np (A, B): -
д (А, С),
п (C, D),
rel (D, B).

d (A, B): -
'C' (DET, A, B),
d (DET).г (а).
d (в).

да 

 np -> det, имя существительное, отн.np (A, B): - det (A, C), существительное (C, D), rel (D, B). 

 d -> [DET], {d (DET)}.

det (A, B): - 'C' (DET, A, B), d (DET). 

 'C' (X, [X | R], R). 

Третий вид грамматических правил похож на первый для rel. Такой rule определяет необязательную грамматическую конструкцию.

 отн. -> [].

rel (A, A). 

? - np ([мальчик, кто сидит], []) 

Фиг.7,2

Exercise 7.2.1 Завершите рисование этого дерева программных предложений и дайте предложения Пролога, которые использовались бы, если бы продолжали заполнять дерево, пока не будут получены все настоящие листья.

Дерево предложений программы дает визуальное представление о том, как переменные в правилах синтаксического анализа Пролога должны соответствовать начальным частям оставшийся ввод, который анализируется.Если мы проверим соответствующий экземпляр правила det мы могли бы иметь следующее:

Правила DCG могут содержать аргументы с использованием вспомогательных переменных. Создание деревьев синтаксического анализа — одно из применений вспомогательных переменных. Другое использование — заставить числовое соглашение для подлежащего и глагола. Оба этих использования проиллюстрированы по грамматике в файле eng2.pro.

 с (s (NP, VP)) -> np (Num, NP), vp (Num, VP).

np (Num, np (PN)) -> pn (Num, PN).
np (Num, NP) ->
d (Дет),
п (Num; N),
rel (число; отн),
{build_np (Det, N, Rel, NP)}./ * встроенная цель Пролога * /

/ * Правила Пролога для build_np * /
build_np (Det, N, rel (ноль), np (Det, N)).
build_np (Det, N, rel (RP, VP), np (Det, N, rel (RP, VP))).

вп (Num, vp (TV, NP)) ->
тв (Num, TV),
нп (_, НП).
vp (Num, vp (IV)) -> iv (Num, IV).

rel (_Num, rel (ноль)) -> [].
rel (Num, rel (RP, VP)) ->
рпн (RP), вп (Num, VP).

pn (петь, pn (PN)) -> [PN], {pn (PN, _X)}.
pn (plu, pn (PN)) -> [PN], {pn (_X, PN)}.
пн (мэри, мэрис).
пн (Генри, Генри).

РПН (РПН (РПН)) -> [РПН], {РПН (РПН)}.рпн (это).
рпн (который).
рпн (кто).

iv (Sing, iv (IV)) -> [IV], {iv (IV, _X)}.
iv (plu, iv (IV)) -> [IV], {iv (_X, IV)}.
iv (бежит, бежит).
iv (сидит, сядет).

d (d (DET)) -> [DET], {d (DET)}.
г (а).
d (в).

п (петь, п ​​(N)) -> [N], {п (N, _X)}.
п (plu, n (N)) -> [N], {n (_X, N)}.
п (книга, книги).
п (девочка, девочки).
п (мальчик, мальчики).

ТВ (петь, тв (ТВ)) -> [ТВ], {ТВ (ТВ, _X)}.
tv (plu, tv (TV)) -> [TV], {tv (_X, TV)}.
тв (дает, дает).
тв (читает, читает).

: - ['read_line'].

parse: - write ('Введите английский ввод:'),
read_line (ввод),
trim_period (Вход, I),
нл,
s (Parse_form, I, []),
написать (Parse_form),
нл, нл.trim_period ([.], []).
trim_period ([X | R], [X | T]): - trim_period (R, T). 

? - разбор.
Введите английский язык: мальчик, который сидит, читает книгу.

s (np (d (the), n (мальчик), rel (rpn (who), vp (iv (сидит)))), vp (tv (читает), np (d (a), n (книга)) ))

да 

Exercise 7.2.2 Создайте красивый принтер для синтаксических форм, так то они отображаются примерно так:

 с (np (d (the),
п (мальчик),
rel (rpn (кто),
vp (iv (сидит)))),
вп (тв (читает),
нп (д (а),
п (книга)))) 

Exercise 7.2.4 Добавьте прилагательные в грамматику.

Фраза против синтаксического анализа — Кэтлин В. Карри

Фраза и синтаксический разбор — слова, которые легко перепутать.

Приложение для проверки орфографии большинства текстовых редакторов не обнаружит опечатки в этих двух словах. Проверка орфографии ищет слова, которых нет в его словаре, и слова, которые напоминают слова в его словаре, но, возможно, написаны неправильно.Проверка орфографии несовершенна. Он не знает и не может угадать, какое слово вы хотели или какое слово вы имели в виду, он может только судить о словах на странице. Если вы использовали слова, которые написаны правильно, это все равно дает вам шанс.

Автозамена предлагает слова, начинающиеся с одинаковых букв. Он подсказывает, какое слово вы хотите сэкономить, но довольно часто его предложения не соответствуют действительности. Они тебе не помогают, но заставляют смеяться.

Фраза (произносится «фрайз»).Это грамматический термин, обозначающий набор слов. Фразы могут быть частью предложения; они также могут составить строчку в текстах песен или стихах.

Parse (произносится «parrrss»; рифмуется со словом «фарс») — глагол.

• Может означать грамматический анализ предложения, определение частей речи.
• Это может означать расшифровывать или разбивать элементы для решения сложной проблемы.

В следующей истории оба слова используются правильно:

Персей вел свою последнюю политическую колонку для Pigeonville Press.Таинственный губернатор только что передал адрес штата в этом году. На первый взгляд, эти обращения звучали оптимистично. Губернатор говорил очень оптимистично, плавно и уверенно. Люди уходили с хорошим чувством, не зная почему. Между тем, у государства были проблемы, которые, казалось, не решались в ближайшее время.

Персей обнаружил, что потребовалось несколько чтений того, что говорилось в адресе, чтобы точно оценить, что происходит. Он обнаружил, что анализ каждого предложения и фразы раскрывает более глубокие, иногда потенциально тревожные истины.

Нравится:

Нравится Загрузка …

Самый точный в мире парсер с открытым исходным кодом

Почему компьютер так сложен при синтаксическом анализе?

Одна из основных проблем, затрудняющих синтаксический анализ, заключается в том, что человеческие языки демонстрируют поразительный уровень двусмысленности. Для предложений средней длины — скажем, 20 или 30 слов — не редкость иметь сотни, тысячи или даже десятки тысяч возможных синтаксических структур. Парсер естественного языка должен каким-то образом перебрать все эти альтернативы и найти наиболее правдоподобную структуру с учетом контекста.В качестве очень простого примера, предложение Алиса ехала по улице на своей машине имеет по крайней мере два возможных анализа зависимости:

Люди замечательно справляются с двусмысленностью, почти до такой степени, что проблема становится незаметной; Задача состоит в том, чтобы компьютеры делали то же самое. Множественные двусмысленности, подобные этим в более длинных предложениях, создают комбинаторный взрыв количества возможных структур для предложения. Обычно подавляющее большинство этих структур совершенно неправдоподобны, но тем не менее возможны и должны быть каким-то образом отброшены синтаксическим анализатором.

SyntaxNet применяет нейронные сети к проблеме неоднозначности.Входное предложение обрабатывается слева направо, при этом зависимости между словами добавляются постепенно по мере рассмотрения каждого слова в предложении. На каждом этапе обработки может быть возможно множество решений — из-за неоднозначности — и нейронная сеть выставляет оценки конкурирующим решениям на основе их правдоподобия. По этой причине очень важно использовать в модели поиск луча . Вместо того, чтобы просто принимать первое наилучшее решение в каждой точке, на каждом этапе сохраняется несколько частичных гипотез, при этом гипотезы отбрасываются только тогда, когда рассматривается несколько других гипотез более высокого ранга.Пример последовательности решений слева направо, которая дает простой синтаксический анализ, показан ниже для предложения . Я заказал билет в Google .

Итак, насколько точен Парси МакПарсфейс?

На стандартном тесте, состоящем из случайно составленных предложений английской ленты новостей (20-летний Penn Treebank), Parsey McParseface восстанавливает индивидуальные зависимости между словами с точностью более 94%, превосходя наши собственные предыдущие современные результаты, которые были уже лучше, чем любой предыдущий подход. Хотя в литературе нет подробных исследований о возможностях человека, мы знаем из наших собственных проектов аннотаций, что лингвисты, обученные этой задаче, соглашаются в 96-97% случаев.Это говорит о том, что мы приближаемся к человеческим возможностям — но только на хорошо сформированном тексте. Как мы узнали из Google WebTreebank (выпущенного в 2011 году), предложения, взятые из Интернета, намного сложнее анализировать. Parsey McParseface достигает чуть более 90% точности синтаксического анализа этого набора данных.

Хотя точность не идеальна, она, безусловно, достаточно высока, чтобы быть полезной во многих приложениях. Основным источником ошибок на этом этапе являются такие примеры, как описанная выше неоднозначность присоединения предложной фразы, которая требует знания реального мира (например,грамм. что улица вряд ли будет расположена в машине) и глубокие контекстные рассуждения. Машинное обучение (и, в частности, нейронные сети) добились значительного прогресса в разрешении этих неоднозначностей. Но наша работа по-прежнему ограничена для нас: мы хотели бы разработать методы, которые могут изучать мировые знания и обеспечивать равное понимание естественного языка для всех языков и контекстов.

Для начала ознакомьтесь с кодом SyntaxNet и загрузите модель парсера Parsey McParseface.Удачного парсинга от основных разработчиков, Криса Альберти, Дэвида Вайса, Дэниела Андора, Майкла Коллинза и Славя Петрова.

В Google мы много времени думаем о том, как компьютерные системы могут читать и понимать человеческий язык, чтобы обрабатывать его разумными способами. Сегодня мы рады поделиться плодами наших исследований с более широким сообществом, выпустив SyntaxNet, инфраструктуру нейронной сети с открытым исходным кодом, реализованную в TensorFlow, которая обеспечивает основу для систем естественного языка (NLU).Наш выпуск включает весь код, необходимый для обучения новых моделей SyntaxNet на ваших собственных данных, а также Parsey McParseface , анализатор английского языка, который мы подготовили для вас и который вы можете использовать для анализа английского текста.

Parsey McParseface основан на мощных алгоритмах машинного обучения, которые учатся анализировать лингвистическую структуру языка и могут объяснять функциональную роль каждого слова в данном предложении. Поскольку Parsey McParseface является наиболее точной такой моделью в мире, мы надеемся, что она будет полезна разработчикам и исследователям, заинтересованным в автоматическом извлечении информации, переводе и других основных приложениях NLU.

Как работает SyntaxNet?

SyntaxNet — это среда, известная в академических кругах как синтаксический анализатор , который является ключевым первым компонентом многих систем NLU. Получив предложение в качестве входных данных, он помечает каждое слово тегом части речи (POS), который описывает синтаксическую функцию слова, и определяет синтаксические отношения между словами в предложении, представленном в дереве синтаксического анализа зависимостей. Эти синтаксические отношения напрямую связаны с основным значением рассматриваемого предложения.В качестве очень простого примера рассмотрим следующее дерево зависимостей для Алиса увидела Боба :

Почему компьютер так сложен при синтаксическом анализе?

Одна из основных проблем, затрудняющих синтаксический анализ, заключается в том, что человеческие языки демонстрируют поразительный уровень двусмысленности. Для предложений средней длины — скажем, 20 или 30 слов — не редкость иметь сотни, тысячи или даже десятки тысяч возможных синтаксических структур.Парсер естественного языка должен каким-то образом перебрать все эти альтернативы и найти наиболее правдоподобную структуру с учетом контекста. В качестве очень простого примера, предложение Алиса ехала по улице на своей машине имеет по крайней мере два возможных анализа зависимости:

Люди замечательно справляются с двусмысленностью, почти до такой степени, что проблема становится незаметной; Задача состоит в том, чтобы компьютеры делали то же самое. Множественные двусмысленности, подобные этим в более длинных предложениях, создают комбинаторный взрыв количества возможных структур для предложения. Обычно подавляющее большинство этих структур совершенно неправдоподобны, но тем не менее возможны и должны быть каким-то образом отброшены синтаксическим анализатором.

SyntaxNet применяет нейронные сети к проблеме неоднозначности.Входное предложение обрабатывается слева направо, при этом зависимости между словами добавляются постепенно по мере рассмотрения каждого слова в предложении. На каждом этапе обработки может быть возможно множество решений — из-за неоднозначности — и нейронная сеть выставляет оценки конкурирующим решениям на основе их правдоподобия. По этой причине очень важно использовать в модели поиск луча . Вместо того, чтобы просто принимать первое наилучшее решение в каждой точке, на каждом этапе сохраняется несколько частичных гипотез, при этом гипотезы отбрасываются только тогда, когда рассматривается несколько других гипотез более высокого ранга.Пример последовательности решений слева направо, которая дает простой синтаксический анализ, показан ниже для предложения . Я заказал билет в Google .

Итак, насколько точен Парси МакПарсфейс?

На стандартном тесте, состоящем из случайно составленных предложений английской ленты новостей (20-летний Penn Treebank), Parsey McParseface восстанавливает индивидуальные зависимости между словами с точностью более 94%, превосходя наши собственные предыдущие современные результаты, которые были уже лучше, чем любой предыдущий подход. Хотя в литературе нет подробных исследований о возможностях человека, мы знаем из наших собственных проектов аннотаций, что лингвисты, обученные этой задаче, соглашаются в 96-97% случаев.Это говорит о том, что мы приближаемся к человеческим возможностям — но только на хорошо сформированном тексте. Как мы узнали из Google WebTreebank (выпущенного в 2011 году), предложения, взятые из Интернета, намного сложнее анализировать. Parsey McParseface достигает чуть более 90% точности синтаксического анализа этого набора данных.

Хотя точность не идеальна, она, безусловно, достаточно высока, чтобы быть полезной во многих приложениях. Основным источником ошибок на этом этапе являются такие примеры, как описанная выше неоднозначность присоединения предложной фразы, которая требует знания реального мира (например,грамм. что улица вряд ли будет расположена в машине) и глубокие контекстные рассуждения. Машинное обучение (и, в частности, нейронные сети) добились значительного прогресса в разрешении этих неоднозначностей. Но наша работа по-прежнему ограничена для нас: мы хотели бы разработать методы, которые могут изучать мировые знания и обеспечивать равное понимание естественного языка для всех языков и контекстов.

Для начала ознакомьтесь с кодом SyntaxNet и загрузите модель парсера Parsey McParseface.Удачного парсинга от основных разработчиков, Криса Альберти, Дэвида Вайса, Дэниела Андора, Майкла Коллинза и Славя Петрова.

Введение в обработку естественного языка (NLP)

Обработка естественного языка (NLP) — это область информатики и искусственного интеллекта, связанная с взаимодействием между компьютерами и людьми на естественном языке. Конечная цель НЛП — помочь компьютерам понимать язык так же хорошо, как и мы. Это движущая сила таких вещей, как виртуальные помощники, распознавание речи, анализ тональности, автоматическое суммирование текста, машинный перевод и многое другое.В этом посте мы рассмотрим основы обработки естественного языка, погрузимся в некоторые из ее методов, а также узнаем, как НЛП помогло последним достижениям в области глубокого обучения.

Содержание

1. Введение
2. Почему НЛП сложно
3. Синтаксический и семантический анализ
4. Техники НЛП
5. Глубокое обучение и NLP
6. Список литературы

I. Введение

Обработка естественного языка (NLP) — это пересечение компьютерных наук, лингвистики и машинного обучения.Эта область фокусируется на общении между компьютерами и людьми на естественном языке, а НЛП — на том, чтобы заставить компьютеры понимать и генерировать человеческий язык. Применение методов НЛП включает голосовых помощников, таких как Amazon Alexa и Apple Siri, а также такие вещи, как машинный перевод и фильтрация текста.

NLP сильно выиграл от последних достижений в области машинного обучения, особенно от методов глубокого обучения. Поле разделено на три части:

• Распознавание речи — Перевод устной речи в текст.
• Понимание естественного языка — Способность компьютера понимать то, что мы говорим.
• Генерация естественного языка — Генерация естественного языка компьютером.

II. Почему НЛП — это сложно

Человеческий язык особенный по нескольким причинам. Он специально разработан, чтобы передать смысл говорящего / писателя. Это сложная система, хотя маленькие дети могут освоить ее довольно быстро.

Еще одна замечательная черта человеческого языка — это то, что все дело в символах.По словам Криса Мэннинга, профессора машинного обучения из Стэнфорда, это дискретная, символическая, категориальная сигнальная система. Это означает, что мы можем передавать одно и то же значение по-разному (например, речь, жест, знаки и т. Д.). Кодирование человеческим мозгом — это непрерывный паттерн активации, посредством которого символы передаются через непрерывные звуковые и визуальные сигналы.

Понимание человеческого языка считается сложной задачей из-за его сложности. Например, существует бесконечное количество различных способов расположить слова в предложении.Кроме того, слова могут иметь несколько значений, и для правильной интерпретации предложений необходима контекстная информация. Каждый язык более или менее уникален и неоднозначен. Достаточно взглянуть на следующий заголовок в газете «Папа папа наступает на геев». Это предложение явно имеет две очень разные интерпретации, что является довольно хорошим примером проблем в НЛП.

Обратите внимание, что идеальное понимание языка компьютером привело бы к созданию ИИ, способного обрабатывать всю информацию, доступную в Интернете, что, в свою очередь, вероятно, привело бы к созданию общего искусственного интеллекта.

III. Синтаксический и семантический анализ

Синтаксический анализ (синтаксис) и семантический анализ (семантический) — два основных метода, которые приводят к пониманию естественного языка. Язык — это набор правильных предложений, но что делает предложение действительным? Синтаксис и семантика.

Синтаксис — это грамматическая структура текста, а семантика — это передаваемое значение. Однако синтаксически правильное предложение не всегда является семантически правильным.Например, фраза «коровы в высшей степени текут» грамматически корректна (подлежащее — глагол — наречие), но не имеет никакого смысла.

Синтаксический анализ, также называемый синтаксическим анализом или синтаксическим анализом, — это процесс анализа естественного языка с использованием правил формальной грамматики. Грамматические правила применяются к категориям и группам слов, а не к отдельным словам. Синтаксический анализ в основном придает тексту семантическую структуру.

Например, предложение включает подлежащее и сказуемое, где подлежащее — это существительная фраза, а предикат — глагольная фраза.Взгляните на следующее предложение: «Собака (существительная фраза) ушла (глагольная фраза)». Обратите внимание, как мы можем комбинировать каждую именную фразу с глагольной фразой. Опять же, важно повторить, что предложение может быть синтаксически правильным, но не иметь смысла.

То, как мы понимаем сказанное кем-то, — это бессознательный процесс, основанный на нашей интуиции и знаниях о самом языке. Другими словами, то, как мы понимаем язык, во многом зависит от значения и контекста.Однако к компьютерам нужен другой подход. Слово «семантический» является лингвистическим термином и означает «относящийся к значению или логике».

Семантический анализ — это процесс понимания значения и интерпретации слов, знаков и структуры предложения. Это позволяет компьютерам частично понимать естественный язык так, как это делают люди. Я говорю отчасти потому, что семантический анализ — одна из самых сложных частей НЛП, и она еще не решена полностью.

Например, распознавание речи стало очень хорошим и работает почти безупречно, но нам все еще не хватает такого уровня владения пониманием естественного языка.Ваш телефон в основном понимает то, что вы сказали, но часто ничего не может с этим поделать, потому что не понимает стоящего за этим смысла. Кроме того, некоторые технологии только заставляют вас думать, что они понимают значение текста. Подход, основанный на ключевых словах или статистике, или даже на чистом машинном обучении, может использовать метод сопоставления или частоты для подсказок о том, «о чем» текст. Эти методы ограничены, потому что они не рассматривают истинный смысл.

IV.Методы понимания текста

Давайте рассмотрим некоторые из самых популярных методов, используемых при обработке естественного языка. Обратите внимание, как некоторые из них тесно взаимосвязаны и служат только подзадачами для решения более крупных проблем.

Что такое парсинг? Согласно словарю, синтаксический анализ означает «разложить предложение на составные части и описать их синтаксические роли».

Это действительно помогло, но могло бы быть немного более полным.Под синтаксическим анализом понимается формальный анализ предложения компьютером на его составные части, в результате которого создается дерево синтаксического анализа, показывающее их синтаксические отношения друг с другом в визуальной форме, которое можно использовать для дальнейшей обработки и понимания.

Ниже представлено дерево синтаксического анализа для предложения «Вор ограбил квартиру». Включено описание трех различных типов информации, передаваемых в предложении.

Буквы непосредственно над отдельными словами показывают части речи для каждого слова (существительное, глагол и определитель).Уровень выше — это некая иерархическая группировка слов во фразы. Например, «вор» — это существительное, «ограбил квартиру» — глагольное словосочетание, и, сложив вместе эти две фразы, образуют предложение, которое отмечается на один уровень выше.

Но что на самом деле означает существительное или глагольная фраза? Существительные фразы — это одно или несколько слов, которые содержат существительное и, возможно, некоторые дескрипторы, глаголы или наречия. Идея состоит в том, чтобы сгруппировать существительные со словами, которые к ним относятся.

Дерево синтаксического анализа также предоставляет нам информацию о грамматических отношениях слов из-за структуры их представления.Например, мы можем видеть в структуре, что «вор» является субъектом «ограблен».

Под структурой я подразумеваю, что у нас есть глагол («ограблен»), который отмечен буквой «V» над ним и буквой «VP» над ним, которая связана буквой «S» с подлежащим («вор» ), над которым есть «NP». Это похоже на шаблон для отношений подлежащее-глагол, и есть много других для других типов отношений.

Стемминг — это метод, основанный на морфологии и поиске информации, который используется в НЛП для предварительной обработки и повышения эффективности.В словаре это определяется как «происходить из или быть вызванным».

По сути, выделение корней — это процесс сокращения слов до их основы. «Основа» — это часть слова, которая остается после удаления всех аффиксов. Например, основа слова «тронут» — «прикоснуться». «Прикосновение» также является основой «прикосновения» и так далее.

Вы можете спросить себя, зачем нам вообще ствол? Итак, основа необходима, потому что мы встретимся с разными вариантами слов, которые на самом деле имеют одну основу и одно и то же значение.Например:

Я ехал на машине.

Я ехал в машине.

Эти два предложения означают одно и то же, и использование этого слова идентично.

А теперь представьте себе все английские слова в словаре со всеми их различными фиксациями в конце. Для их хранения потребуется огромная база данных, содержащая множество слов, которые на самом деле имеют одинаковое значение. Это решается путем сосредоточения внимания только на основе слова.Популярные алгоритмы выделения включают алгоритм вывода Портера из 1979 года, который до сих пор хорошо работает.

Сегментация текста в НЛП — это процесс преобразования текста в значимые единицы, такие как слова, предложения, различные темы, лежащее в основе намерение и многое другое. В основном текст разбивается на составляющие слова, что может быть сложной задачей в зависимости от языка. Это опять же из-за сложности человеческого языка. Например, в английском языке относительно хорошо работает разделение слов пробелами, за исключением таких слов, как «icebox», которые принадлежат друг другу, но разделены пробелом.Проблема в том, что люди иногда также пишут это как «ледяной ящик».

Признание именованного объекта

Распознавание именованных объектов (NER) концентрируется на определении того, какие элементы в тексте (т. Е. «Именованные объекты») могут быть обнаружены и классифицированы по заранее определенным категориям. Эти категории могут варьироваться от имен людей, организаций и местоположений до денежных значений и процентов.

Например:

До NER: Мартин купил 300 акций SAP в 2016 году.

После NER: [Мартин] Человек купил 300 акций [SAP] организации за [2016] Время.

Извлечение отношений

Извлечение отношений берет названные объекты NER и пытается идентифицировать семантические отношения между ними. Это может означать, например, выяснение, кто с кем женат, что человек работает в определенной компании и так далее. Эта проблема также может быть преобразована в проблему классификации, и модель машинного обучения может быть обучена для каждого типа отношений.

Анализ тональности

С помощью анализа настроений мы хотим определить отношение (то есть настроение) говорящего или писателя по отношению к документу, взаимодействию или событию. Следовательно, это проблема обработки естественного языка, когда текст необходимо понимать, чтобы предсказать основное намерение. Настроения в основном делятся на положительные, отрицательные и нейтральные категории.

С помощью анализа настроений, например, мы можем захотеть спрогнозировать мнение и отношение клиента к продукту на основе написанного ими обзора.Анализ тональности широко применяется к обзорам, опросам, документам и многому другому.

Если вам интересно использовать некоторые из этих методов с Python, взгляните на Jupyter Notebook о наборе инструментов естественного языка Python (NLTK), который я создал. Вы также можете ознакомиться с моим сообщением в блоге о построении нейронных сетей с помощью Keras, где я обучаю нейронную сеть выполнять анализ настроений.

V. Глубокое обучение и НЛП

Центральное место в глубоком обучении и естественном языке занимает «значение слова», когда слово и особенно его значение представлены в виде вектора действительных чисел.С помощью этих векторов, которые представляют слова, мы помещаем слова в многомерное пространство. Интересно то, что слова, представленные векторами, будут действовать как семантическое пространство. Это просто означает, что слова, которые похожи и имеют похожее значение, имеют тенденцию группироваться вместе в этом многомерном векторном пространстве. Вы можете увидеть визуальное представление значения слова ниже:

Вы можете узнать, что означает группа сгруппированных слов, выполнив анализ главных компонентов (PCA) или уменьшение размерности с помощью T-SNE, но иногда это может вводить в заблуждение, поскольку они упрощают и оставляют много информации на стороне.Это хороший способ начать работу (например, логистическая или линейная регрессия в науке о данных), но он не является передовым и можно сделать это лучше.

Мы также можем думать о частях слов как о векторах, которые представляют их значение. Представьте себе слово «нежелательность». Используя морфологический подход, который включает в себя различные части слова, мы могли бы думать, что оно состоит из морфем (частей слова), например: «Un + желание + способность + ity». Каждая морфема получает свой вектор. Исходя из этого, мы можем построить нейронную сеть, которая может составить значение более крупной единицы, которая, в свою очередь, состоит из всех морфем.

Глубокое обучение также может определять структуру предложений с помощью синтаксических анализаторов. Google использует подобные методы анализа зависимостей, хотя и в более сложной и широкой манере, с их «McParseface» и «SyntaxNet».

Зная структуру предложений, мы можем начать пытаться понять смысл предложений. Мы начинаем со значения слов, являющихся векторами, но мы также можем сделать это с целыми фразами и предложениями, где значение также представлено в виде векторов.И если мы хотим знать взаимосвязь предложений или между ними, мы обучаем нейронную сеть принимать эти решения за нас.

Глубокое обучение также хорошо подходит для анализа настроений. Возьмем, к примеру, этот обзор фильма: «В этом фильме нет дела до ума, с каким-либо другим умным юмором». Традиционный подход попался бы в ловушку, полагая, что это положительный отзыв, потому что «сообразительность или любой другой вид умного юмора» звучит как положительное намерение, но нейронная сеть распознала бы его реальное значение.Другие приложения — это чат-боты, машинный перевод, Siri, предлагаемые ответы в почтовом ящике Google и так далее.

Также произошел огромный прогресс в машинном переводе благодаря появлению рекуррентных нейронных сетей, о которых я также написал сообщение в блоге.

В машинном переводе, выполняемом с помощью алгоритмов глубокого обучения, язык переводится, начиная с предложения и генерируя векторные представления, которые его представляют. Затем он начинает генерировать слова на другом языке, содержащие ту же информацию.