Это попытается сопоставить входящий журнал с заданным шаблоном grok. В случае совпадения журнал будет разбит на указанные поля в соответствии с определенными шаблонами grok в фильтре. В случае несоответствия Logstash добавит тег с именем _grokparsefailure .

Однако в нашем случае фильтр сработает и выдаст следующий результат:

 {
"message" => "Начало транзакции для сеанса -464410bf-37bf-475a-afc0-498e0199f008",
"отметка времени" => "2016-07-11T23:56:42.000+00:00",
"лог-уровень" => "ИНФОРМАЦИЯ",
"класс" => "MySecretApp.com.Transaction.Manager"
} 

Манипулирование данными

На основе совпадения можно определить дополнительные конфигурации Logstash grok для управления данными. Например, вы можете заставить Logstash 1) добавить поля, 2) переопределить поля или 3) удалить поля.

 грок {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log-level} \[%{DATA:class}\]:%{GREEDYDATA:message}" }
перезаписать => [“сообщение”]
add_tag ​​=>  [ "My_Secret_Tag" ]
} 

В нашем случае мы используем действие «перезаписать», чтобы перезаписать поле «сообщение». Таким образом, наше поле «сообщение» не будет отображаться с другими полями, которые мы определили ( timestamp , log-level и class ). Кроме того, мы используем действие «add_tag», чтобы добавить в журнал пользовательское поле тега.

Полный список доступных действий, которые вы можете использовать для управления журналами, доступен здесь вместе с их типом ввода и значением по умолчанию.

Отладчик grok

Отличным способом начать создание фильтров grok является средство отладки grok: https://grokdebug.herokuapp.com/

Этот инструмент позволяет вставлять сообщение журнала и постепенно создавать grok шаблон при постоянном тестировании компиляции. Как правило, я рекомендую начинать с %{GREEDYDATA:message} и медленно добавляя все больше и больше узоров по мере продвижения.

В случае приведенного выше примера я бы начал с:

 %{GREEDYDATA:message} 

Затем, чтобы убедиться, что первая часть работает, продолжите с:

 %{TIMESTAMP_ISO8601:timestamp} %{GREEDYDATA :message} 

Общие примеры grok Logstash

Вот несколько примеров, которые помогут вам ознакомиться с тем, как создать фильтр grok:

Syslog

Анализ сообщений системного журнала с помощью Grok является одним из наиболее распространенных требований новых пользователей. Существует также несколько различных форматов журналов для системного журнала, поэтому не забывайте о написании собственных пользовательских шаблонов grok. Вот один из примеров обычного разбора системного журнала:

 grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp}
%{SYSLOGHOST:syslog_hostname}
%{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?:
%{GREEDYDATA:syslog_message}" }
} 

Если вы используете rsyslog , вы можете настроить последний для отправки журналов в Logstash.

Журналы доступа Apache

 grok  {
match => { "message" => "%{COMBINEDAPACHELOG}" }
} 

Elasticsearch

 грок {
match => ["сообщение", "\[%{TIMESTAMP_ISO8601:timestamp}\]\[%{DATA:loglevel}%{SPACE}\]\[%{DATA:source}%{SPACE}\]%{SPACE }\[%{DATA:node}\]%{SPACE}\[%{DATA:index}\] %{NOTSSPACE} \[%{DATA:updated-type}\]",
"сообщение", "\[%{TIMESTAMP_ISO8601:timestamp}\]\[%{DATA:loglevel}%{SPACE}\]\[%{DATA:source}%{SPACE}\]%{SPACE}\[% {ДАННЫЕ:узел}\] (\[%{НЕПРОБЕЛ:Индекс}\]\[%{ЧИСЛО:осколки}\])?%{ЖАДНЫЕДАННЫЕ}"
]
}
 

Redis

 грок {
 match => ["redistimestamp", "\[%{МЕСЯЦДЕНЬ} %{МЕСЯЦ} %{ВРЕМЯ}]",
 ["redislog", "\[%{POSINT:pid}\] %{REDISTIMESTAMP:timestamp}"],
 ["redismonlog", "\[%{ЧИСЛО:отметка времени} \[%{INT:база данных} %{IP-адрес:клиент}:%{ЧИСЛО:порт}\] "%{СЛОВО:команда}"\s?%{ GREEDYDATA: параметры}"]
]
 }
 

MongoDB

 MONGO_LOG %{SYSLOGTIMESTAMP:timestamp} \[%{WORD:component}\] ​​%{GREEDYDATA:message}MONGO_QUERY \{ (?<={ ). *(?= } ntreturn:) \}MONGO_SLOWQUERY % {WORD} %{MONGO_WORDDASH:база данных}\.%{MONGO_WORDDASH:коллекция} %{WORD}: %{MONGO_QUERY:запрос} %{WORD}:%{NONNEGINT:ntoreturn} %{WORD}:%{NONNEGINT:ntoskip} %{WORD}:%{NONNEGINT:nscanned}.*nreturned:%{NONNEGINT:nreturned}..+ (?[0-9]+)msMONGO_WORDDASH \b[\w-]+\bMONGO3_SEVERITY \wMONGO3_COMPONENT %{WORD}|-MONGO3_LOG %{TIMESTAMP_ISO8601:timestamp} %{MONGO3_SEVERITY:severity} %{MONGO3_COMPONENT:component}%{SPACE}(?:\[ %{ДАННЫЕ:контекст}\])? %{GREEDYDATA:message} 

AWS

 ELB_ACCESS_LOG %{TIMESTAMP_ISO8601:timestamp} %{NOTSPACE:elb} %{IP:clientip}:%{INT:clientport:int} (?:(%{IP:backendip}: ?:%{INT:backendport:int})|-) %{NUMBER:request_processing_time:float} %{NUMBER:backend_processing_time:float} %{NUMBER:response_processing_time:float} %{INT:response:int} %{INT: backend_response:int} %{INT:received_bytes:int} %{INT:bytes:int} "%{ELB_REQUEST_LINE}"
CLOUDFRONT_ACCESS_LOG (?<отметка времени>%{ГОД}-%{ЧИСЛОМЕСЯЦ}-%{ДЕНЬМЕСЯЦА}\t%{ВРЕМЯ})\t%{СЛОВО:x_edge_location}\t(?:%{ЧИСЛО:sc_bytes:int}|- )\t%{IPORHOST:clientip}\t%{WORD:cs_method}\t%{HOSTNAME:cs_host}\t%{NOTSPACE:cs_uri_stem}\t%{NUMBER:sc_status:int}\t%{GREEDYDATA:referrer }\t%{GREEDYDATA:agent}\t%{GREEDYDATA:cs_uri_query}\t%{GREEDYDATA:cookies}\t%{WORD:x_edge_result_type}\t%{NOTSPACE:x_edge_request_id}\t%{HOSTNAME:x_host_header}\ t%{URIPROTO:cs_protocol}\t%{INT:cs_bytes:int}\t%{GREEDYDATA:time_taken:float}\t%{GREEDYDATA:x_forwarded_for}\t%{GREEDYDATA:ssl_protocol}\t%{GREEDYDATA:ssl_cipher }\t%{GREEDYDATA:x_edge_response_result_type} 

Подводя итоги

Logstash grok — это всего лишь один тип фильтра, который можно применить к вашим журналам перед их отправкой в ​​Elasticsearch. Поскольку grok играет такую ​​важную роль в конвейере журналирования, он также является одним из наиболее часто используемых фильтров.

Вот список некоторых полезных ресурсов, которые могут помочь вам в гроккинге:

• http://grokdebug.herokuapp.com — как упоминалось выше, это полезный инструмент для создания и тестирования вашего фильтра грок на журналах.
• http://grokconstructor.appspot.com/ — еще один сборщик/тестер grok
• https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns — список поддерживаемых Logstash выкройки

Приятного гроккинга!

Понимание семантического анализа фреймов в НЛП | Арье Пратама Сутионо

Попытка заставить компьютеры понимать значение нашего языка

Изучение вычислительной лингвистики может быть сложной задачей, особенно потому, что существует множество терминов, созданных лингвистами. Это может быть в форме задач, таких как устранение неоднозначности смысла слов, разрешение со-ссылок или лемматизация. Существуют термины для атрибутов каждой задачи, например, лемма, тег части речи (тег POS), семантическая роль и фонема.

Эта статья призвана дать общее представление о задаче семантического синтаксического анализа кадров с точки зрения непрофессионала. Начиная с того, для чего он используется, определений некоторых терминов и существующих моделей семантического анализа фреймов. Эта статья не будет содержать полных ссылок на определения, модели и наборы данных, а будет содержать только субъективно важные вещи.

Задача семантического разбора фреймов начинается с проекта FrameNet [1], полная ссылка на который доступна на его веб-сайте [2]. Он направлен на то, чтобы уловить смысл слов.

Семантический анализ фреймов может использоваться для приложений, которым требуется более глубокое понимание значения слов, таких как ответы на вопросы. Он пытается определить, о чем говорит текст (упрощенное перефразирование фрейма) и кто что кому сделал (упрощенное перефразирование элементов фрейма или семантических ролей) вокруг него. Рассмотрим пример

[Цена на бананы] увеличилась [5%]

[Цена на бананы] выросла [5%]

[Цена на бананы] выросла на [5%]

Фразы в скобках являются аргументами, а «увеличение», «роза», «подъем» — предикатами.

Все эти предложения означают одно и то же, но как их может понять компьютер? Мы хотели иметь возможность спросить компьютер, например,

«Насколько выросла цена на бананы?»

Учитывая смешанную структуру, можно запутаться и не найти правильный ответ.

Но что, если этот компьютер сможет разобрать эти предложения на семантические фреймы? Он распознает, что это, скорее всего, кадр Motion_Directional. Тогда он распознает, что [Цена бананов] равна Тема и [5%] Расстояние, от элементов кадра, связанных с кадром Motion_Directional. Зная это, он должен ответить элементом кадра Distance .

Чтение статей и документов по семантическому разбору фреймов сбивает с толку. На первый взгляд трудно понять большинство терминов в материалах для чтения. Таким образом, будет здорово понять некоторые основные термины.

Фрейм (семантический фрейм)

Фрейм или семантический фрейм — это категория части предложения. Эта категория указывает на то, что часть предложения будет иметь определенные компоненты. В некотором смысле семантическая рамка подобна своду правил. Когда вы увидите, что часть предложения имеет эту семантическую структуру, вы поймете, что еще может быть в этой части предложения. Позвольте мне показать вам пример

Сайра попыталась взмахнуть мечом, чтобы парировать удар, но это было слишком тяжело.

Вы заметите, что меч — это «оружие», а ее (которое можно сослаться на Сайру) — «владелец». Это предложение с высокой вероятностью может быть отнесено к категории содержащих фрейм «Оружие» (см. указатель фреймов). Согласно кадру «Оружие», он должен иметь элемент «Оружие». При желании он может содержать роль «владельца», как в этом примере.

Мишени

Слова или последовательность слов, которые должны быть помечены кадрами. Лучше посмотреть пример.

На рисунке 1 показан пример предложения с 4 целями, обозначенными выделенными словами и последовательностью слов. Эти цели «играются», «основные», «предотвращают» и «высушивают». Каждая из этих целей будет напрямую соответствовать кадру PERFORMERS_AND_ROLES, IMPORTANCE, THWARTING, BECOMING_DRY, аннотированному категориями с прямоугольниками.

Элемент кадра

Элемент кадра является компонентом семантического кадра , , характерного для определенных кадров. Это означает, что если вы видели индекс фрейма, вы заметите, что в нем выделены слова. Это элементы кадра, и каждый кадр может иметь разные типы элементов кадра.

На рисунке 1 элементы каркаса обозначены подчеркиванием. Например, «плотина Гувера», «главная роль» и «в предотвращении высыхания Лас-Вегаса» являются элементами фрейма PERFORMERS_AND_ROLES.

Но тогда вы можете подумать, ничего себе! а разве это не вся фраза? Тогда охватывает ли фрейм целое предложение? Это зависит от каждого конкретного правила фрейма. Позвольте мне привести вам еще один более короткий пример: «Лас-Вегас» — это элемент фрейма BECOMING_DRY. Видеть? это не обязательно должно быть целое предложение.

Лемма

Лемма — основная форма слова. В английском языке runs, run, run будет иметь ту же лемму: run . Лемма не означает точно слово, потому что может содержать более одного слова, например, «атомное оружие» или «огнемет».

Лексическая единица (ЛЕ)

Лексической единицей в данном контексте является пара основных форм слова (лемма) и фрейм . В индексе фрейма лексическая единица также будет соединена со своим тегом части речи (например, Noun/n или Verb/v). Я считаю, что цель состоит в том, чтобы четко указать, к какому значению относится эта лемма (одна лемма/слово, которое имеет несколько значений, называется полисемией).

Типичный конвейер для решения этой задачи состоит в определении целей, классификации кадра и идентификации аргументов.

Ранние работы по созданию автоматической семантической маркировки фреймов включают два этапа: определение границ элементов фрейма в предложении и маркировка фреймов [3]. В этой ранней работе использовалось множество грамматических особенностей в качестве исходных данных для маркировки фреймов. Тип фразы (именная группа, глагольная группа и предложение), грамматическая функция, позиция, залог и заглавное слово. Конечный результат этой системы при определении границ элементов кадра достиг 66%, а при маркировке кадров можно было достичь точности 80%.

Более поздняя модель использовала метод нейронной сети для семантического анализа фреймов, чтобы увидеть, могут ли они уменьшить использование синтаксических функций [4]. Они разделили задачу на 3 части: идентификация цели, маркировка фрейма и идентификация аргумента.

Идентификация цели — это задача определить, какие слова или фразы следует пометить. Цель также может называться сказуемым и может быть существительным или глаголом. Они использовали 3 функции для идентификации цели: токены, часть речи этих токенов и лемму токенов. Они также сочетают в себе предварительно обученное встраивание токенов с использованием представления GloVe и встраивание обученных токенов. Затем они использовали слой bi-lstm, последний слой которого будет использоваться для предсказания того, является ли следующий токен целью.

Задача маркировки кадров здесь означает то же самое, что и предыдущий метод. Здесь авторы предлагают использовать классификатор на основе bi-lstm. Модель должна принимать, по крайней мере, токены, леммы, теги частей речи и целевую позицию в результате более ранней задачи.

Вот что мне кажется интересным, так это часть идентификации аргумента. Идентификация аргумента, вероятно, не является тем «аргументом», который некоторые из вас могут подумать, а скорее относится к структуре предиката-аргумента [5]. Другими словами, если мы нашли предикат, какие слова или словосочетания связаны с ним. По сути, это то же самое, что и семантическая ролевая маркировка [6], кто что кому сделал. Основное отличие состоит в том, что семантическая ролевая маркировка предполагает, что все предикаты являются глаголами [7], в то время как при разборе семантической рамки такого предположения нет.

[1] Бейкер, Коллин Ф., Чарльз Дж. Филлмор и Джон Б. Лоу. 1998. «Проект Berkeley FrameNet», 86. https://doi.org/10.3115/980845.980860.

[2] Сайт проекта Frame Net. https://framenet.icsi.berkeley.edu.

[3] Гильдеа, Даниэль и Даниэль Джурафски. 2002. «Автоматическая маркировка семантических ролей». Компьютерная лингвистика 28 (3). https://doi.org/10.1162/089120102760275983.

[4] Сваямдипта, Свабха, Сэм Томсон, Крис Дайер и Ной А.