Разбор слов по составу

Разбор слова по составу

Тип лингвистического анализа, в результате которого определяется структура слова, а также его состав, называется морфемным анализом.

Виды морфем

В русском языке используются следующие морфемы:

— Корень. В нем заключается значение самого слова. Слова, у которых есть общий корень, считаются однокоренными. Иногда слово может иметь два и даже три корня.
— Суффикс. Обычно идет после корня и служит инструментом для образования других слов. К примеру, «гриб» и «грибник». В слове может быть несколько суффиксов, а может не быть совсем.
— Приставка. Находится перед корнем. Может отсутствовать.
— Окончание. Та часть слова, которая изменяется при склонении или спряжении.
— Основа. Часть слова, к которой относятся все морфемы, кроме окончания.

Важность морфемного разбора

В русском языке разбор слова по составу очень важен, ведь нередко для правильного написания слова необходимо точно знать, частью какой морфемы является проверяемая буква. Многие правила русского языка построены на этой зависимости.

Пример

В качестве примера можно взять два слова: «чёрный» и «червячок». Почему в первом случае на месте ударной гласной мы пишем «ё», а не «о», как в слове «червячок»? Нужно вспомнить правило написания букв «ё», «е», «о» после шипящих, стоящих в корне слова. Если возможно поменять форму слова либо подобрать родственное ему так, чтобы «ё» чередовалась с «е», тогда следует ставить букву «ё» (чёрный — чернеть). Если чередование отсутствует, тогда ставится буква «о» (например, чокаться, шорты).

В случае же со словом «червячок» «-ок-» — это суффикс. Правило заключается в том, что в суффиксах, если стоящая после шипящих букв гласная находится под ударением, всегда пишется «о» (зрачок, снежок), в безударном случае — «е» (платочек, кармашек).

Как разобрать слово по составу

Для помощи начинающим существуют морфемно-орфографические словари. Можно выделить книги таких авторов, как Тихонов А.Н., Ожегов С.И., Рацибурская Л.В.

В любом слове непременно должны присутствовать корень и основа. Остальных морфем может и не быть. Иногда слово целиком может состоять из корня (или основы): «гриб», «чай» и т.д.

Этапы морфемного анализа

Чтобы морфемный разбор слов было легче осуществить, следует придерживаться определенного алгоритма:

— Сначала нужно определить часть речи, задав вопрос к слову. Для прилагательного это будет вопрос «какой?», для существительного — «что?» или «кто?».
— Затем нужно выделить окончание. Чтобы его найти, слово нужно просклонять по падежам, если часть речи это позволяет. Например, наречие изменить никак нельзя, поэтому у него не будет окончания.
— Далее нужно выделить основу у слова. Все, кроме окончания, — основа.
— Потом следует определить корень, подобрав родственные однокоренные слова.
— Определяется приставка, а потом суффиксы (при их наличии).

Особенности разбора

Иногда подход к морфемному разбору в программах университета и школы может отличаться. Во всех случаях различия аргументированы и имеют право на существование. Поэтому стоит ориентироваться на морфемный словарь, рекомендованный в конкретном учебном заведении.

Морфема

Discover Eckher Semantic Web Browser: «http://xmlns.com/foaf/0.1/Person», «http://schema.org/Organization», «http://www.w3.org/2004/02/skos/core#definition», «http://www.wikidata.org/entity/Q1».

Discover English pronunciations: «Olaf Scholz», «Karl Nehammer», «Alexander Schallenberg», «omicron», «Dimitrescu», «DOGE», «fatale», «Dogecoin», «Niçoise», «Nahum», «Oisín», «cheugy», «bamlanivimab».

Create sequence logos for protein and DNA/RNA alignments using Eckher Sequence Logo Maker.

Compose speech audio from IPA phonetic transcriptions using Eckher IPA to Speech.

Browse place name pronunciation on Eckher IPA Map.

Enter IPA characters using Eckher IPA Keyboard.

Navigate the Semantic Web and retrieve the structured data about entities published on the web using Eckher Semantic Web Browser.

Turn your phone into a compass using Eckher Compass.

Browse word pronunciations online using Eckher Dictionary.

Author, enrich, and query structured data using Eckher Database for RDF.

Create TeX-style mathematical formulas online with Eckher Math Editor.

Create knowledge graphs using Eckher RDF Graph Editor.

Send messages and make P2P calls using Eckher Messenger.

Build event-sourced systems using Eckher Database for Event Sourcing.

View PDB files online using Eckher Mol Viewer.

Listen to your text using Eckher Text to Speech.

View FASTA sequence alignments online with Eckher Sequence Alignment Viewer.

Convert Punycode-encoded internationalized domain names (IDNs) to Unicode and back with Eckher Punycode Converter.

Explore the human genome online with Eckher Genome Browser.

Edit text files online with Eckher Simple Text Editor.

Send test emails with Eckher SMTP Testing Tool.

Разбор слов по составу: «заметный», «сильнее», «беспрестанно», «грустно», «перерыв», «неряшливо», «крикливость», «невозможно», «наушник», «тихо».

What do you call a person from Barbados?

What do you call a person from New Zealand?

What do you call a person from Niger?

What do you call a person from Switzerland?

What do you call a person from Finland?

What do you call a person from Denmark?

Розбір слів за будовою: «ходити», «батько».

Разбор слоў па саставе: «рассыпаць», «крычаць», «засеяць», «асенні», «адбіраць», «ісці».

Ударения в словах: «Шеншин», «мальбек», «хуцпа», «начав», «Майкоп».

Синонимы к словам: «потешить», «подхалимство», «хтонь», «тужить», «неблагоприятный», «непостоянный».

Антонимы к словам: «сжать», «демпинг», «этатизм», «иллюзия».

Разбор по составу слова «удивительный»

Выполним раз­бор по соста­ву сло­ва «уди­ви­тель­ный», выде­лив при­став­ку, корень, суф­фик­сы и окончание.

Прежде чем разо­брать по соста­ву сло­во «уди­ви­тель­ный», опре­де­лим, к какой части речи оно при­над­ле­жит. Ведь в рус­ском язы­ке сло­во каж­дой части речи обла­да­ет сво­им типич­ным набо­ром морфем.

Какой уди­ви­тель­ный под­вод­ный мир пере­до мной!

Мир (какой?) удивительный.

Анализируемое сло­во обо­зна­ча­ет при­знак пред­ме­та и явля­ет­ся само­сто­я­тель­ной частью речи име­нем при­ла­га­тель­ным, кото­рое меня­ет свою грам­ма­ти­че­скую фор­му в зави­си­мо­сти от того, суще­стви­тель­ное како­го рода и чис­ла оно поясняет:

• удивительн-ая история;
• удивительн-ое дело;
• удивительн-ые рыбки.

Сравнив фор­мы при­ла­га­тель­но­го, выде­лим сло­во­из­ме­ни­тель­ную мор­фе­му -ый в каче­стве окон­ча­ния, кото­рое не вклю­ча­ем в осно­ву — удивительн-.

Далее  ука­жем суф­фикс -тельн-, кото­рый заме­чен в мор­фем­ном соста­ве мно­гих прилагательных:

• уди­вительный слу­чай;
• зани­мательный кон­курс;
• исклю­чительный ум;
• увле­кательный поход.

Поясним, поче­му в соста­ве этих имён при­ла­га­тель­ных отме­тим имен­но суф­фикс -тельн-, а не суф­фик­сы -тель- и -н-. Чтобы ука­зать суф­фикс —тель-, необ­хо­ди­мо обра­зо­вать с его помо­щью новое сло­во. А это невоз­мож­но, так как не суще­ству­ет в рус­ском язы­ке слов «уди­ви­тель», «зани­ма­тель», «исклю­чи­тель» или «увле­ка­тель» .

В рус­ском язы­ке неко­то­рым име­нам суще­стви­тель­ным при­над­ле­жит суф­фикс —тель- , с помо­щью кото­ро­го обра­зу­ют­ся назва­ния лиц по роду дея­тель­но­сти, раз­лич­ных пред­ме­тов с опре­де­лен­ной функцией :

• море­пла­ватель
• учитель
• создатель
• удли­нитель
• ука­затель

От гла­го­ла «уди­вить» это­му одно­ко­рен­но­му при­ла­га­тель­но­му доста­лись при­став­ка у- и суф­фикс -и-. Проследим за этим, если соста­вим сло­во­об­ра­зо­ва­тель­ную цепочку:

диво → дивить → удивить→ удивитель­ный.

Корнем явля­ет­ся мини­маль­ная зна­чи­мая часть див-, кото­рая про­сле­жи­ва­ет­ся в мор­фем­ном соста­ве род­ствен­ных слов, пред­став­лен­ных в сло­во­об­ра­зо­ва­тель­ной цепочке.

Закончим раз­бор по соста­ву иссле­ду­е­мо­го сло­ва и собе­рем все выде­лен­ные мор­фе­мы в ито­го­вую схему:

удивительный — приставка/корень/суффикс/суффикс/окончание.

— обзор

5.2.1 Обзор ресурсов, разработанных для обработки сербского языка

Многочисленные ресурсы, которые могут быть использованы для целей нашего исследования, были разработаны для обработки сербского языка, но многие из них имеют быть измененным или улучшенным. Большая часть этих ресурсов была разработана в системе Unitex [22], а часть из них была адаптирована для системы GATE [23].

Система Unitex — это система с открытым исходным кодом, разработанная Себастьеном Помье в Институте Гаспара-Монж при Университете Парижа в Марн-ла-Валле в 2001 году.Это система обработки корпуса, основанная на автоматизированной технологии, которая находится в постоянном развитии. Система используется во всем мире для задач НЛП, поскольку она обеспечивает поддержку ряда различных языков и многоязычных задач обработки.

Одной из основных частей системы являются электронные словари типа DELA (Dictionnaires Electroniques du Laboratoire d’Automatique Documentaire et Linguistique или электронные словари LADL), которые представлены на рис.2. Система состоит из словарей DELAS (простые формы DELA) и DELAF (DELA флективных форм). Словари DELAS — это словари простых слов, не изменяемых форм, в то время как словари DELAF содержат все изменяемые формы простых слов. С другой стороны, система содержит словари составных DELAC (DELA составных форм) и словари складываемых составных форм DELACF (DELA составных склонных форм).

Рис. 2. Система электронных словарей DELA.

Морфологические словари в формате DELA были предложены Лабораторией автоматической документации и лингвистики под руководством Мориса Гросса. Формат словарей DELA подходит для решения задач сегментации текста и морфологической, синтаксической и семантической обработки текста. Подробнее о формате DELA можно найти в [24].

Морфологические электронные словари в формате DELA представляют собой простые текстовые файлы. Каждая строка в этих файлах содержит запись слова и измененную форму слова.Другими словами, каждая строка содержит лемму слова и некоторую грамматическую, семантическую и флективную информацию.

Пример записи из словаря DELAF на английском языке: « таблиц, таблица.N + Conc: p ». Флективная форма таблицы является обязательной, таблица является леммой записи, а N + Conc представляет собой последовательность грамматической и семантической информации (N обозначает существительное, а Conc обозначает, что это существительное — конкретный объект), p — флективный код, который указывает на то, что существительное является множественным числом.

Словари этого типа для сербского языка разрабатываются группой НЛП на факультете математики Белградского университета. Согласно [21], нынешний объем сербского морфологического словаря DELAS (простых слов) содержит 130 000 лемм. Большинство лемм из словаря DELAS относятся к общей лексике, а остальные относятся к разным видам простых имен собственных. Словарь DELAF содержит около 4 300 000 словоформ с заданными грамматическими категориями.Размер словарей DELAC и DELACF составляет примерно 10 500 и 54 000 лемм соответственно.

Аналогичный пример записи из сербского словаря простых словоформ с соответствующим грамматическим и семантическим кодом: padao, padati. V + Imperf + It + Iref: Gms, где словоформа padao является единственным (S) мужским родом (M) активного причастия прошедшего времени (G) глагола (V) padati «падать», который несовершенное (Imperf), непереходное (It) и рефлексивное (Iref).

Другой тип ресурсов, разработанный для сербского языка, — это различные типы конечных преобразователей. Конечные преобразователи используются для выполнения морфологического анализа, а также для распознавания и аннотирования фраз в текстах прогнозов погоды с соответствующими тегами XML, такими как ENAMEX, TIMEX и NUMEX, как мы объясняли ранее.

Пример графа конечного преобразователя для распознавания временных выражений и их аннотации с помощью тегов TIMEX представлен на рис. 3. Этот граф конечного преобразователя может распознавать последовательность « 14.01.2012 . » из текста нашего примера прогноза погоды и аннотируйте его тегом TIMEX, чтобы его можно было извлечь в форме «ДАТА_ВРЕМЯ: 14.01.2012».

Рис. 3. Граф преобразователя с конечным числом состояний для извлечения и аннотирования временных выражений.

Другая система, которая больше подходит для решения проблемы IE (и CM), — это бесплатное программное обеспечение с открытым исходным кодом GATE (General Architecture for Text Engineering). Система GATE или некоторые из ее компонентов уже используются для ряда различных задач НЛП на нескольких языках.Система GATE — это архитектура и среда разработки для приложений НЛП. GATE разрабатывается NLP Group Университета Шеффилда с 1995 года.

Архитектура GATE состоит из трех частей: языковые ресурсы, ресурсы обработки и визуальные ресурсы. Эти компоненты независимы, поэтому с системой могут работать разные типы пользователей. Программисты могут работать над разработкой алгоритмов для НЛП или настраивать внешний вид визуальных ресурсов для своих нужд, в то время как лингвисты могут использовать алгоритмы и языковые ресурсы без каких-либо дополнительных знаний о программировании.

Визуальные ресурсы, графический пользовательский интерфейс, останется в исходной форме для целей данного исследования. Это позволит визуализировать и редактировать языковые ресурсы и ресурсы обработки. Языковые ресурсы для этого исследования включают корпуса текстов прогнозов погоды на нескольких языках и концептуальную модель прогноза погоды, которая будет построена. Необходимая модификация ресурсов обработки, особенно модификации для применения в обработке сербских текстов, представлены ниже.

Задача IE в GATE встроена в систему ANNIE (почти новое извлечение информации). Подробную информацию об ANNIE можно найти в [25]. Система ANNIE включает в себя следующие ресурсы обработки: Tokeniser, Sentence Splitter, POS (часть речи) tagger, Gazetteer, Semantic Tagger и Orthomatcher. Каждый из перечисленных ресурсов создает аннотации, необходимые для следующего ресурса обработки в списке:

•

Tokeniser разбивает текст на токены (слова, числа, символы, белые шаблоны и знаки препинания).Токенизатор можно использовать для обработки текстов на разных языках с небольшими изменениями или без них.

•

Sentence Splitter сегментирует текст на предложения, используя каскады конечных преобразователей. Он также не зависит от приложения и языка.

•

POS Tagger назначает тег части речи (тег лексической категории, например, существительное, глагол) в форме аннотации к каждому слову. Английская версия POS Tagger, входящая в систему GATE, основана на тэггере Brill.Это не зависящий от приложения, но зависящий от языка ресурс, который должен быть полностью изменен для сербского языка.

•

Другой ресурс, зависящий от языка, но зависящий от приложения, — это Gazetteer, который содержит списки городов, стран, личных имен, организаций и т. Д. Gazetteer использует эти списки для аннотирования появления элементов списка в текстах. .

•

Semantic Tagger основан на языке JAPE (Java Annotations Pattern Engine) [26].JAPE выполняет конечную обработку аннотаций на основе регулярных выражений, и его важной характеристикой является то, что он может использовать концептуальные модели (онтологии).

Semantic Tagger включает набор грамматик JAPE, где каждая грамматика состоит из набора фаз, а каждая фаза представляет собой набор правил. Кроме того, правила содержат левую и правую стороны. Левая сторона (LHS) правила описывает шаблон аннотации, который обычно распознается на основе операторов регулярного выражения Клини.Правая сторона (RHS) правила описывает действие, которое должно быть предпринято после того, как LHS распознает шаблон, например, создание новой аннотации. Это ресурс, зависящий от приложения и языка.

•

Orthomatcher идентифицирует отношения между именованными объектами, обнаруженными Semantic Tagger. Он создает новые аннотации на основе отношений между именованными объектами. Это независимый от приложения и языка ресурс.

Основная цель — разработать ресурсы, зависящие от языка или приложения (Gazetteer, POS Tagger и Semantic Tagger) для сербского языка.Путь, который мы выбрали для решения этой проблемы, — использовать ранее описанные ресурсы, разработанные для системы Unitex, и адаптировать их для использования в системе GATE. Изменение списков географического справочника — это простой процесс перевода с одного языка на другой. Построение грамматик JAPE с поддержкой онтологий для области прогноза погоды требует первоначальной разработки соответствующего подъязыка и концептуальной модели, которые будут обсуждаться в следующем подразделе в качестве предмета текущих исследований авторов.Проблема создания подходящего POS Tagger очень сложна и не будет здесь подробно описываться.

Вкратце, мы сделали оболочку для Unitex, чтобы ее можно было использовать непосредственно в системе GATE для создания электронных словарей для заданных текстов прогноза погоды и механизма для создания соответствующей аннотации POS Tagger для каждого слова. Это решение проблемы, хотя и имеет несколько недостатков, может стать хорошей основой для создания семантических тегов на основе концептуальных моделей и систем IE в целом.

Что такое парсер? — Определение из Техопедии

Что означает синтаксический анализатор?

Анализатор — это компонент компилятора или интерпретатора, который разбивает данные на более мелкие элементы для облегчения перевода на другой язык. Анализатор принимает ввод в виде последовательности токенов, интерактивных команд или программных инструкций и разбивает их на части, которые могут использоваться другими компонентами в программировании.

Анализатор обычно проверяет все предоставленные данные, чтобы убедиться, что их достаточно для построения структуры данных в форме дерева синтаксического анализа или абстрактного синтаксического дерева.

Techopedia объясняет синтаксический анализатор

Чтобы код, написанный в удобочитаемой форме, мог быть понят машиной, он должен быть преобразован в машинный язык. Эту задачу обычно выполняет переводчик (интерпретатор или компилятор). Синтаксический анализатор обычно используется как компонент переводчика, который организует линейный текст в структуру, которой можно легко манипулировать (дерево синтаксического анализа). Для этого он следует набору определенных правил, называемых «грамматикой».

Общий процесс синтаксического анализа включает три этапа:

1. Лексический анализ: Лексический анализатор используется для создания токенов из потока входных строковых символов, которые разбиваются на небольшие компоненты для формирования значимых выражений.Токен — это наименьшая единица языка программирования, имеющая какое-то значение (например, +, -, *, «функция» или «новый» в JavaScript).

2. Синтаксический анализ: Проверяет, образуют ли сгенерированные токены осмысленное выражение. Это использует контекстно-свободную грамматику, которая определяет алгоритмические процедуры для компонентов. Они работают, чтобы сформировать выражение и определить конкретный порядок, в котором должны быть размещены токены.

3. Семантический анализ: Заключительный этап синтаксического анализа, на котором определяется значение и значение проверенного выражения и предпринимаются необходимые действия.

Основная цель синтаксического анализатора — определить, могут ли входные данные быть получены из начального символа грамматики. Если да, то каким образом можно получить эти входные данные? Это достигается следующим образом:

• Нисходящий синтаксический анализ: Включает поиск в дереве синтаксического анализа, чтобы найти самые левые производные входного потока, используя расширение сверху вниз. Анализ начинается с начального символа, который преобразуется во входной символ до тех пор, пока все символы не будут переведены и не будет построено дерево синтаксического анализа для входной строки.Примеры включают синтаксические анализаторы LL и синтаксические анализаторы с рекурсивным спуском. Анализ сверху вниз также называется прогнозным или рекурсивным анализом.

• Анализ снизу вверх: Включает перезапись ввода обратно в начальный символ. Он действует в обратном порядке, отслеживая крайнее правое происхождение строки до тех пор, пока дерево синтаксического анализа не будет построено до начального символа. Этот тип синтаксического анализа также известен как синтаксический анализ с уменьшением сдвига. Одним из примеров является парсер LR.

Синтаксические анализаторы широко используются в следующих технологиях:

• Java и другие языки программирования.

• HTML и XML.

• Интерактивный язык данных и язык определения объектов.

• Языки баз данных, например SQL.

• Языки моделирования, например язык моделирования виртуальной реальности.

• Языки сценариев.

• Протоколы, например вызовы удаленных функций HTTP и Интернета.

(PDF) Чтение слов Her, His, Him: значение для принципов синтаксического анализа, основанных на частоте и структуре

предшествующий поиск, когда структурно недоступный NP

сильно стереотипно относится к одному полу по сравнению с

другим и есть гендерное соответствие между NP и обрабатываемым местоимением или анафорой

.

Эффект гендерного соответствия, наблюдаемый в условиях NP

настоящего эксперимента, был подобен паттерну

крачка, наблюдаемому у Badecker и Straub (2002). Однако

предложений Бадекера и Штраубеса (2002) содержали антецедент

местоимению (см. 2a и b). Текущие результаты

показали, что более продолжительное время чтения, наблюдаемое

Бадекером и Штраубом (2002), могло быть получено, даже если в контексте не присутствовал структурно доступный антецедент

.Их результаты могут иметь результат

из-за совпадения пола между существительным pro-

и структурно недоступным субъектом, скорее

, чем результатом только совпадения пола между

структурно недоступным субъектом и структурно

доступным субъектом. предшествующий.

Спецификатор в сравнении с условиями NP

Изначально читателям, казалось, требовалось больше времени для обработки

условий NP, чем условий SPEC, когда субъект

предложения был женским именем собственным.Разница во времени чтения

была значительной в регионах 4–6:

F1ð1; 65Þ¼5: 05, MSE ¼64; 904, p <: 05, F2ð1; 29Þ¼

2:56, MSE 29; 437, p>: 05; F1ð1; 65Þ¼33: 49, MSE ¼

388; 326, p <: 05, F2ð1; 29Þ¼21: 90, MSE ¼312; 616,

p <: 05; и F1ð1; 65Þ¼5: 04, MSE ¼192; 742, p <: 05,

F2ð2; 29Þ¼4: 21, MSE ¼87; 325, p <: 05 соответственно.

Когда предметом предложения было собственное мужское имя

или местоимение множественного числа, время чтения в регионах

4 и 5 было больше в условиях NP, чем в условиях SPEC; тем не менее, различия не достигли значимости —

раз при анализе как участников, так и предметов (собственно самец

условия имени: регион 4, F1ð1; 65Þ¼3: 11, MSE ¼

56; 420, p>: 05, F2ð1; 29Þ¼2: 36, MSE ¼25; 751,

p>: 05 и область 5, F1ð1; 65×3: 35, MSE 118; 920,

p>: 05, F2ð1; 29Þ¼2: 54, MSE 52; 215, p> : 05 и

местоимений множественного числа, которые они определяют: область 4, F1ð1; 65Þ¼

5:90, MSE ¼37; 843, p <: 05, F2ð1; 29Þ¼3: 71, MSE ¼

17; 137, p>: 05 и область 5, Fs <1).Для мужского собственного имени

и местоимения множественного числа они произошла перестановка в

регионе 6; Время считывания было больше в условиях SPEC

, чем в условиях NP, F1ð1; 65Þ¼5: 16, MSE 187;

627, p <: 05, F2ð1; 29Þ¼5: 30, MSE ¼39; 732, p <: 05

и F1ð1; 65Þ¼6: 16, MSE ¼79; 527, p <: 05, F2ð1; 29Þ¼

6: 17, MSE 36; 260, p <: 05 соответственно. Эти представленные результаты

не предоставили четких доказательств против предположения Клифтона и др.

(1997) о том, что читатели изначально относились к существительному pro

недостаточно точно во время обработки,

, как это было предложено Клифтоном и соавт.(1997).

Прочие важные результаты

Единственными оставшимися значительными результатами были следующие

мычания. Время чтения в областях 1 и 2 было самым коротким

, когда предметом было местоимение множественного числа они, что привело к значительному основному эффекту типа предмета

: регион 1,

F1ð2; 130Þ¼4: 93, MSE ¼43; 538, p < : 05, F2ð2; 58Þ¼

4:36, MSE ¼19; 840, p <: 05 и область 2, F1ð2; 130Þ¼

4:28, MSE ¼50; 173, p <: 05, F2ð2; 58Þ¼5: 16,

MSE ¼22; 770, p <: 05.Ни основной эффект структурного типа

, ни взаимодействие между структурным типом

и типом субъекта не были значимыми для этих регионов,

Fs <1. Более продолжительное время чтения в единственном собственном имени

условий может быть частотным эффектом, так как существительное во множественном числе

встречается примерно в 300 раз чаще

, чем собственные мужские и женские имена, в среднем (как

по оценке Фрэнсиса). & Ku

ccera, 1982).Однако, как предположил анонимный рецензент

, другая возможность —

, что из-за используемых глаголов предложения были более правдоподобными с множественным числом

, чем с единственными предметами

(например, Они нарисовали … по сравнению с Мэри нарисовала .. .).

Наконец, время чтения в последней области представления

предложения (область 8) было длиннее в условиях SPEC

, чем в условиях NP, что привело к значительному основному эффекту

типа структуры, F1ð1; 65Þ¼5: 78, MSE ¼164; 661,

p <: 05, F2ð1; 29Þ¼2: 60, MSE ¼74; 705, p <: 12.

время чтения не оказывало существенного влияния на тип субъекта или

на взаимодействие с типом структуры и типом субъекта, Fs <1.

Таким образом, выводы, сделанные на основе этих

оценок относительно рассмотрения структурно не-

доступных сущностей во время разрешения совместных ссылок в местоимении

NP, следует рассматривать с одной оговоркой.

Местоимение ее синтаксически неоднозначно. Возможно, что эффект типа субъекта, наблюдаемый в условиях NP

, имел место потому, что местоимение her также могло функционировать как SPEC.Целью эксперимента 2 было

определить, будет ли эффект субъектного типа в NP-

словах возникать, когда предложения содержат неоднозначное местоимение «он»

.

Эксперимент 2

В Эксперименте 2 время чтения было измерено на

предложениях, аналогичных тем, что были проверены в Эксперименте 1. Предложения

тенге содержали однозначные местоимения его и

его, а не двусмысленное местоимение она. В таблице 3

показаны образцы предложений.

Метод

Участники

Семьдесят восемь дополнительных студентов в Государственном университете Окла-

Хома, которые хорошо говорили на

американском английском и не имели

евро для целей

эксперимента, участвовали в эксперименте. обмен на курс кредита.

Материалы

Материалы, использованные в Эксперименте 1, были модифицированы для использования

в Эксперименте 2. Местоимение her было заменено

на местоимения его и его, чтобы образовать грамматические

342 S.M. Kennison / Journal of Memory and Language 49 (2003) 335–352

Советы и ответы на часто задаваемые вопросы по синтаксическому анализу резюме

Содержание

Что такое анализ резюме?

Под синтаксическим анализом резюме понимается автоматическое хранение, организация и анализ резюме о работе. Программное обеспечение для анализа резюме предоставляет компаниям эффективный способ определения ключевых слов, навыков и т. Д. Для сортировки большого количества приложений и выявления лучших кандидатов.

Зачем нужен синтаксический анализ резюме?

Рекрутеры используют парсеры резюме, чтобы упростить процесс проверки резюме и кандидатов.Технология синтаксического анализа позволяет рекрутерам собирать, хранить и систематизировать большое количество резюме в электронном виде. После получения данные резюме можно легко найти и проанализировать.

Инструменты анализа резюме являются частью большинства платформ программного обеспечения для отслеживания кандидатов (ATS). По некоторым оценкам, лучшая технология анализа резюме не только работает экспоненциально быстрее, чем обработка резюме человеком, конвертируя часы труда в секунды, но и может воспроизводить человеческую точность со скоростью 95%.

Ознакомьтесь с нашим программным обеспечением ATS, чтобы узнать больше о том, как системы отслеживания кандидатов используют машинное обучение и технологии синтаксического анализа для ускорения процесса отбора.

Как работает возобновление синтаксического анализа?

Анализ резюме начинается с загрузки, автоматически или вручную, всех приложений для данной позиции в программное обеспечение синтаксического анализа. После загрузки приложений инструменты анализа резюме сканируют каждый документ и извлекают всю необходимую информацию и приложения в зависимости от потребностей рекрутера. В большинстве случаев соответствующая информация включает в себя конкретные профессиональные навыки, опыт работы, контактную информацию, сведения об образовании, профессиональные сертификаты и т. Д.

Выявляя и систематизируя приложения с соответствующей информацией или исключая этих кандидатов без нее, программное обеспечение для синтаксического анализа экономит менеджерам по найму бесчисленные часы, которые в противном случае требовались бы для ручного чтения каждого отдельного приложения.

Проблемы синтаксического анализа

Задача интерпретации языка и информации чрезвычайно сложна, что, следовательно, представляет собой серьезную проблему, когда дело доходит до использования компьютера для сортировки больших объемов информации.Язык одновременно очень разнообразен и неоднозначен. Например, в первом случае существует множество способов записать дату. В последнем случае одно и то же слово означает разные вещи в разных контекстах.

Следовательно, эффективное программное обеспечение для анализа резюме должно быть достаточно умным, чтобы интерпретировать сложные нюансы языка.

Советы по «передаче» программного обеспечения синтаксического анализа в качестве кандидата

Учитывая сложную природу программного обеспечения для анализа резюме, как соискатели могут максимизировать вероятность того, что их резюме пройдут проверку? Здесь важно помнить, что, поскольку компании все больше полагаются на программное обеспечение для синтаксического анализа, соискатели больше не создают резюме, чтобы произвести впечатление на менеджеров по найму.Вместо этого соискатели должны составлять свои резюме, имея в виду программное обеспечение для анализа как свою первоначальную аудиторию. Вот несколько советов:

Сделайте ваш текст, шрифт и стиль ПРОСТОЙ!

• Не забудьте указать свое имя в имени файла вашего резюме
• Отправьте свое резюме в формате .docx для максимальной совместимости с синтаксическим анализом
• Если вы используете PDF-файл, экспортируйте его из MS word .doc. НЕ сканируйте PDF-файл как изображение
• Избегайте верхних и нижних колонтитулов
• Использовать один стандартный шрифт во всем документе
• Избегайте таблиц и столбцов
• Избегайте WordArt
• Не путайте с интервалом

Почему все это так важно? Рассмотрим следующий пример.Допустим, кандидат по имени Изабель Джеймс подает заявку в организацию, которая использует программное обеспечение для анализа для проверки кандидатов. Изабель — высокообразованный кандидат, окончившая лучший в своем классе Йельский университет. Чтобы визуально выделить свое резюме, Изабель создает собственный баннер в фотошопе для своего образовательного опыта с надписью «Бакалавр искусств, деловое администрирование, Йельский университет, suma cum laude».

Вполне возможно, что когда программное обеспечение синтаксического анализа преобразует этот баннер в текст для анализа, оно может изменить интервал в этих учетных данных.Предположим, это происходит. Опыт обучения Изабель теперь читается как «бакалавр искусств, бизнес-администрирование, университет Я ле…». Если программа для синтаксического анализа ищет кандидатов со степенью «бакалавр искусств» или по таким терминам, как «бизнес-администрирование», потому что преобразование Баннер фотошопа изменил интервал, программа синтаксического анализа могла не уловить заявку Изабель, и поэтому она не могла перейти к следующему раунду интервью.

Таким образом, следуя инструкциям по форматированию и интервалу, изложенным в начале этого раздела, вы избежите риска потери вашего резюме при переводе.

Be Basic

Создание круто звучащих названий должностей в некоторой степени в моде, особенно в области технологий. Например, в Javascript некоторые их роли называются «ниндзя». Хотя это может быть забавной визитной карточкой, это плохие новости для программного обеспечения для анализа резюме. Почему? Потому что никакое программное обеспечение для синтаксического анализа не выполняет поиск по таким ключевым словам, как «ниндзя». Следовательно, если у вас уникальное название должности, вам следует подумать об изменении его на более распространенное название, которое переводится в разных организациях и, следовательно, с большей вероятностью будет включено в поиск программного обеспечения для синтаксического анализа.

Соответственно, вам также следует сделать следующее:

• Сохраняйте свое резюме в хронологическом порядке
• Используйте основные имена для разделов резюме, например. «Образование», «Опыт работы» и т. Д.
• Используйте полные даты — день, месяц, год
• Используйте только общепринятые сокращения — CEO, MBA и т. Д. Если это не так, синтаксические анализаторы не будут искать его
• Проверка орфографии, проверка орфографии, проверка орфографии

Измерение сложности текста с использованием частоты синтаксического дерева

J Assoc Inf Sci Technol.Авторская рукопись; доступно в PMC 1 сентября 2018 г.

Опубликован в окончательной отредактированной форме как:

PMCID: PMC5644354

NIHMSID: NIHMS839750

Дэвид Каучак

^{1 904}

, Gondy College 9, Clare Leroy

² Департамент информационных систем управления, Колледж управления Эллера, Университет Аризоны, Тусон, Аризона

Алан Хог

³ Департамент лингвистики, Университет Аризоны, Тусон, Аризона

⁴ Google Inc., Mountain View, CA

¹ Департамент компьютерных наук, Колледж Помона, Клермонт, Калифорния

² Департамент информационных систем управления, Колледж менеджмента Эллера, Университет Аризоны, Тусон, AZ

³ Департамент Лингвистика, Университет Аризоны, Тусон, AZ

⁴ Google Inc., Mountain View, CA

Abstract

Для упрощения текста часто используются устаревшие недоказанные формулы для удобочитаемости. В качестве альтернативы, мотивированной успехом знакомства с терминами, мы тестируем дополнительный показатель: знакомство с грамматикой. Знакомство с грамматикой измеряется как частота дерева синтаксического анализа предложений уровня 3 ^{-го уровня} и используется для оценки отдельных предложений. Мы создали базу данных из 140K уникальных 3-х ^{-х уровневых структур синтаксического анализа} путем синтаксического анализа и сортировки всех 5.4 миллиона предложений в английской Википедии. Затем мы вычислили грамматические частоты в корпусе и создали 11 интервалов частот. Мы оцениваем этот показатель с помощью пользовательского исследования и анализа корпуса.

Для пользовательского исследования мы случайным образом выбрали 20 предложений из каждой корзины, контролируя длину предложения и частоту терминов, и набрали 30 читателей на каждое предложение (N = 6600) на Amazon Mechanical Turk. Мы измерили фактическую сложность (понимание) с помощью теста Клозе, воспринимаемую трудность с помощью 5-балльной шкалы Лайкерта и затраченное время.Предложения с более частой грамматической структурой, даже с очень разными поверхностными представлениями, были легче понимаемы, воспринимались как более легкие и требовали меньше времени для чтения. Результаты формул удобочитаемости коррелировали с воспринимаемой, но не с реальной трудностью. Наш анализ корпуса показывает, как эту метрику можно использовать для понимания грамматической регулярности в широком диапазоне корпусов.

Ключевые слова: Понимание, Медицинская грамотность, Обучение пациентов, Упрощение текста, Читаемость, Сложность текста

ВВЕДЕНИЕ

Создание читаемого и понятного текста имеет решающее значение во многих областях, таких как образование, здравоохранение и юридические материалы, поскольку текст является одним наиболее распространенных и рентабельных способов распространения информации (Farmer et al., 2008). Формулы удобочитаемости, такие как формула уровня оценки Флеша-Кинкейда (Kincaid, Fishburne Jr, Rogers, & Chissom, 1975), Simple Measure of Gobbledygook (SMOG) (McLaughlin, 1969) и индекс Ганнинга-Фокса (Kim et al., 2007). ), часто используются во многих областях для создания более понятного текста. К сожалению, существует мало свидетельств того, что они эффективны для улучшения понимания посредством их использования. Они используют слишком простую статистику текста, такую ​​как длина предложения и количество слогов, для измерения удобочитаемости, которая может коррелировать с уровнем удобочитаемости, назначенным экспертами, но не переводится в конкретные методы упрощения текста и не доказано доказывает, что позволяет надежно создавать более простые текст (Брюс, Рубин и Старр, 1981; Коннацер, 1999).В частности, в специализированных областях основные принципы не соблюдаются, например, в медицине не всегда легче понять более короткие слова: «апноэ» или «диабет». Простое использование более коротких предложений и слов с меньшим количеством слогов не делает текст более понятным и информативным.

В предыдущей работе мы разработали «знакомство с термином», новый метод измерения сложности слов, который использует Google Web Corpus для измерения сложности слов. На основе этого показателя мы разработали полуавтоматический инструмент для лексического упрощения.Инструмент определяет сложные термины, а затем предлагает более простые варианты на основе онтологий и тезаурусов. Автор выбирает из этих предложений для упрощения. Наш подход был подтвержден в исследованиях пользователей и показал, что он значительно снижает сложность текста и улучшает понимание пользователем (Leroy, Endicott, Kauchak, Mouradi, & Just, 2013).

На основании этих результатов мы выдвигаем гипотезу, что не только на уровне слов, но и в более общем плане, явления, с которыми читатели сталкиваются чаще, легче понять.В основе этого могут лежать грунтовочные эффекты. В этой статье мы исследуем, как грамматическая частота влияет на сложность предложения, и вводим новую меру сложности текста на уровне предложения, основанную на грамматической структуре предложения. В частности, мы утверждаем, что частота структуры дерева синтаксического анализа предложения будет влиять на читаемость и понятность текста; предложения, которые имеют более частую (и, следовательно, более знакомую) грамматическую структуру, будут рассматриваться как более простые , а будет легче понять.В отличие от традиционных мер удобочитаемости, наш подход может применяться естественным образом как к отдельным предложениям, так и к длинным текстам, и может дать конкретные советы по упрощению, то есть изменениям грамматической структуры. Кроме того, частота грамматики дополняет знакомство с термином; как слова, которые используются в предложении, так и грамматическая структура предложения влияют на понимание.

Наш подход не зависит от предметной области и основан только на корпусе предложений, однако сфера применения нашего долгосрочного проекта и сфера нашего исследования корпуса — это здравоохранение и медицина, поэтому мы кратко рассмотрим использование существующих показателей удобочитаемости в этой области и сравните наши результаты с этими.Медицинская сфера является особенно важной областью применения для измерения удобочитаемости и упрощения текста, поскольку, по оценкам, около 90 миллионов американцев не обладают достаточной санитарной грамотностью (Комитет по санитарной грамотности — Институт медицины национальных академий, 2004 г.), и этот дефицит стоит экономика США составляет от 106 до 238 миллиардов долларов в год (Vernon, Trujillo, Rosenbaum, & DeBuono, 2007). Один из ключевых методов устранения этого несоответствия — определение рентабельных и эффективных методов распространения информации.В настоящее время большинство методов сосредоточено на предоставлении текста, удобного для чтения пациентами и потребителями медицинской информации. Инструменты, продвигаемые и используемые для оптимизации сложности текста, представляют собой почти универсальные формулы удобочитаемости. В медицинской профессии их использование часто поощряется требованиями писать и общаться на уровне класса 5 ^{или 6 (например, для информированного согласия на клинические испытания) (Weiss, 2007).}

Формулы удобочитаемости применяются к учебным материалам для пациентов (Adkins & Singh, 2001; Brandt, McCree, Lindley, Sharpe, & Hutto, 2005), материалам об утрате близких (Rathbun, Thornton & Fox, 2008), формам информированного согласия (Brainard , 2003) и даже опросы (Maples, Franks, Stevens, & Wallace, 2010).К сожалению, хотя эти формулы удобочитаемости широко используются, не было доказано, что они положительно влияют на обучение необходимой информации. Наша работа здесь делает шаг к лучшим инструментам упрощения за счет 1) внедрения подхода на уровне предложения, основанного на данных для измерения грамматической сложности предложения и 2) конкретного измерения воздействия этой меры с использованием и того, насколько сложно выглядит предложение (предполагаемая трудность), а также насколько сложно понять предложение (реальная трудность).Немногие, если таковые имеются, проводят это различие.

ИСТОРИЯ ВОПРОСА

Чтобы обеспечить комплексный и систематический подход к измерению сложности текста, необходимо изучить множество различных типов функций, например лексический, синтаксический и дискурсивный. Каждая из этих категорий характеристик текста по-разному влияет на сложность текста и предоставляет возможности для упрощения. В этой работе мы сосредотачиваемся на синтаксической сложности, хотя мы кратко рассмотрим здесь роль слов, поскольку они играют решающую роль в большинстве систем упрощения.

Роль слов в упрощении

Слова играют решающую роль в понимании. Тексты, содержащие слова, которые читатель не знает, будет труднее понять. Многие ранние формулы удобочитаемости пытались уловить это и в значительной степени полагались на характеристики слов для измерения сложности текста (Kim et al., 2007; Kincaid et al., 1975; McLaughlin, 1969), например количество слогов (при условии, что более длинные слова труднее) или наличие слова в заранее определенном списке слов (Bailin & Grafstein, 2001).Недавние подходы к прогнозированию сложности текста, основанные на обученных моделях с использованием помеченных данных, обнаруживают, что функции на уровне слов позволяют в высокой степени предсказывать сложность текста (Collins-Thompson & Callan, 2005; Leroy, Miller, Rosemblat, & Browne, 2008; Pitler & Nenkova, 2008 г.).

Важность отдельных слов была также показана в исследованиях корпуса, в которых систематически сравнивается словарный запас текстов разного уровня сложности. Сравнение статей в Simple English Wikipedia — одном из крупнейших общедоступных корпусов упрощенного текста — со статьями в английской Wikipedia показало, что в простых текстах используются более простые слова, меньше общих слов и слов более общего характера (Coster & Kauchak, 2011; Napoles & Дредзе, 2010; Жу, Бернхард, Гуревич, 2010).Подобные результаты были обнаружены в других корпусах общих предметных областей, таких как упрощенные новостные тексты (Xu, Callison-Burch, & Napoles, 2015), а также в предметно-ориентированных анализах, например, медицинские тексты (Leroy, Endicott, Mouradi, Kauchak, & Just, 2012; Leroy & Endicott, 2011). Определенные типы слов также чаще встречаются в более простых текстах, включая функциональные слова и глаголы (Kauchak, Leroy, & Coster, 2012; Leroy & Endicott, 2011). Эффекты на уровне слов также были показаны на других языках, например.г. Португальский (Alu et al., 2008) и испанский (Bott & Saggion, 2011).

На основе этих исследований корпуса мы создали общий показатель сложности слов, знакомство терминов, который основан на частоте встречаемости слов в Интернете с использованием корпуса Google Web (Brants & Franz, 2006). Мы обнаружили, что в простых текстах используется более часто встречающиеся слова (т. Е. Более знакомые слова), в то время как в сложных текстах используются более редко встречающиеся слова (т. Е. Менее знакомые) (Leroy et al., 2012; Leroy & Endicott, 2011).Мы создали инструмент, который упрощает тексты, предлагая более простые (то есть более частые) слова для сложных (то есть менее частых) слов, обнаруженных в тексте. Исследование пользователей показало, что тексты, связанные со здоровьем, упрощенные медицинским библиотекарем с помощью этого инструмента, рассматривались как более простые, более легкие для понимания и приводящие к большему обучению (Leroy, Endicott, et al., 2013). Этот документ представляет собой естественное расширение этого процесса проверки на уровне слов, вместо этого для упрощения используется грамматика частота .

Роль синтаксиса в упрощении

Синтаксис или грамматика языка определяет, как слова и фразы взаимодействуют, образуя предложения. Исторически сложилось так, что тем, кто пишет медицинские тексты для пациентов, рекомендуется избегать проблемных синтаксических структур, например писать активным (а не пассивным) голосом и избегать длинных предложений («Краткое руководство по санитарной грамотности Health.gov»; «Как писать легко читаемые материалы о здоровье»). Исследования пользователей показали, что грамматика влияет на читаемость текста, что подтверждается тестом Клозе (Taylor, 1953), который просит участников заполнить пропущенные слова в текстах.Например, было показано, что разделение длинных предложений улучшает показатели Клозе (Kandula, Curtis, & Zeng-Treitler, 2010), а аддитивные и причинные соединительные элементы было легче заполнить, чем противоборствующие или последовательные соединители (Goldman & Murray, 1992). Было высказано предположение, что грамматические трудности особенно важны для изучающих L2, поскольку они все еще пытаются изучить соответствующие грамматические структуры для языка (Callan & Eskenazi, 2007; Clahsen & Felser, 2006). Задача заключается в определении полезной метрики для эффективного и действенного измерения грамматической сложности предложения с продемонстрированным влиянием на понимание читателем посредством пользовательских исследований, а не наблюдений экспертов.

В исследованиях корпусов наблюдались различные синтаксические различия между легкими и сложными текстами. Например, различия в частотах разных частей речи показывают, что простые тексты содержат более высокую долю глаголов, служебных слов и наречий, тогда как сложные тексты содержат более высокую долю прилагательных и существительных (Kauchak et al., 2012; Leroy et al. ., 2012; Leroy & Endicott, 2011, 2012; Leroy, Eryilmaz, & Laroya, 2006; Leroy, Helmreich, & Cowie, 2008), а также более длинные словосочетания с существительными (Napoles & Dredze, 2010).Кроме того, как предлагают медицинские руководства по написанию текстов, в простых текстах обычно используется активный голос вместо пассивного (Leroy, Helmreich, & Cowie, 2010a, 2010b). Также были замечены различия в структурах предложений высокого уровня, например субъект-глагол-объект против упорядочения объект-субъект-глагол (Devlin & Unthank, 2006). Некоторый первоначальный успех был достигнут с помощью автоматизированных систем упрощения, которые выполняют синтаксические преобразования, например отбрасывание предложных фраз и инфинитивов и изменение времен глаголов (Feblowitz & Kauchak, 2013; Laetitia Brouwers, 2014; Woodsend & Lapata, 2011; Zhu et al., 2010), хотя предстоит еще много работы.

В предыдущей работе мы провели предварительное исследование корпуса грамматической частоты, которое показало, что сложные тексты используют более широкий спектр грамматических структур высокого уровня (Kauchak et al., 2012). Однако из-за большого количества возможных структурных вариаций не было обнаружено четких указаний на то, что конкретные структуры преимущественно встречаются в простых или сложных документах. В этой работе мы предлагаем гораздо более детальный анализ.Мы предлагаем критерий сложности текста на основе грамматической частоты и показываем, как его можно использовать для определения предложений со сложной синтаксической структурой. В частности, грамматическая сложность предложения измеряется на основе частоты появления структуры дерева синтаксического анализа верхнего уровня предложения в большом корпусе.

МЕТОДЫ

Измерение грамматической частоты

Для измерения частоты различных грамматических структур мы использовали предложения из английской Википедии (https: // en.wikipedia.org/). Википедия является одним из наиболее распространенных ресурсов для получения общей информации для потребителей (Safran, 2012), а также полезен для корпуса по более специализированным темам, т. Е. Примерно 80% онлайн-пользователей читают в Интернете текст, связанный со здоровьем (Fox, 2011). ) .. Мы загрузили всех статей из английской Википедии в июне 2013 года. Затем мы предварительно обработали статьи, разбили их на предложения с помощью инструментария Stanford CoreNLP (Manning et al., 2014) (всего 5,4 миллиона предложений) и проанализировали каждый из них использует синтаксический анализатор Беркли (Петров, Барретт, Тибо и Кляйн, 2006).

показывает два примера предложения из корпуса с индуцированной структурой синтаксического анализа. 1 ^{-й уровень} дерева синтаксического анализа — это S , 2-й ^{-й уровень} [S [NP VP.]] и 3 ^{-й уровень} [S [NP [DT NN]] [ VP [VBZ NP]] [‥]] , который выделен на рисунке зеленой пунктирной рамкой. Точно так же 1 ^{-й уровень} дерева синтаксического анализа — это S , 2-й ^{-й уровень} [S [NP VP].]] и 3-й уровень [S [NP [DT JJS JJ NN] [ВП [ВБЗ НП, С] [‥]] .

Примеры деревьев синтаксического анализа, автоматически сгенерированных с помощью синтаксического анализатора Berkeley. Верхний пример (а) представляет высокочастотную структуру, а нижний пример (б) — низкочастотную структуру. Уровень 3 ^rd дерева синтаксического анализа выделен зеленой пунктирной рамкой.

Мы используем уровень 3 ^rd дерева синтаксического анализа для количественной оценки грамматической сложности предложения. Мы решили сосредоточиться на уровне 3 ^rd , поскольку он представляет собой компромисс между общностью и специфичностью.На уровне 2 ^и структуры более общие и поэтому с большей вероятностью будут соответствовать, однако степень детализации меньше, чем на уровне 3 ^-й ; уникальных 3-х уровневых структур ^{-го и} в 10 раз больше, чем 2-х уровней ^{-го и} . Например, предложения в одном и том же дереве синтаксического анализа 2 уровня ^и , но имеют разные деревья синтаксического анализа 3 уровней ^и . Однако, если мы используем более глубокую глубину, чем уровень 3 ^rd , будет слишком много уникальных структур, что снижает возможность обобщения структур в разных предложениях.45% предложений в корпусе (2.47M) имеют уникальные структуры дерева синтаксического анализа 4 ^{-го уровня} , часто потому, что уровень 4 ^-го регулярно включает лексические компоненты. Например, уровень 4 ^-й дерева синтаксического анализа будет включать слова «сердце», что делает маловероятным его обобщение на другие предложения.

Мы вычислили частоту всех возможных 3-х уровневых структур ^-го , обнаруженных в 5,4 миллионах предложений из Википедии, что привело к отображению любой 3-х уровневой структуры ^-го на его частоту.Например, структура в входит в число наиболее часто встречающихся грамматических структур. Даже при той же базовой структуре уровней 3 ^rd предложения могут быть представлены по-разному. показывает примеры для разных грамматических структур. В каждой строке показаны два предложения, которые имеют одинаковую структуру уровней 3 ^rd , но имеют разную частоту в порядке от наиболее частого к наименее частому. Поскольку мы фокусируемся на высокоуровневой структуре, длина предложений с одинаковой структурой также может сильно различаться.

Таблица 1

Примеры предложений из корпуса Википедии с их грамматической структурой 3-го уровня и частотой этой структуры.

Чтобы удалить аномальные данные и вероятные ошибки анализа, мы проигнорировали любую структуру, которая только однажды встречалась среди 5,4 миллионов предложений. После фильтрации получается 139 969 уникальных 3-х ^{-х уровневых структур.Даже после удаления уникальных грамматических структур частотное распределение предложений чрезвычайно искажено. показывает график логарифма повторяемости структур, отсортированных от наиболее частых к наименее частым. Подобно многим другим текстовым явлениям, грамматическая частота следует распределению, подобному Zipf, при этом наиболее общие структуры встречаются очень часто, а многие структуры встречаются нечасто, хотя грамматическая частота особенно высока.}

График частоты корпуса (логарифмическая шкала) для 3-х уровневых структур ^{-го уровня} , отсортированных от наиболее частых к наименее частым.

Применение грамматической меры частоты

Для любого предложения грамматическую частоту можно вычислить следующим образом:

1. анализирует предложение с помощью синтаксического анализатора Беркли,

2. извлекает дерево синтаксического анализа 3-го уровня ^{-го уровня} и

3. ищет частоту этой структуры в базе данных грамматических частот.

Не найденным структурам может быть присвоена частота 0. Мы предполагаем, что предложения с более частыми структурами легче понять, а те, которые встречаются реже, труднее понять.Этот подход к измерению грамматической сложности текста представляет собой обобщенный и основанный на данных подход, который выходит за рамки конкретных, основанных на теории сложных грамматических компонентов сложного текста (например, активный или пассивный залог, самовставленные предложения и т. Д. (Meyer & Rice, 1984)) и обеспечивает общую основу для измерения грамматической сложности. Индивидуальные структуры, такие как пассивная и активная, могут быть оценены как подмножество нашего общего подхода.

Оценка способности меры оценить сложность предложения: пользовательское исследование

Чтобы оценить грамматическую частоту и ее связь с пониманием читателем, мы провели пользовательское исследование с основной интересующей переменной — грамматической частотой предложения.Чтобы свести к минимуму мешающие факторы, которые могут повлиять на сложность предложения, мы контролируем длину предложения и знакомство с терминами.

Stimuli

Мы ранжировали 139 939 уникальных 3 ^rd структур уровней и разделили их на 11 интервалов частот. Блок 1 ^st содержал верхний 1% наиболее часто используемых грамматических структур. Следующие 10% наиболее частых попали в интервал 2 ^и , следующие 10% — в интервал 3 ^и и т. Д. Наконец, 11 интервал ^-й содержит оставшиеся предложения с 10% наименее часто встречающимися грамматическими структурами.Хотя можно протестировать разное количество интервалов, мы выбрали одиннадцать интервалов, чтобы увидеть эффект наиболее частых структур (верхний интервал), и десять дополнительных интервалов, чтобы увидеть тенденции, если они существуют.

Каждое из 5,4 миллиона предложений Википедии можно сопоставить с одним из 11 интервалов частот, и мы выбрали их подмножество для нашего исследования. Чтобы избежать очень длинных и очень коротких предложений и частично смягчить эффект длины, мы отбирали только те предложения, длина которых не превышала одного стандартного отклонения от средней длины предложения в корпусе.Предполагая, что длины следуют нормальному распределению, это выборка примерно из 2/3 ^рядов предложений, удаляя 1/6 ^-го -го и 1/6 ^-го самых длинных предложений.

Для каждого из 11 интервалов частот мы случайным образом выбрали 20 предложений. Чтобы контролировать другие характеристики текста, которые могут повлиять на сложность текста, и увидеть, как частота грамматики взаимодействует с вторичными характеристиками, мы контролировали две переменные при выборе этих предложений: длину предложения и знакомство с термином, оба из которых, как ранее было показано, влияют на сложность текста (Kim и другие., 2007; Кинкейд и др., 1975; Leroy et al., 2012; Лерой и Каучак, 2013; Маклафлин, 1969).

Для контроля длины предложения предложения в оставшемся корпусе были разделены на длинные, средние и короткие предложения, представляющие верхнюю треть, среднюю треть и нижнюю треть по длине соответственно. Затем в каждом интервале частот мы выбрали половину (десять) длинных предложений и половину коротких предложений. Чтобы контролировать степень знакомства с термином, мы рассчитали степень знакомства каждого предложения как среднюю степень знакомства с каждым словом в этом предложении.Знакомство с каждым словом измерялось как частота в Google Web Corpus, что примерно соответствовало частоте появления в Интернете. Как и в случае длины, мы разделили предложения на трети на основе средней степени знакомства, и каждая ячейка включала половину (десять) из верхней трети («высокая» осведомленность) и половину из нижней трети («низкая» осведомленность).

В результате этого процесса была получена выборка из 220 предложений в 11 диапазонах частот, каждый из которых содержит 5 длинных предложений с высокой степенью узнаваемости, 5 длинных с низкой степенью осведомленности, 5 коротких с высокой степенью осведомленности и 5 коротких с низкой степенью осведомленности.показывает примеры предложений для каждой из этих четырех категорий из трех корзин.

Таблица 2

Примеры предложений, использованных в этом исследовании.

показывает сводную статистику для 220 предложений, использованных в исследовании, усредненных по частотным интервалам. Длина предложений и знакомство с терминами были примерно одинаковыми для всех подборок. В среднем длинные предложения были в 1,8 раза длиннее (содержали на 14 слов больше), а предложения с более частыми словами содержали слова, которые в среднем встречались в 1,7 раза. Тест с парными выборками t показал эффективность двух контрольных переменных, длина которых значительно различалась между короткими и длинными предложениями (t (10) = -60.47, p <0,001), и частота слов значительно различается в группах с высоким и низким уровнем (t (10) = -38,47, p <0,001). Влияние частоты грамматики, нашей интересующей переменной, обсуждается в разделе результатов.

Таблица 3

Сводная статистика для 220 предложений, использованных в этом исследовании.

4

4

4

Однако все три показателя читабельности достоверно коррелировали с воспринимаемой трудностью (Флеш: r = -0,22, p <0,001; FK: r = 0,25, p <0,001; SMOG: r = 0,10, p <0,01): предложения, которые были оценены как более простые по показателям удобочитаемости, были восприняты людьми как более легкие. Хотя поначалу это может показаться полезным, это также может быть проблематичным при использовании для упрощения текста. Эти показатели читабельности используются, чтобы помочь писателям-медикам создавать более понятный текст. Писатели могут создавать текст, который, по их мнению, является более простым, и проверять это с помощью формул удобочитаемости, однако они могут не создавать текст, который на самом деле легче понять читателям.

В качестве примера показывает фактическую сложность и воспринимаемую сложность предложений относительно уровня оценки Флеша-Кинкейда. Как показывают результаты корреляции, воспринимаемая сложность возрастает по мере повышения уровня обучения. Однако фактическая сложность остается более или менее постоянной по мере повышения уровня обучения, т.е. хотя Флеш-Кинкейд указывает, что текст становится все сложнее, участники понимали текст одинаково хорошо. Более шумные результаты на младших и средних уровнях обучения связаны с небольшим количеством предложений, содержащихся в этом классе.

Фактическая и воспринимаемая сложность, измеренная в нашем исследовании пользователей для 220 предложений, распределенных по классу Флеша-Кинкейда.

ГРАММАТИЧЕСКАЯ СЕМЬЯ КАК ИНСТРУМЕНТ АНАЛИЗА

Частота грамматики также может использоваться в качестве инструмента анализа корпуса для понимания грамматических характеристик корпуса высокого уровня.

Корпуса

В качестве демонстрационного исследования мы собрали три разных медицинских корпуса, в которых обсуждались распространенные заболевания. Мы выбрали заболевания из основных причин смерти из последнего исследования смертности CDC (Murphy, Kochanek, Xu, & Heron, 2015): болезни сердца, рак, респираторные заболевания, инсульт, болезнь Альцгеймера, диабет, грипп, пневмония, нефрит, нефроз и самоубийство.Корпуса были собраны из разных источников, к которым пациенты могли обратиться за медицинской информацией об этих заболеваниях:

• PubMed : Мы провели поиск в базе данных PubMed, которая содержит выдержки из научных публикаций, связанных с медициной, по каждому из вышеуказанных заболеваний и загрузили все выдержки из полученных в результате сопоставленных статей.

• Cochrane : Кокрановская база данных (http://www.cochrane.org/) содержит обзоры исследований здравоохранения и политики здравоохранения и может быть полезным источником исследований для пациентов и практикующих врачей, чтобы узнать о текущих медицинских исследованиях. исследование по теме.Как и в случае с PubMed, мы провели поиск по каждому из перечисленных выше заболеваний и загрузили аннотации всех статей для соответствующих обзоров.

• Блоги : Мы определили десять различных блогов, в которых обсуждаются общие медицинские заболевания, и загрузили все сообщения с сайтов. Блоги не были написаны исследователями-медиками или медицинскими работниками.

Каждый из текстов был токенизирован и разбит на предложения с помощью инструментария Stanford CoreNLP, а затем проанализирован с помощью Berkeley Parser (такая же предварительная обработка, как и для интервалов частот).показывает количество статей и количество предложений для каждого из трех корпусов.

Таблица 6

Размер (количество текста и количество предложений) трех корпусов, проанализированных с использованием частотных интервалов грамматики.

  
 127.180.71.3 - - [10 / May / 1997: 08: 05: 32 +0000] "GET / downloads / product_1 HTTP / 1.1" 304 0 "-" "Debian APT -HTTP / 1.3 (0.8.16 ~ exp12ubuntu10.21) "
  

  
 «remote_addr»: «93.180.71.3», 
 
 «путь»: «/ downloads / product_1», 
 
 "user_agent": "Debian APT-HTTP / 1.3 (0.8.16 ~ exp12ubuntu10.21)" 
  

  
 # Добавить тип журнала для запуска встроенного правила синтаксического анализа для журналов доступа nginx 
 
 # Установить метку времени из значения, содержащегося в поле "время" 
 
 # Добавить поля имени хоста и тега ко всем записям 
 
 имя хоста "# {Разъем.gethostname} "
  

  
 Запись имени хоста $ {HOSTNAME} 
 
 Запись имени_службы Sample-App-Name 
  

  
 "service_name" => "myservicename" 
  

  POST / журнал / v1 HTTP / 1.1
Хост: log-api.newrelic.com
Тип содержимого: приложение / json
X-License-Key:  YOUR_LICENSE_KEY 
Принимать: */*
Длина содержимого: 133
{
  «отметка времени»:  TIMESTAMP_IN_UNIX_EPOCH ,
  "message": "Пользователь ' xyz ' вошел в систему",
  "тип журнала": "журналы доступа",
  "сервис": "логин-сервис",
  "hostname": " login.example.com "
}