Вот,  пригретая  лучами  мартовского  солнца,  свалилась  с  макушки  дерева,  рассыпавшись  снежной  пылью,  тяжёлая  снежная  шапка.  И,  точно  живая,  долго  ещё  колышется,  как  бы  машет  рукой,  зелёная  ветка,  освобождённая  от  зимних  оков.

       Стайка  клестов-еловиков,  весело  пересвистываясь,  красно-брусничным  ожерельем  рассыпалась  по  увешанным  шишками  вершинам  елей.   Лишь  немногие  знают,  что  эти  птички,  весёлые,  общительные,  всю  зиму  проводят  в  хвойных  лесах,  искусно  устраивая   в  густых  сучьях  тёплые  гнёзда.

   (149  слов)                                                                             (По  И. Соколову – Микитову)

Грамматические  задания

1. Фонетический  разбор  слова:

Лесной  —  1-й  вариант                                            старого  —  2-й  вариант

2. Сделать  разбор  слова  по  составу:

Городские,  перекликаясь,  освобождённая  —  1-й  вариант

Радостная,  оказавшись,  увешанным  —  2-й  вариант

3. Найти  в  тексте  односоставные предложения и  указать  их  тип.

4.  Выполнить  синтаксический  разбор  предложения:

Вот  вверху,  почти  над  головой,  послышалась  барабанная  трель,  звонкая,  радостная.   —  1-й  вариант.

Стайка  клестов-еловиков,  весело  пересвистываясь,  красно-брусничным  ожерельем  рассыпалась  по  увешанным  шишками  вершинам  елей.   —  2-й  вариант.

Модели синтаксического анализа и фМРТ – Лаборатория вычислительной нейролингвистики

21 сентября 2015 г. 26 августа 2019 г. Джонатан Р. Бреннан новости, публикации

Представлено на 6-м семинаре по когнитивному моделированию и компьютерной лингвистике: моделирование временных курсов МРТ с лингвистической структурой с разным размером зерна. (совместно с John T. Hale, David Lutz, Wen-Ming Luh)

Загрузить статью с ACL

Abstract

Нейровизуализация, когда участники слушают аудиокниги, обеспечивает богатый источник данных для теорий поэтапного синтаксического анализа. Мы сравниваем модели вложенной регрессии этих данных. Эти модели со смешанными эффектами включают в себя лингвистические предикторы с различной степенью детализации, начиная от биграмм частей речи и заканчивая неожиданностью на контекстно-свободных грамматиках банка деревьев и инкрементным подсчетом узлов в деревьях, полученных с помощью минималистских грамматик. Мелкозернистые структуры вносят независимый вклад в дополнение к более грубым предикторам. Однако этот результат достигается только с течением времени из передней височной доли (aTL). В аналогичных временных отрезках от нижней лобной извилины только n-граммы улучшаются по сравнению с несинтаксическим исходным уровнем. Эти результаты подтверждают идею о том, что aTL выполняет комбинаторную обработку во время естественного понимания рассказа, обработку, имеющую систематическую связь с лингвистической структурой.

Рисунок выше (щелкните, чтобы увеличить) иллюстрирует основную идею связывания состояний пословного анализатора (панель c) с оценками гемодинамического ответа, измеренного с помощью фМРТ (панели d-e), собранными во время естественной стимуляции.

• Диссертации с отличием о смене ролей, нейронной синхронизации в реальном времени и настроениях COVID 3 мая 2023 г.

  Поздравляем старших сотрудников лаборатории, защитивших дипломы с отличием! Шучен Вэнь провел эксперимент с ЭЭГ, проверяя синхронизацию структуры аргументов, проверяя эффекты N400, когда роли аргументов менялись местами в конструкциях Ba и Bei в китайском языке. […]

• Отмеченные наградами исследования студентов на исследовательском симпозиуме в Мичигане 3 мая 2023 г.

  Поздравляем студентов-исследователей, которые представили свои работы на весенних научных симпозиумах по программам UROP и MRADs. Кеннеди Ллойд получила желанную награду с голубой лентой 🏆 за свой плакат под названием «Количественная оценка методологического расового неравенства в нейролингвистике». Анализ […]

• Увидимся в Питтсбурге на HSP 2023 19 февраля 2023 г.

  С нетерпением ждем HSP2023 в Питтсбурге! Обязательно ознакомьтесь с последними новостями от членов лаборатории о межъязыковых грамматических репрезентациях, моделировании интерференции при поиске и магистерской диссертации Цзюнюаня (психолингвистика MPI) об отслеживании кортикальных фраз! И не забудьте проверить работу […]

• Два препринта: отделение инкрементальной композиции от предсказуемости и локализация обработки зависимостей между языками 22 января 2023 г.

  Я все еще довожу некоторые из наших усилий, предпринятых до Нового года. К ним относятся два (2) препринта статей, в которых используются наборы данных Little Prince. Сначала: Милош Станоевич (DeepMind) и я руководили проектом, в котором […]

• Д-р Тамара Хильдебрандт защищает диссертацию 14 января 2023 г.

  Поздравляем новоявленного кандидата наук. Тамара Хидлебрандт, успешно защитившая диссертацию 19 декабря! В диссертации описывается множество экспериментов, сочетающих суждения о приемлемости, эксперименты по самостоятельному чтению и ЭЭГ для исследования тонкой взаимосвязи между грамматическими […]

• Бумага и данные: наборы данных фМРТ и лингвистические аннотации из натуралистического прослушивания на английском, китайском и французском языках 12 сентября 2022 г.

  Цзисин Ли поручила большой команде подготовить эти уникальные нейролингвистические наборы данных. Говорящие на английском (49), китайском (35) или французском (28) слушали 1,5-часовую аудиокнигу «Маленький принц» во время фМРТ-сканирования. Выпущены полные наборы данных МРТ […]

• Презентация на AMLAP2022 23 августа 2022 г.

  Цзы-Юн Тунг будет на встрече Архитектур и механизмов обработки речи в 2022 году, чтобы представить некоторые из своих диссертационных исследований по извлечению памяти во время понимания языка с использованием комбинации данных ЭЭГ и вычислительных моделей. . Проверьте это! […]

Мета

• Войти
• Лента записей
• Лента комментариев
• WordPress.org

Синтаксический анализ с помощью Parsec: или, необязательно, повторная попытка и возврат

Блог Хакла 90 090 между абстракциями, которые мы хотим, и абстракциями, которые мы получаем.

«Пришествие кода» — это очень весело! Для меня в немалой степени это связано с синтаксическим анализом, особенно когда объединение нескольких функций списка не сокращает его.

Конечно, это нужно делать с помощью Parsec (или его аналога), а не регулярных выражений, блин.

Давайте начнем с простого примера, входных данных для испытания 4-го дня «Уборка лагеря».

 2-4,6-8
2-3,4-5
5-7,7-9
2-8,3-7
6-6,4-6
2-6,4-8
 

Конечно, это можно было бы сделать просто с помощью чего-то вроде bimap (splitOn '-') (splitOn '-') (splitOn ',' "2-4,6-8") , исключая любые более умные смеси, которым суждено существовать в изобилии. Или, если мы используем парсек .

 тип Диапазон = (Целое, Целое)
введите Parser a = Parsec String () a -- и псевдоним, чтобы избавить нас от необходимости печатать
int :: Парсер Int
int = читать @Int <$> many1 цифра
вокруг :: Парсер a -> Парсер b -> Парсер (a, a)
около p sep = делать
    г1 <- р
    сен
    г2 <- р
    возврат (r1, r2)
диапазон :: Диапазон парсера
диапазон = int `вокруг` (char '-')
rangePair :: Парсер (Диапазон, Диапазон)
rangePair = диапазон `вокруг` (char ',')
пары :: Парсер [(Диапазон, Диапазон)]
пары = rangePair `sepBy1` endOfLine
 

(Есть небольшая проблема с rangePair `sepBy1` endOfLine , которая не сразу очевидна, читайте дальше!)

Разумным первым ответом было бы: это много кода, даже если убрать аннотацию типа!

Однако из-за композиционной природы комбинаторов синтаксических анализаторов одно из очевидных преимуществ заключается в том, как структурирован код: range = int `around` (char '-') ничего не смущает. Нетрудно заметить, что такая ясность может иметь жизненно важное значение при работе с более сложными входными данными, такими как задача 7-го дня «Нет свободного места на устройстве» 9.0010

$ кд/
$ лс
директор а
14848514 b.txt
8504156 c.dat
дир д
$ компакт-диск
$ лс
дир е
29116 ф
2557 г
62596 х.лст
$ кд е
$ лс
584 я
$ кд ..
$ кд ..
$ cd д
$ лс
4060174 ж
8033020 д.лог
5626152 д.доб.
7214296 тыс.
 

Это действительно оправдывает использование подходящей библиотеки синтаксического анализатора, такой как Parsec , из-за ее ужасной сохранения состояния, которая была бы пригоршней для любых (особенно) умных регулярных выражений.

К счастью, это не проблема, так как Parsec включает в себя State , так что я мог бы getState , putState или ModifyState довольно удобно. Вполне себе электроинструмент.

Однако проблема, с которой я столкнулся, была не такой сложной, хотя и весьма печально известной. При разборе команд типа $ls или $cd.. мой код выглядит так,

 компакт-диск = сделать
    строка "$ls" <* endOfLine
    -- ... puState для текущих путей
лс = сделать
    строка "$ls" <* endOfLine
    (file <|> dir) `sepBy` endOfLine -- проблематично!
команда = ls <|> cd
 

При синтаксическом анализе выходных данных CLI выше этот синтаксический анализатор выдает следующую ошибку:

 Слева (строка 7, столбец 1):
неожиданный "$"
ожидается цифра, "dir", новая строка или конец ввода
 

, также известная как страшная проблема «возврата», но как?

Обратное отслеживание

Мы снова возьмем его с самого начала, используя синтаксический анализатор «счастливого пути».

 ghci> parse (string "abc" <> string "def") "(любой источник)" "abcdef"
Правильно "abcdef"
 

Для ситуаций "или/или" 9Комбинатор 0101 <|> удобен.

 ghci> parse (string "abc" <|> string "def") "(любой источник)" "def"
Право "деф"
 

Тогда становится интересно: что, если два синтаксических анализатора используют один и тот же префикс, например, "alice" и "alba" ?

 ghci> parse (string "alice" <|> string "alba") "(любой источник)" "alba"
Слева (строка 1, столбец 1):
неожиданное "б"
жду "алису"
 

А, мы получаем ошибку, которая сбивает с толку - код четко указывает "анализировать либо "alice", либо "alba", но происходит сбой, как только "alice" терпит неудачу, без попытки "alba". Это не то, как обычно работает «или». Почему?

Это связано с тем, как Parsec потребляет ввод char на char . Для строки "alice" он потребляет "al" и терпит неудачу на 'b' ; несмотря на свою семантику "или", <|> не возвращается к началу "alba" . Как и многие, я нашел это сбивающим с толку, если не разочаровывающим.

Это создает необходимость в "отслеживании назад", чтобы синтаксический анализатор мог вернуться на две буквы назад и проанализировать "alba" с самого начала. Чтобы сказать Parsec сделать это, мы используем try .

 ghci> parse (try (string "alice") <|> string "alba") "(любой источник)" "alba"
Правая "альба"
 

try (строка "alice") не будет потреблять любой ввод в случае сбоя, он начинается заново для строки "alba" путем перехода назад , следовательно, "обратного отслеживания".

Это поведение также может быть описано как «сообщить парсек to undo parsing string "alice" ". Однако я нахожу это представление императивным и не совсем точно отражает, как работает try (или комбинаторы синтаксических анализаторов в целом). Подробнее об этом в конце.

Общий разделитель

Возможно, эта проблема находится в засаде. Например, разделители.

Снова начинаем со счастливого пути: цифры через запятую. sepBy кажется идеальным комбинатором для этого сценария.

 ghci> parse (digit `sepBy` char ',') "(любой источник)" "1,2,3,9"
Справа "1239"
 

Довольно интуитивная штука. Как насчет «цифр, разделенных запятыми, за которыми следуют буквы»?

 ghci> parse (цифра `sepBy` char ',' <> буква `sepBy` char ',') "(любой источник)" "1,2,3,9,a,b,c,d"
Слева (строка 1, столбец 9):
неожиданное "а"
ожидаемая цифра
 

Мне пришлось немало почесать голову, чтобы понять, что это та же самая проблема с «обратным отслеживанием», только на этот раз преступником является sepBy . После употребления 9 , синтаксический анализ продолжает с удовольствием поглощать , , который указан в качестве разделителя. По-честному! Однако к тому времени, когда он достигает и и терпит неудачу, уже «слишком поздно»!

Иными словами, мой выбор парсеров приводит к неоднозначности : char ',' используется как разделитель для двух последовательных последовательностей, одна из цифр, а другая из букв.

Как нам сказать Парсеку отказаться от своего жадного поведения?

попытка здесь не годится, потому что нам нужны и цифра с, и буква с; один обходной путь - объединить букву и цифру , но это позволяет цифрам и буквам поступать не по порядку.

 ghci> parse ((цифра <|> буква) `sepBy` char ',') "(любой источник)" "1,2,3,9,a,b,c,d"
Справа "1239abcd"
ghci> parse ((цифра <|> буква) `sepBy` char ',') "(любой источник)" "1,a,2,b,3,c,9,d"
Правильно "1a2b3c9d" -- не по порядку, не то, что нам нужно
 

Или есть дополнительный , по документации

необязательный p пытается применить синтаксический анализатор p. Он будет анализировать p или ничего. Он терпит неудачу только в том случае, если p терпит неудачу после потребления ввода. Он отбрасывает результат п.

 ghci> parse (many (цифра <* необязательный (char ',')) <> много (буква <* необязательный (char ','))) "(любой источник)" "1,2,3,9,a ,б,в,г"
Справа "1239abcd"
 

Ура! Хотя есть еще одна загвоздка...

Дополнительно, один и только

Я ужасен в RTFM, но описание по желанию меня немного пугает.

Сбой только в том случае, если p завершается сбоем после ввода ввода.

Действительно, дополнительный может привести к проблемам с возвратом. Если разделитель содержит более одного символа, например -> , то ошибка на втором символе означает проблемы.

 ghci> parse (many (цифра <* необязательна (строка "->")) <> много (буква <* необязательна (строка "->"))) "" "1->2->3->9->a->b->c->d"Право"1239abcd"
ghci> parse (many (цифра <* необязательная (строка "->")) <> строка "-" <> много (буква <* необязательная (строка "->"))) "" "1->2-> 3->9-а->б->в->г"
Слева (строка 1, столбец 11):
неожиданное "а"
ожидание "->"
 

Видишь, что сбивает с толку? Это - между цифрами и буквами. Parsec попытается получить -> , но потерпит неудачу после - , требуется откат!

Применение трюка try устраняет проблему.

 ghci> parse (many (цифра <* необязательный (try (строка "->"))) <> строка "-" <> много (буква <* необязательный (строка "->"))) "" "1- >2->3->9-а->б->в->г"
Справа "1239-abcd"
 

Многословие — это цена, которую мы платим за точность и ясность. Конечно, любой код, который подходит больше, чем REPL, должен быть отформатирован для удобства чтения.

Не "старайся" слишком сильно

Это было бы очевидно, но стоит отметить, что слишком широкое использование «try» приведет не только к зашумленному коду и запутанным ошибкам, но и к проблемам с производительностью. Считай,

 ghci> parse (try (string "Hello World!") <|> string "Hello Space!") "(любой источник)" "Hello Space!"
Прямо "Привет Космос!"
 

Красиво, когда работает, а когда нет? Полнейшее замешательство.

 ghci> parse (try (string "Hello World!") <|> string "Hello Space!") "(любой источник)" "Hello Spase!" -- спа (ы) e
Слева (строка 1, столбец 1):
неожиданное "с"
ожидая «Привет, космос!»
 

Сообщение об ошибке включает всю строку в , ожидая "Hello Space!" , может потребоваться некоторое время, чтобы найти, где именно произошел сбой синтаксического анализатора (буква "s" ). Люди могут обвинять Parsec в неточном сообщении об ошибке, но на самом деле я виноват в том, что делаю неоднозначные парсеры!

Неоднозначность возникает, когда "Hello World!" <|> «Привет, Космос!» имеют общий префикс "Привет" , но если мы перетасуем слова, это не обязательно будет так: "Привет" <> (Мир!" <|> "Космос!") .

Используя знание в свою пользу, попытка даже не нужна!

 ghci> parse (string "Hello" <> (string "World!" <|> string "Space!")) "(любой источник)" "Hello Space!"
Прямо "Привет Космос!"
ghci> parse (string "Hello" <> (string "World!" <|> string "Space!")) "(любой источник)" "Hello Spase!"
Слева (строка 1, столбец 7):
неожиданное "с"
ожидая "Космос!"
 

Конечно, сообщение об ошибке по-прежнему не точное до буквы, но, по крайней мере, оно более локализовано до "spase".