Итак, каковы все остальные элементы в нашем дереве синтаксического анализа? У нас явно больше, чем просто , если и + знаков в нашем коде! Ну, нам также обычно приходится иметь дело с наборами нетерминалов , которые являются выражениями, терминами и факторами, которые потенциально могут быть разбиты дальше. Это фразы/идеи, которые содержат в себе другие выражения, такие как выражение (8 + 1) / 3 .

Как терминалы, так и нетерминалы имеют определенное отношение к месту их появления в дереве синтаксического анализа. Как следует из их названия, символ терминала всегда будет заканчиваться листьями дерева синтаксического анализа; это означает, что не только операторы, круглые скобки и зарезервированные условные операторы являются «терминалами», но и все значения факторов, которые представляют строку, число или понятие, которое находится в каждом конечном узле. Все, что разбито на мельчайшие части, фактически всегда будет «терминалом».

С другой стороны, внутренние узлы дерева синтаксического анализа — неконечные узлы, которые являются родительскими узлами — это нетерминальных символов, и именно они представляют применение правил грамматики языка программирования.

Дерево синтаксического анализа становится намного легче понять, визуализировать и идентифицировать, как только мы поймем, что это не что иное, как представление нашей программы и всех символов, понятий и выражений в ней.

Но какова ценность дерева синтаксического анализа? Мы не думаем об этом как программисты, но ведь это должно существовать по какой-то причине, верно?

Ну, как оказалось, дерево синтаксического анализа больше всего заботит синтаксический анализатор , который является частью компилятора, который обрабатывает процесс синтаксического анализа всех кода, который мы пишем.

Процесс синтаксического анализа на самом деле просто берет некоторые входные данные и строит из них дерево синтаксического анализа. Этими входными данными могут быть самые разные вещи, такие как строка, предложение, выражение или даже целая программа.

Независимо от того, какие входные данные мы передаем, наш синтаксический анализатор будет разбирать эти входные данные на грамматические фразы и строить из них дерево разбора. На самом деле синтаксический анализатор играет две основные роли в контексте нашего компьютера и процесса компиляции:

1. При задании допустимой последовательности токенов он должен быть в состоянии сгенерировать соответствующее дерево разбора, следуя синтаксису языка.
2. При задании недопустимой последовательности токенов он должен обнаруживать синтаксическую ошибку и сообщать программисту, написавшему код, о проблеме в его коде.

И это действительно так! Это может показаться очень простым, но если мы начнем рассматривать, насколько массивными и сложными могут быть некоторые программы, мы быстро начнем понимать, насколько четко должны быть вещи, чтобы синтаксический анализатор действительно выполнял эти две, казалось бы, простые роли.

Например, даже простому синтаксическому анализатору нужно много сделать, чтобы обработать синтаксис такого выражения, как 1 + 2 + 3 x 4 .

• Во-первых, из этого выражения нужно построить дерево разбора. Входная строка, которую получает синтаксический анализатор, может не отображать никакой связи между операциями, но синтаксическому анализатору необходимо создать дерево синтаксического анализа, которое это делает.
• Однако для этого необходимо знать синтаксис языка и правила грамматики, которым необходимо следовать.
• После того, как он действительно сможет создать одно дерево синтаксического анализа (без двусмысленности), он должен иметь возможность извлекать токены и нетерминальные символы и располагать их так, чтобы иерархия дерева синтаксического анализа была правильной.
• Наконец, синтаксический анализатор должен гарантировать, что при оценке этого дерева оно будет оцениваться слева направо с операторами одинакового приоритета.
• Но подождите! Он также должен убедиться, что при обходе этого дерева с использованием метода неупорядоченного обхода снизу никогда не возникает ни одной синтаксической ошибки!
• Конечно, если ломает , синтаксический анализатор должен посмотреть на ввод, выяснить, где он сломается, а затем сообщить об этом программисту.

Если вам кажется, что это очень много работы, то это потому, что так оно и есть. Но не беспокойтесь слишком сильно о том, чтобы сделать все это, потому что это работа синтаксического анализатора, и большая часть ее абстрагируется. К счастью, анализатору помогают другие части компилятора. Подробнее об этом на следующей неделе!

К счастью для нас, разработка компилятора — это то, чему хорошо учат почти в каждой учебной программе по информатике, и существует достаточное количество надежных ресурсов, которые помогут нам понять различные части компилятора, включая синтаксический анализатор и синтаксический анализ. дерево. Однако, как и в случае с большинством контента CS, многие из них могут быть трудными для восприятия, особенно если вы не знакомы с концепциями или используемым жаргоном. Ниже приведены еще несколько ресурсов, удобных для начинающих, которые по-прежнему хорошо объясняют деревья синтаксического анализа, если вы захотите узнать еще больше.

1. Дерево синтаксического анализа, интерактивный Python
2. Грамматика, синтаксический анализ, обход дерева, профессора Дэвид Грайс и Дуг Джеймс
3. Давайте создадим простой интерпретатор, часть 7, Руслан Спивак
4. Руководство по синтаксическому анализу: алгоритмы и терминология, Габриэле Томассетти2 9032 Томассетти2
5. Лекция 2: Абстрактный и конкретный синтаксис, Аарне Ранта
6. Компиляторы и интерпретаторы, профессор Чжун Шао
7. Основы компиляции — Парсер, Джеймс Алан Фаррелл

Модель синтаксического анализа и рациональная теория памяти

1. Введение

В рациональной теории познания утверждается, что когнитивные функции во многом формируются нашей адаптацией к окружающей среде. С этой точки зрения предполагается, что различные аспекты нашего поведения можно объяснить как результат оптимизации структуры окружающей среды. Рациональная теория познания оказалась плодотворной в объяснении закономерностей в категоризации, обучении, общении и рассуждении, среди прочего (Anderson, 1990, 1991; Oaksford and Chater, 19).94, 2007; Тененбаум и др., 2011; Франке и Ягер, 2016 г.; Пиантадоси и др., 2016).

Одним из особенно успешных случаев рациональной теории было ее применение к изучению человеческой памяти, как обобщается в Anderson (1991). Предполагая, что человеческая память должна стремиться предоставить информацию, необходимую в конкретной ситуации, и что извлечение элементов из памяти требует больших затрат и времени, можно было бы ожидать, что извлечение элемента связано с вероятностью того, что он необходим. То есть элементы, которые, скорее всего, будут необходимы в конкретной ситуации, будут иметь приоритет при поиске. Поскольку поиск упорядочен по вероятности потребности, ожидается, что для вызова менее необходимых элементов потребуется больше времени. Кроме того, если поиск прекращается, когда стоимость поиска превышает некоторый порог, мы ожидаем, что чем меньше потребность в предмете, тем больше вероятность того, что его отзыв не удастся. Эти предсказания в значительной степени подтвердились, см. Anderson (1991).

Рациональная теория памяти сыграла важную роль в развитии когнитивной архитектуры Adaptive Control of Thought-Rational, ACT-R (Anderson and Lebiere, 1998; Anderson et al., 2004), которая, в свою очередь, сыграла важную роль. в психолингвистических моделях анализа (Lewis and Vasishth, 2005; Lewis et al., 2006; Reitter et al., 2011; Engelmann et al., 2013; Vogelzang et al., 2017; Brasoveanu and Dotlačil, 2020). Льюис и Васишт (2005) и последующие работы показали, в частности, что рациональная теория памяти, реализованная в ACT-R, проницательна при анализе паттерна припоминания при формировании зависимостей при разборе, например, зависимости подлежащее-глагол, как в (1 -а) и антецедентно-рефлексивной зависимости, как в (1-б) (см. также Lewis et al., 2006; Van Dyke, 2007; Wagers et al., 2009).; Диллон и др., 2013 г.; Куш и др., 2015; Лаго и др., 2015; Ягер и др., 2017; Ягер и др., 2020 г.; Нисенбойм и др., 2018; Виллата и др. , 2018 г.; Энгельманн и др., 2019; Васишт и др., 2019; Smith and Vasishth, 2020 и др.).

Это подводит нас к теме исследования данной статьи, а именно к изучению того, могут ли другие аспекты, в которых синтаксический анализ должен полагаться на память, также рассматриваться как соответствующие исследовательской программе рациональной теории познания. В частности, во время понимания и производства носители языка должны постоянно полагаться на свои прошлые знания правил синтаксического анализа. Например, в (1) читатели не смогут правильно понять предложения, если не вспомнят, что в английском языке подлежащее обычно предшествует глаголу, за глаголом следует дополнение, в английском языке есть предлоги (а не послелоги) и т. д. С точки зрения рациональной теории памяти ожидается, что поиск правил синтаксического анализа, таких как эти, должен следовать общим соображениям, изложенным выше, т. е. правила синтаксического анализа должны извлекаться в порядке вероятности их необходимости, и порядок должен монотонно коррелировать с задержками и точность. Мы покажем, что синтаксический анализ действительно можно построить на основе рациональной теории памяти. Полученная модель может, кроме того, правильно предсказывать качественные данные в психолингвистике (феномен садовой дорожки), а ее предсказания соответствуют поведенческим показателям в психолингвистическом корпусе (Natural Stories Corpus, Futrell et al., 2018).

Структура статьи следующая: в следующем разделе мы кратко представляем рациональную теорию памяти как часть когнитивной архитектуры ACT-R. Далее мы представляем синтаксические анализаторы на основе переходов, разработанные в компьютерной лингвистике, и показываем, как можно комбинировать синтаксический анализ на основе переходов и когнитивные архитектуры. Затем когнитивно информированный синтаксический анализатор оценивается на примерах садовых дорожек и данных из Natural Stories Corpus. Наконец, наше исследование кратко сравнивается с родственными работами по вычислительной психолингвистике.

2. Моделирование извлечения памяти в рациональной теории

Адаптивное управление мыслью-Рациональное предполагает, в соответствии со своим названием, что различные когнитивные функции следует моделировать как случай рациональной теории познания. Здесь мы сосредоточимся на том, как память и извлечение памяти формализованы в ACT-R.

ACT-R предполагает два типа памяти: процедурную память и декларативную память. Мы сосредоточимся здесь на последней, декларативной памяти, которая используется для хранения фактических знаний. ¹

Целью системы декларативной памяти должно быть воспроизведение части информации i , необходимой для достижения текущей цели. Как это принято в ACT-R, мы формализуем фрагменты информации в виде фрагментов. Это матрицы значений атрибутов или, в терминологии ACT-R, матрицы значений слотов. Пример фрагмента, представляющего упрощенную часть информации, полученной в зависимости в (1-a), показан в (2). В этом обозначении имена слотов отображаются слева, а их значения — справа. Кусок представляет собой знание того, что подлежащее во множественном числе в форме студента было встречено и сохранено в памяти.

Предполагая, что извлечение фрагмента является дорогостоящим и требует времени, извлечение из памяти должно быть ограничено. Оптимальная система поиска будет отдавать приоритет тем частям, которые, скорее всего, необходимы для текущей цели. В общем, следует считать, что отзыв части информации, чанк i , скорректированный на значение текущей цели G , не должен превышать стоимость извлечения C .

Задача рациональной теории памяти состоит в том, чтобы найти разумную оценку P ( i ). В ACT-R предполагается, что P ( i ), вероятность того, что i необходимы, обусловлена ​​двумя источниками информации: (i) историей H _i , что то есть прошлое использование i и (ii) текущий контекст Q . Таким образом, нам нужно оценить P ( и | H _i , Q ), что легко сделать с помощью правила Байеса. Однако вместо прямого выражения условной вероятности в ACT-R стандартно используется оценка логарифмических шансов. Оценка выражается в (4) ( i ^c является дополнением к i , т. е. ; Q , текущий контекст, состоит из индексов j , которые мы называем репликами).

Вывод в (4) делает общее предположение, что хотя вероятность того, что i необходимы, зависит от H _i и Q , вероятности сигналов 94 j текущий контекст Q взаимно независимы и не зависят от истории H _i , обусловленных i (см. Anderson, 1991). Лог-шансы в (4) имеют особый статус в ACT-R. Они называются активацией i , записывается как A _i . Активация состоит из двух частей: компонента истории [первое дополнение в (4)] и компонента контекста [второе дополнение в (4)]. В ACT-R компонент истории называется активацией базового уровня, сокращенно B _i , а компонент контекста называется активацией распространения, сокращенно S _i . Мы можем переписать формулу следующим образом ² :

Давайте посмотрим, как ACT-R оценивает компоненты истории и контекста. Прежде чем сделать это, мы хотим подчеркнуть две вещи. Во-первых, теория, которую мы собираемся обсудить, в целом и широко принята исследовательским сообществом ACT-R. Во-вторых, важно понимать, что оценки как компонента истории, так и компонента контекста — это не просто произвольные уравнения, которые соответствуют данным памяти. Они должны отражать оценки, которые ум делает из структуры окружающей среды, чтобы прийти к наилучшей оценке P ( i ), используемое в (3), как и следовало бы ожидать от рациональной теории познания. Однако мы не будем приводить доказательства того, что следующие оценки являются обобщением структуры окружающей среды, так как это было сделано в другом месте (см. Anderson, 1991).

Активация базового уровня B _i фрагмента дана в (6) и отражает тот факт, что вероятность того, что фрагмент будет использован в следующий раз, уменьшается как степенная функция времени, прошедшего с момента последней операции. использования, но на него также влияет количество раз, когда фрагмент был использован. Активация базового уровня выражается как логарифм суммы tk-d, где t _k — время, прошедшее между моментом предъявления k и временем извлечения. d — отрицательная экспонента (затухание), свободный параметр ACT-R, для которого часто устанавливается значение по умолчанию 0,5. «Презентация» в ACT-R означает две вещи. Либо это относится к моменту, когда блок был создан в первый раз (т. е. кто-то узнал конкретный факт), либо к моменту, когда блок был успешно вызван из декларативной памяти для использования в каком-либо контексте, после чего он сохраняется в снова декларативная память.

Второй элемент в расчете активации приведен в (7). Чтобы расчеты были управляемыми, вводятся некоторые упрощающие допущения (см. Anderson, 1991; Anderson and Lebiere, 1998). Во-первых, предполагается, что реплики и в текущем контексте независимы друг от друга (и от истории H _i ), обусловлены i . Во-вторых, знаменатель, который должен быть P ( j | i ^c ), упрощается до P ( j ), поскольку обусловливает j нерелевантной частью информации i ^{c и не может существенно влиять на вероятности. Полученный логарифм отношений вероятностей logP(j|i)P(j) называется ассоциативной силой и обычно обозначается аббревиатурой S _ji . Уравнение также включает вес W , который является свободным параметром, взвешивающим компонент контекста активации.}

Наконец, уравнение в (8) показывает, как ACT-R оценивает ассоциативную силу S _ji . Это уравнение используется только в том случае, если сигнал j предсказывает фрагмент i . Если это не так, S _ji устанавливается равным 0. Несколько упрощая, ACT-R предполагает, что сигнал предсказывает фрагмент, если сигнал появляется как значение в фрагменте.

S — это логарифм размера декларативной памяти, но обычно он выбирается вручную как достаточно большое значение, чтобы S _ji всегда было положительным (см. Bothell, 2017). ). fan _j — это количество чанков в памяти, значением которых является cue j . Обсуждение того, почему (8) аппроксимирует logP(j|i)P(j), см. в Brasoveanu and Dotlačil (2020). Также полезно заметить, что формула S _ji также выражает следующую интуицию: ассоциативная сила (и, следовательно, активация) будет большой, когда j появляется только в нескольких фрагментах, так как в этом случае j является высокопредсказательным для каждого из этих кусочки; ассоциативная сила будет уменьшаться, если в декларативной памяти будет больше фрагментов, содержащих 90 393 j 90 394 в качестве своего значения (эмпирические данные см. Anderson, 1974; Anderson and Lebiere, 1998; Anderson and Reder, 1999).

Наконец, формула в (9) показывает, как A _i связано со временем извлечения блока из декларативной памяти, T _i . Отношение между A _i и T _i модулируется двумя свободными параметрами, F , коэффициентом задержки, и f , показателем задержки.

Когда оба параметра установлены на 1 (их значение по умолчанию), время выборки чанка i — это просто экспонента его отрицательной активации, которая представляет собой обратную вероятность того, что фрагмент i необходим в текущем контексте [см. (4)]:

Из (10) следует, что чем больше a чанк необходим для достижения текущей цели, тем быстрее он будет извлечен.

Проиллюстрируем, как складываются все уравнения, на примере из введения, зависимости подлежащее-глагол.

Предположим, что мы понимаем или произносим глагол в (11-a) и хотим извлечь фрагмент студентов , чтобы решить зависимость субъект-глагол. Для целей этой иллюстрации мы предполагаем, что фрагмент представлен в памяти, как показано в (11-b), повторяющемся из (2). Зависимость должна быть разрешена для целей интерпретации, поскольку слушатели должны знать, кто агент знает . Это также необходимо для производственных целей, поскольку говорящим нужно знать, какую флективную форму должен иметь глагол.

Активация предмета студента , его логарифмическая вероятность того, что блок необходим, состоит из активации базового уровня и активации распространения. Предположим, что с момента сохранения фрагмента в памяти прошло 1 с, и фрагмент не использовался повторно. Тогда активация базового уровня, рассчитанная с использованием уравнения (6), равна:

Активация распространения, рассчитанная с использованием уравнений (7) и (8), приведена в (13). Обратите внимание, что сигналы [подлежащее], [множественное число] являются сигналами в текущем контексте, т. Е. Мы предполагаем для этого примера, что эти два сигнала присутствуют в когнитивном контексте при разрешении зависимости субъект-глагол.

Предположим, что свободный параметр S установлен равным 1, а также вес W . Поскольку обе реплики появляются в блоке студентов , мы должны вычислить оба слагаемых как:

Единственная часть, которую необходимо решить, — это значение веера для двух реплик. Предположим, что в памяти нет другого подлежащего и еще одного элемента множественного числа. Затем вычисления выполняются следующим образом:

Наконец, мы можем рассчитать время поиска следующим образом:

Основываясь на обсуждении этого примера, можно отметить, что модель декларативной памяти ACT-R делает несколько прогнозов относительно времени извлечения. Некоторые из них приведены в пунктах ниже:

• Чем больше времени прошло с момента последнего использования блока, тем ниже активация блока на базовом уровне. Следовательно, фрагменты, которые использовались давно, будут извлекаться медленнее, чем недавно использовавшиеся фрагменты.

• Чем реже использовался чанк, тем ниже базовый уровень активации чанка. Следовательно, фрагменты, которые редко используются, будут извлекаться медленнее, чем часто используемые фрагменты.

• Чем больше фрагмент соответствует сигналам текущего контекста, тем выше усиление от активации распространения. Следовательно, фрагменты с более высокими совпадениями с репликами должны извлекаться быстрее.

• Увеличение веера сигнала увеличивает время извлечения элемента. Например, представьте, что в декларативной памяти хранится больше фрагментов со значением во множественном числе . Тогда ассоциативная сила любого фрагмента с во множественном числе будет ниже, и, следовательно, для извлечения таких фрагментов потребуется больше времени.

В той мере, в какой эти качественные предсказания подтверждаются, у нас есть подтверждающие доказательства рациональной теории памяти, реализованной в ACT-R. В той мере, в какой количественные прогнозы модели могут быть хорошо приспособлены к поисковым данным, у нас также есть доказательства того, что оценки истории и контекстного компонента (4) в ACT-R находятся на правильном пути.

Были собраны различные доказательства, показывающие, что качественные, а также количественные прогнозы модели поиска в ACT-R оправданы. Андерсон (1991) и Андерсон и Лебьер (1998) представляют подтверждающие данные из общих когнитивных задач (независимо от языка). В психолингвистике Льюис и соавт. (2006), Jäger et al. (2017 г.); Ягер и др. (2020), среди прочего, обобщают доказательства того, что по крайней мере некоторые случаи поиска зависимостей можно смоделировать как случай поиска ACT-R.

Целью этой статьи является применение модели поиска и памяти ACT-R к новой области. Мы исследуем, как рациональная теория памяти может моделировать синтаксический анализ знаний и как модель синтаксического анализа может быть встроена в ACT-R. Мы покажем, что если рассматривать шаги синтаксического анализа как фрагменты декларативной памяти, извлечение которых управляется теми же правилами, что и другие элементы памяти, модель памяти ACT-R становится непосредственно применимой к синтаксическому анализу. Активация, связанная с извлеченными этапами синтаксического анализа, может затем использоваться для моделирования влияния контекста на процессинг, например, исследования, которые в основном являются областью психолингвистических теорий синтаксического анализа, таких как теория неожиданностей (Hale, 2001). В той мере, в какой результирующая модель синтаксического анализа делает правильные количественные и качественные прогнозы, мы строим доказательства того, что к трудностям обработки, наблюдаемым во время синтаксического анализа, можно подойти с точки зрения рациональной теории памяти. Гипотеза, изучаемая в этой статье, дополнительно исследуется в Dotlačil (принято) ³ , в котором также изучается, как отдельные компоненты системы поиска ACT-R влияют на поиск шагов синтаксического анализа и как поиск знаний синтаксического анализа взаимодействует с поиском зависимостей в обработке.

В разделе 3 мы вводим синтаксический анализ на основе переходов и показываем, как такие синтаксические анализаторы могут быть созданы на примере декларативной памяти в ACT-R. В разделе 4 мы показываем, как модель может быть связана с данными о времени реакции, и оцениваем ее качественные и количественные прогнозы.

3. Синтаксический анализ на основе переходов

Мы вводим синтаксические анализаторы на основе переходов и показываем, что они могут быть в значительной степени встроены в ACT-R и объединены со структурами памяти, обсуждаемыми в разделе 2. Такая комбинация напрямую обеспечивает поведенческие анализы. предсказания, которые будут проверены в следующих разделах.

Синтаксические анализаторы на основе переходов — это системы синтаксического анализа, которые предсказывают переходы из одного состояния в другое в соответствии с решениями, принятыми классификатором. Поскольку классификатор играет решающую роль в парсерах этого типа, эти парсеры также называются парсерами на основе классификаторов.

Синтаксические анализаторы на основе переходов чаще всего реализуются для грамматик зависимостей и, возможно, они наиболее успешны и широко распространены при построении графов зависимостей (Nivre et al., 2007). Однако они также применялись для синтаксического анализа фраз (Kalt, 2004; Sagae, Lavie, 2005; Liu, Zhang, 2017; Китаев, Клейн, 2018, и др.). В этой статье также разрабатывается синтаксический анализатор, основанный на переходе структуры фразы. Мы представляем вариант алгоритма синтаксического анализа на основе перехода, основанный на сдвиге, который, возможно, является наиболее распространенным типом синтаксического анализатора на основе перехода для структур фраз, и показываем, как его можно понять с точки зрения систем памяти, обсуждавшихся в предыдущем разделе.

3.1. Алгоритм синтаксического анализа фразовой структуры на основе переходов

Алгоритм синтаксического анализа работает с двумя базами данных, стеком построенных деревьев S и стеком предстоящих слов с их POS (тегами части речи) W. Когда начинается синтаксический анализ, S пусто, а W переносит следующие слова по мере их появления в предложении, так что первое слово появляется в начале стека, за ним следует второе слово и т. д.

Разбор продолжается путем выбора действий на основе содержимого S и W Каждый шаг разбора P является функцией от S,W до действий A, то есть P:S×W↝A. В рассматриваемом нами варианте парсера есть три действия, которые может выбрать парсер:

• сдвиг

• уменьшение

• постулат пробел

Первое действие, сдвиг , извлекает верхний элемент из стека W и помещает его как тривиальное дерево в стек S. Элементом в W является пара 〈 слово, POS〉, дерево, перемещенное в стек, представляет собой просто тег POS с терминалом, являющимся фактическим словом.

Второе действие, reduce

Наконец, третье действие, постулирует пробел , постулирует пробел и разрешает его в его антецедент. Не каждый синтаксический анализатор в компьютерной лингвистике предполагает это действие, т. е. реализованные синтаксические анализаторы могут работать только путем сдвига и сокращения (но см. Crabbé, 2015; Coavoux and Crabbé, 2017a,b в качестве примеров синтаксических анализаторов на основе переходов, которые учитывают разрешение пробелов).

Есть несколько ограничений на три действия. Во-первых, сдвиг не может быть применен, когда W пусто. Когда S пуст, никакое сокращение не может быть применено, а когда оно имеет только одно дерево, двоичное сокращение не может быть применено. Наконец, между двумя сменами может быть применено не более двух действий по пропуску постулатов. Это последнее ограничение гарантирует, что система не впадет в бесконечный регресс постулирования разрыва.

Проиллюстрируем шаги парсера shift-reduce на простом примере: парсинг мальчик танцует . Структура фразы показана на рис. 1, а шаги синтаксического анализа:

Рисунок 1 . Фраза мальчик танцует .

В этом иллюстративном примере мы предполагаем, что синтаксический анализатор знает, какова правильная структура фразы, и проводит синтаксический анализ в направлении этой структуры. Конечно, ключевой вопрос заключается в том, что происходит, когда структура фразы неизвестна и синтаксический анализатор должен предсказать, какое действие следует предпринять. Это обсуждается в следующем разделе.

3.2. Шаги синтаксического анализа как извлечения памяти

На этапе синтаксического анализа необходимо решить, какое действие (среди сдвиг, уменьшение и пробел постулата ) должно быть выполнено, и, если выбрано сокращение , как должно быть выполнено сокращение: следует оно должно быть унарным или бинарным, и какой должна быть корневая метка вновь построенного дерева?

Мы исследуем гипотезу о том, что этап синтаксического анализа можно рассматривать как случай извлечения из памяти. Прошлые шаги синтаксического анализа формируют декларативную память синтаксического анализатора. Синтаксический анализатор извлекает из памяти шаг (или шаги) синтаксического анализа, который имеет наибольшую вероятность того, что он потребуется для текущей цели. Текущая цель, в свою очередь, состоит в разборе предложения. С этой точки зрения синтаксический анализ — это всего лишь конкретная реализация рациональной теории памяти, которая может быть встроена в ACT-R. Активация шага синтаксического анализа, т. е. логарифмическая вероятность того, что шаг необходим, вычисляется из компонента истории и компонента контекста. Первый выводится из времени, прошедшего с момента использования и повторного использования шага, последний рассчитывается на основе сигналов в текущем контексте и распространения активации от этих сигналов на фрагменты в декларативной памяти.

Хотя контекст можно рассматривать как полные деревья в S и всю информацию в W, мы значительно ограничим объем информации в двух базах данных. Будем предполагать, что S и W несут только некоторые признаки деревьев и предстоящих слов, перечисленных в (17). Таким образом, сам синтаксический анализатор никогда не имеет полного снимка структуры фразы, которую он выводит. Он несет только минимальную локальную информацию. Структуру фразы всегда можно реконструировать с помощью шагов синтаксического анализа, предпринятых агентом ACT-R (и, возможно, людьми), но не существует единого снимка, в котором вся информация доступна агенту. Эта позиция распространена при анализе ACT-R, см., например, Lewis and Vasishth (2005).

Признаки должны быть знакомы, возможно, за исключением лексического заголовка. Голова — это терминал, который проецирует свою фразу (глагол — это голова глагольной фразы, существительное — голова именной фразы и т. д.; см. Collins, 1997 о проекции головы в вычислительных синтаксических анализаторах, которым следует эта работа).

Все функции в (17) распространяют активацию на фрагменты, хранящиеся в декларативной памяти, которые, в свою очередь, представляют все шаги синтаксического анализа, выполненные в прошлом. Вызов правильного шага синтаксического анализа — это случай извлечения из памяти, который следует правилам, описанным в разделе 2. Следовательно, предполагается, что для разных шагов синтаксического анализа может потребоваться разное количество времени в зависимости от времени, необходимого для их извлечения. Шаги синтаксического анализа с более высокими активациями будут вызваны быстрее, чем шаги синтаксического анализа с более низкими активациями. Активации, в свою очередь, основаны на активации базового уровня и активации распространения, т. е. оценках ACT-R истории и компонента контекста при расчете необходимых шансов журнала для фрагмента.

4. Моделирование данных чтения

Мы представляем реализацию модели синтаксического анализа предложений, основанную на рациональном подходе к памяти, и обсуждаем два тематических исследования, проверяющих реализацию. ⁴ Раздел 4.1 знакомит с моделью. В разделе 4.2 исследуется, может ли синтаксический анализатор предсказать трудности обработки для выбранных явлений садовой дорожки. В разделе 4.3 исследуется, можно ли использовать синтаксический анализатор для моделирования данных о времени самостоятельного чтения из Natural Stories Corpus (Futrell et al., 2018).

4.1. Модель синтаксического анализа

Мы предполагаем, что декларативная память состоит из фрагментов, которые представляют правильные прошлые шаги синтаксического анализа. Эти фрагменты собираются из данных Penn Treebank (PTB) (Marcus et al., 1993). Стандартно мы разбиваем секцию данных PTB следующим образом: все секции до секции 21 включительно используются для обучения синтаксического анализатора, т. е. для сбора правильных шагов синтаксического анализа; раздел 22 используется для разработки; раздел 23 используется для проверки точности синтаксического анализатора. Перед обучением мы предварительно обрабатываем и готовим структуру фразы путем (i) преобразования фраз в бинарные структуры способом, описанным в Roark (2001) (о причинах этого см. Roark, 2001; Sagae and Lavie, 2005), (ii) аннотирование фраз с информацией о заголовке, (iii) удаление нерелевантной информации (индексы корреферентности фраз), (iv) лемматизация токенов, чтобы лексические заглавия сохранялись как леммы, а не как изменяемые токены.

Синтаксический анализ новых предложений состоит из вызова из декларативной памяти необходимых фрагментов, т. е. шагов анализа, собранных из PTB. Отзыв управляется активацией фрагментов. Для расчета активации каждого чанка применяются формулы из раздела 2. Мы предполагаем, что синтаксический анализатор вызовет три фрагмента с наибольшим количеством активаций и выберет действие, которое является наиболее распространенным среди этих трех фрагментов. ⁵ Синтаксический анализатор повторяет эту процедуру, пока не встретит смена . В этот момент синтаксический анализатор завершил интеграцию слова n и может переключить свое внимание на слово n + 1. Активации, собранные во время синтаксического анализа, усредняются. Их можно использовать для прямого прогнозирования трудностей обработки, как в разделе 4.2, или для расчета времени реакции, как в разделе 4.3.

Активация чанка представляет собой сумму активации базового уровня и активации распространения. Для активации на базовом уровне нам необходимо оценить, как часто шаг синтаксического анализа использовался в прошлом и сколько времени прошло. Оценка исходит из частоты шагов синтаксического анализа, собранных из PTB. Частоты могут быть преобразованы в активацию базового уровня в соответствии с процедурой, описанной Reitter et al. (2011), см. также Дотлачил (2018) и Брасовяну и Дотлачил (2020). Процедура кратко изложена в Приложении А.

Активация распространения вычисляется на основе соответствия между значениями в фрагментах и ​​признаками в текущем когнитивном контексте в момент, когда вспоминается шаг синтаксического анализа. Особенности суммированы в (17).

4.2. Случай 1: Предложения садовой дорожки

Мы начинаем исследование предсказаний синтаксического анализатора с рассмотрения избранных явлений садовой дорожки, взятых из предыдущей литературы (Bever, 1970; Frazier, 1978; Marcus, 1978; Gibson, 1991; Pritchett, 1992).

Мы моделируем предсказания для пар в (18)–(21). В каждой паре предложение (а) является классическим примером садовой дорожки. Предложение (б) имеет ту же или почти идентичную интерпретацию, что и садовая дорожка. Однако, поскольку устранение неоднозначности происходит в начале предложения (b), эффекта садовой дорожки не наблюдается.

Мы хотим посмотреть, как синтаксический анализатор анализирует (18)–(21) и какие значения активации предсказываются для слов в предложениях. Мы ожидаем, что активация извлеченных шагов синтаксического анализа должна быть ниже для случаев садовой дорожки [примеры (а)] по сравнению со случаями (б). Это должно происходить на целевых словах, словах, при обработке которых трудности должны находиться в предложениях садовой дорожки. Целевые слова упало на для (18), упало на на (19), стало на (20) и бит на (21). Мы ожидаем, что активация предложений типа «садовая дорожка» уменьшится в точке неоднозначности, потому что базовая активация шагов разбора должна быть низкой (предложения «садовой дорожки» не должны быть очень частыми в естественных данных) и потому что активация распространения должна быть низкой ( предложения садовой дорожки перемещают нас в синтаксический контекст, который не может найти хорошего совпадения на прошлых этапах синтаксического анализа, поэтому не многие сигналы будут распространять активацию).

Активации на слово графически представлены на рисунке 2. Для этого расчета мы приняли значения свободных параметров по умолчанию и установили максимальную ассоциативную силу, S , из уравнения (8) равной 20. Как мы видим, примеры (а) показывают более низкую активацию, чем примеры (б) в целевом слове. Кроме того, за одним исключением, классической парой в (18), разница не только идет в предсказанном направлении, но и велика в критическом слове (2 точки активации и более). Заметьте также, что контраст в активациях обычно распространяется на следующие слова. Поскольку более низкая активация приводит к более высокому времени поиска, мы видим, что модель способна предсказать увеличение времени чтения в предложениях садовой дорожки. Кроме того, фрагменты с более низкой активацией имеют более высокую вероятность неудачного извлечения (Андерсон, 19 лет).91; Андерсон и Лебьер, 1998). Следовательно, уменьшение активации может объяснить трудности с обработкой в ​​целом, в частности, неспособность обеспечить правильный разбор предложений с садовыми дорожками (Pritchett, 1992). ⁶

Рисунок 2 . Активаций на слово для пар предложений (18)–(21). Желтые полосы представляют активацию в предложениях, которые рано устраняют неоднозначность. Синие полосы — это активации предложений садовой дорожки. Многоточием отмечены активации слов, которые вызывают эффект садовой дорожки.

Структуры словосочетаний, построенные синтаксическим анализатором, верны для всех примеров (b), за исключением (21-b), в котором синтаксический анализатор ошибочно прикрепляет именное словосочетание a bandage внутри относительного предложения. Для предложений (а) синтаксический анализатор борется с точкой устранения неоднозначности, и шаги синтаксического анализа, которые он извлекает, не являются адекватными структурами фраз. Он предоставляет структуры фраз, которые являются неправильными, но в которых локально построенные фразы комбинируются правдоподобным образом. Неправильные синтаксические анализы для (а) предложений были выбраны синтаксическим анализатором, потому что они имели самые высокие значения активации в контексте. Это означает, что если мы ограничим наше внимание правильных синтаксических разборов, контраст между предложениями садовой дорожки и их аналогами (b) будет еще больше в критических словах.

Одна пара, в которой контраст между примерами (а) и (б) идет в правильном направлении, но настолько мал, что контраст активации почти не имеет значения, представляет собой случай (18). Тот факт, что предложение садовой дорожки почти не отличается от базового, может быть вызван тем, что мы не моделируем дискурсивные и семантические явления, а Крейн и Стидман (19).85) убедительно показал, что эта садовая дорожка чувствительна к своему контексту. Поскольку модель не принимает во внимание контекст, она упускает из виду эффекты дискурса, влияющие на активацию.

В заключение мы видим, что контрасты в активации извлеченных шагов синтаксического анализа могут быть связаны с трудностями обработки и предсказывают когнитивные трудности, наблюдаемые в предложениях садовой дорожки.

4.

4.3.1. Введение

Мы изучаем прогнозы модели синтаксического анализа для корпуса естественных историй (NSC, Futrell et al., 2018). NSC представляет собой корпус, содержащий 10 английских повествовательных текстов с 10 245 лексическими токенами. Тексты были отредактированы таким образом, чтобы в них содержались различные синтаксические конструкции, в том числе очень редкие. Корпус был прочитан 181 носителем английского языка с использованием парадигмы движущегося окна для самостоятельного чтения, и данные для самостоятельного чтения были опубликованы вместе с текстами. Кроме того, все предложения были аннотированы Стэнфордским парсером (Klein and Manning, 2003) в соответствии с условными обозначениями PTB, проверены и исправлены вручную. Тот факт, что NSC имеет множество синтаксических конструкций и включает управляемые вручную PTB-совместимые синтаксические анализы, делает корпус особенно удобным для вычислительного моделирования синтаксического анализа.

4.3.2. Модель чтения

Синтаксический анализатор, указанный в разделах 2 и 3 и реализованный в разделе 4.1, будет использоваться для моделирования самостоятельного чтения предложений в корпусе. Однако, чтобы убедиться, что парсер не сбивается, на каждом слове мы собираем правильный парсер, предоставленный NSC. Этот правильный синтаксический анализ используется в качестве контекста для извлечения: на основе этого синтаксического анализа синтаксический анализатор пытается получить шаг синтаксического анализа из декларативной памяти. Декларативная память состоит из шагов синтаксического анализа, собранных из PTB, подробности см. в разделе 4.1. Затем записывается средняя активация извлеченных фрагментов. После того, как синтаксический анализ слова завершен, правильный синтаксический анализ снова рассматривается для следующего слова. Это означает, что синтаксический анализатор будет иметь правильную синтаксическую структуру для каждого слова и будет использовать правильный контекст для поиска.

Важно отметить, что при самостоятельном чтении читатели делают гораздо больше, чем просто извлекают и применяют шаги синтаксического анализа. Кажется бесспорным, что модель, имитирующая самостоятельное чтение, должна, по крайней мере, визуально обращать внимание на слово n , извлекать лексическую информацию об этом слове, анализировать, нажимать клавишу (чтобы открыть следующее слово) и перемещать визуальное внимание на следующее. слово, слово n + 1. Мы добавим эти части и объединим их с моделью синтаксического анализа, чтобы построить более реалистичную модель чтения. Добавленные детали не создаются ad hoc , они основаны на (упрощенных) моделях визуального внимания и самостоятельного чтения (Anderson and Lebiere, 1998; Brasoveanu and Dotlačil, 2020).

Последовательное поведение, такое как чтение, моделируется в ACT-R как случай процедурного знания, которое упорядочивает процессы, такие как упомянутые выше, и вызывает различные подмодули (зрение, декларативная память, двигательный модуль) для выполнения конкретных задач. . Процессы связаны между собой и контролируются процессуальной системой. На рисунке 3 мы представляем процессы в виде прямоугольников, которые процедурная система запускает в порядке, указанном стрелками. Предполагается, что эти процессы повторяются для каждого слова. Запуск каждого из этих процессов занимает одинаковое количество времени в процедурной системе, указанной в (22).

Рисунок 3 . Последовательная модель чтения по одному слову. Каждая коробка представляет один процесс. Стрелки показывают порядок запуска процессов. Есть две стрелки из извлечения шагов синтаксического анализа , потому что извлечение зависит от wh запускается только тогда, когда синтаксический анализатор постулирует пробел.

Кроме того, подмодули, участвующие в процессе, требуют дополнительного времени обработки в зависимости от их собственных свойств.

Процесс посещает слово визуально обращает внимание на слово. Чтобы упростить модель, мы предположим, что визуальное внимание занимает фиксированное количество времени в соответствии с базовыми моделями ACT-R (Bothell, 2017). Предполагается, что обслуживание занимает 50 мс, значение по умолчанию для запуска процесса в ACT-R. Поскольку визуальное внимание моделируется как фиксированное количество времени, любое соответствие модели данным должно управляться только процессами поиска: поиском лексической информации или поиском синтаксической информации, которые являются единственными двумя процессами поиска, рассматриваемыми в этой статье. бумага.

Процессы нажатия клавиш и перемещения зрительного внимания взаимодействуют с моторным модулем и зрительным модулем соответственно. Нажать клавишу смоделировано с учетом базовой модели двигательных действий в ACT-R, которая основана на когнитивной архитектуре EPIC (Bothell, 2017). Предполагается, что читатели держат пальцы на клавише, которую нужно нажать. В этом случае простая модель двигательных действий в ACT-R, используемая здесь, постулирует, что для нажатия клавиши требуется 150 мс. Важно отметить, что в это время процедурная система может выполнять любые другие действия в последовательной модели. Это означает, что перемещение визуального внимания может происходить одновременно с нажатием клавиш.

Процессы извлекают lex. информация, получение шагов синтаксического анализа и получение wh-зависимых — это процессы, зависящие от декларативной памяти. Все процессы занимают не менее r времени каждый. Кроме того, они также потребуют дополнительного времени: количества времени, необходимого для извлечения фрагмента из декларативной памяти. Все соответствующие уравнения для расчета времени поиска приведены в разделе 2. Повторим, что время поиска является функцией активации извлеченного фрагмента и модулируется двумя свободными параметрами (23-a). Активация рассчитывается как сумма активации базового уровня и активации распространения (23-b).

Активация базового уровня и активация распространения были подробно рассмотрены в разделе 2. Напомним, что у этих активаций было несколько свободных параметров: затухание d , вес W , максимальная ассоциативная сила S . Мы установили для первых двух параметров значения по умолчанию 0,5 и 1 соответственно (см. Anderson and Lebiere, 1998; Bothell, 2017). Максимальная ассоциативная сила установлена ​​на уровне 20, чтобы гарантировать, что ассоциативная сила всегда будет положительной (см. Bothell, 2017). Кроме того, r , время запуска процесса процедурной системой, см. (22), установлено равным 33 мс, поскольку в Dotlačil (принято) ³ было установлено, что это среднее значение для модели ACT-R, которая имитирует чтение в эксперименте по самостоятельному чтению. Наконец, компонент времени, необходимый для расчета активации базового уровня, рассчитывается таким же образом для извлечения лексической информации (слов) и извлечения шагов синтаксического анализа. Он выводится из частоты слов и шагов синтаксического анализа на основе процедуры, кратко изложенной в Приложении A.

Это оставляет нам два параметра, необходимых для оценки времени извлечения из активаций: F и f . Они будут оцениваться с помощью процедуры байесовского моделирования.

4.3.3. Байесовское моделирование

Есть два параметра, которые нам нужно смоделировать, чтобы подогнать модель чтения к данным корпуса: F и f . Мы оценим их с помощью байесовских методов (см. Дотлачил, 2018 г., Брасовяну и Дотлачил, 2018 г., Брасовяну и Дотлачил, 2019 г.)., Брасовяну и Дотлачил, 2020 г .; Rabe et al., 2021 — другие примеры сочетания байесовского моделирования с когнитивными моделями ACT-R; см. Weaver, 2008; Dotlačil, 2018 за аргументы, почему это необходимо).

Предположим, что структура модели показана на рисунке 4. На этом графике верхний слой представляет априорные вероятности, а нижняя часть — вероятность. ACT-R (F;f) — это когнитивная модель чтения ACT-R, описанная в предыдущем разделе. При запуске и поставке с F и f значений, он выводит задержки на слово. Затем задержки модели оцениваются по данным, предполагая, что вероятность является нормальным распределением (измеряется в миллисекундах) со стандартным отклонением 20 мс (нижняя часть графика). Фактические данные, которые мы пытаемся смоделировать, представляют собой среднее время чтения (mRT) на слово в корпусе для самостоятельного чтения. Мы выбираем первые две (из 10) истории для оценки параметров. В каждой истории есть заметный эффект ускорения по мере того, как читатели продвигаются дальше первых нескольких предложений. Поскольку наша модель этого не представляет, мы решили удалить первые 10 предложений из каждой истории. Кроме того, мы моделируем mRT только начиная со второго слова и заканчивая предпоследним словом в каждом предложении, поскольку первое и последнее слова имеют тенденцию быть выбросами из-за эффектов начала и завершения. Кроме того, начальные слова также являются выбросами в нашей модели (см. также сноску 6 к тексту).

Рисунок 4 . Байесовская модель для оценки параметров корпуса естественных историй.

Предполагается следующая априорная структура параметров:

• F ~ Гамма (α = 2, β = 10)

• f ~ Гамма (α = 2, β = 4)

Учитывая эти априорные значения, значения в диапазоне 0–1 наиболее вероятны, но очень низкие значения наказываются. Априоры для параметров имеют средние значения 0,2 и 0,5 соответственно. Эти априорные предположения учитывают предыдущие выводы о том, что когда F и f оцениваются по языковым исследованиям, включая данные по чтению, они ниже 1, но обычно не слишком малы, а F , как правило, меньше, чем f (Brasoveanu and Dotlačil, 2018, 2020).

Оценка параметров проводилась с использованием PYMC3 и MCMC-выборки с 1200 вытягиваниями, 2 цепями и 400 выжиганием. Цепочки выборки совпали, о чем свидетельствует значение Rhat (Rhat для F составил 1,036; Rhat для f было 1,028).

4.3.4. Результаты

Средние значения, медианы и значения стандартного отклонения для коэффициента задержки ( F ) и показателя задержки ( f ) апостериорных распределений можно увидеть в таблице 1.

Таблица 1 . Расчетные значения параметров.

Средние и медианные значения для F соответствуют оценке в предыдущих моделях чтения Bayesian + ACT-R (Brasoveanu and Dotlačil, 2018, 2020). Однако оценка f больше, чем в предыдущих исследованиях чтения. Возможно, это связано с тем, что предыдущие исследования чтения не принимали во внимание поиск шагов синтаксического анализа, сосредоточившись только на лексическом поиске, и что предыдущие исследования в основном рассматривали экспериментальные данные, в то время как это исследование моделирует корпусные данные.

Для дальнейшего изучения модели мы проверяем выборки из ее апостериорного распределения предсказанных RT (т. е. RT, которые модель чтения предсказывает с использованием апостериорного распределения подобранных параметров). Мы ожидаем, что они должны коррелировать с наблюдаемыми средними ВУ. Это связано с тем, что модель имитирует два этапа обработки, а именно лексический поиск и синтаксический анализ. На лексический поиск влияет активация слов, которая зависит от частоты и приводит к тому, что для извлечения менее часто встречающихся слов требуется больше времени, чем для более часто встречающихся (см. Приложение А для оценки активации базового уровня на основе частоты). На синтаксический поиск влияет активация шагов синтаксического анализа, которая представляет собой сумму активации базового уровня и активации распространения. Активация базового уровня связана с частотой точно так же, как активация слова, и требует больше времени для извлечения менее частых шагов синтаксического анализа (см. Приложение A). Кроме того, если читатель находится в редком синтаксическом контексте (т. е. в необычной синтаксической конструкции), он с меньшей вероятностью найдет шаги синтаксического анализа в прошлом, которые обеспечили бы хорошее совпадение. Это приводит к снижению активации распространения, что опять же влияет на время считывания. Наконец, синтаксический анализатор моделирует wh-зависимость и извлекает wh-слова, увеличивая время чтения, когда wh-слова находятся далеко от пробела, из-за снижения их активации.

Теперь проверим предсказания модели. Во-первых, мы запускаем простую линейную модель с прогнозируемыми RT на слово (т. е. RT, которые модель чтения предсказывает с использованием апостериорного распределения подобранных параметров) в качестве независимой переменной и наблюдаемыми средними RT в качестве зависимой переменной. Мы видим в сводке линейной модели, приведенной в таблице 2, что оценка максимального правдоподобия (MLE) предсказанного RT очень близка к 1, т. е. в наилучшем линейном соответствии между предсказанным и наблюдаемым RT увеличение на 1 мс в предсказанные RT соответствуют увеличению наблюдаемых RT на 1 мс. В таблице 3 показано соответствие линейной модели пересечения + прогнозируемого RT. Как мы видим, предсказанные RT являются очень значимым предиктором наблюдаемых средних RT.

Таблица 2 . Линейная модель с Predictive RT в качестве единственной независимой переменной.

Таблица 3 . Линейная модель с Intercept и Predictive RT.

Вывод из Таблицы 3 показывает, что наша модель чтения может учитывать некоторые аспекты данных самостоятельного чтения. Однако мы хотим увидеть, что эта возможность моделирования выходит за рамки того, что могут учитывать поверхностные характеристики текста, т. е. положение, длина слова или частота строк, которые, как известно, влияют на время чтения. По этой причине мы рассматриваем более сложную модель, обобщенную в таблице 4. Мы рассматриваем следующие вмешивающиеся факторы: (i) история (история 1 или история 2, первая из которых является эталонным уровнем), (ii) Z ОДИН (позиция слова в его рассказе, z-преобразованная), (iii) P ПОЛОЖЕНИЕ (позиция слова в его предложении, z-преобразованная), (iv) взаимодействие S ТОРИ × Z ОДИН , (v) взаимодействие Z ONE × P OSITION , (vi) L OG (F REQ ) (логарифмическая частота), (vii) N CHAR (длина слово по количеству символов, z-преобразованное), (viii) взаимодействие N CHAR × L OG (F REQ ), (ix) L OG (B IGRAM ) (логарифмическая вероятность), (x) L OG (T RIGRAM ) (логарифмическая вероятность триграммы). Частоты и вероятности биграмм и триграмм представлены в NSC. Большинство ошибок, которые мы вводим, учитываются при оценке вычислительных психолингвистических моделей на основе корпусных данных (Demberg and Keller, 2008; Boston et al., 2011; Hale, 2014 и др.). Мы видим, что даже после добавления вмешивающихся факторов предсказанные RT остаются важным предиктором, и эффект идет в ожидаемом (положительном) направлении (9).0393 t = 3,66, p = 0,0003). Таким образом, наша модель синтаксического анализа фиксирует аспекты чтения данных, которые не учитываются поверхностными факторами, например частотами строк, положением, количеством символов и их взаимодействием. ⁷

Таблица 4 . Полная линейная модель для РТ в НБК.

Для дальнейшего изучения прогнозов нашей байесовской модели + ACT-R и фактических данных мы разделили наборы прогнозируемых и наблюдаемых данных на децили на основе триграмм, частот слов и фактических наблюдаемых средних значений RT. Графические сводки по децилям представлены на рисунке 5. Для вероятностей триграмм и частот униграмм мы видим, что данные, предсказанные моделью, следуют тренду фактических данных, а среднее предсказанное RT, как правило, близко к наблюдаемому среднему RT в каждом дециле. (с небольшим расхождением в 6-м и 7-м децилях Частоты, для которых модель предполагает, что средние ВУ быстрее на 10 и 9РС). В случае последнего графика, на котором данные разделены по децилям наблюдаемого среднего RT, модель копирует линейный тренд данных, т. е. предсказанное увеличение среднего RT на дециль. Эта тенденция также подтверждается очень значимой корреляцией Пирсона между прогнозируемым средним RT и наблюдаемым средним RT, разделенным по децилям ( r = 0,88, p < 0,001). Однако по сравнению с фактическими данными модель имеет гораздо меньше экстремальных значений на обоих концах децильного спектра и, как следствие. Хотя он фиксирует линейную тенденцию в данных, он завышает RT в нижних децилях и занижает RT в высоких децилях.

Рисунок 5 . Сводные данные о среднем и стандартном отклонении модели и данных, разделенные на триграммы, частоту и наблюдаемые децили среднего RT. Метка оси x показывает верхнюю точку отсечки на дециль (указывается в логарифмическом масштабе в случае частоты). В случае Частоты присутствуют только 9 децилей. Это связано с тем, что одно слово ( ) охватывает два верхних дециля.

Наконец, мы сравниваем предсказания нашей модели с другой моделью чтения ACT-R, представленной в Boston et al. (2011). Модель Бостона и др. (2011) моделирует поиск зависимостей, используя допущения рациональной памяти ACT-R. В отличие от нашей работы, Boston et al. (2011) не моделируют построение структуры, то есть знание шагов синтаксического анализа, с использованием памяти ACT-R. ⁸ По этой причине мы ожидаем, что временные прогнозы нашей модели останутся значимыми предикторами, когда прогнозы Boston et al. (2011) включены в линейную модель данных чтения НБК. Чтобы проверить это, мы построили временные прогнозы модели чтения ACT-R Boston et al. (2011) для подкорпуса NSC, который мы использовали для тестирования (первые два рассказа). ⁹ Мы протестировали модель поиска ACT-R Boston et al. (2011) с различными уровнями ширины луча k ( k = 1, 3, 9, 20, 50, 100), где k указывает количество синтаксических разборов, построенных параллельно. Оказалось, что прогнозы модели с низкими числами 90 393 k 90 394 ( 90 393 k 90 394 ≤ 20) не оказали существенного влияния на наши данные чтения NSC. Для 90 393 k 90 394 = 50 и 90 393 k 90 394 = 100 модель показала очень широкий диапазон прогнозируемых времен считывания (от 50 до 5000 мс). Когда мы удалили предсказания за пределами 2000 мс, предсказания модели были значимыми (β = 0,005, т = 3,1). Важно отметить, что предсказания нашей модели P REDICTED RT также были значимыми (β = 0,2, t = 4,1). Это подтверждает положение о том, что наша модель фиксирует свойства чтения, отсутствующие в модели ACT-R, которая имитирует только поиск зависимостей с использованием теории памяти ACT-R.

4.4. Сводка результатов

Мы представили эмпирические доказательства модели синтаксического анализа, построенной на предположениях рациональной теории памяти, предложенной Андерсоном (19).91) и встроенный в ACT-R. Было собрано два вида доказательств. Во-первых, трудности с обработкой явлений садовой дорожки соответствуют падению активации извлеченных шагов синтаксического анализа. Во-вторых, модель синтаксического анализа в сочетании с некоторыми базовыми предположениями о чтении использовалась для моделирования данных самостоятельного чтения из Корпуса естественных историй. После подгонки двух параметров полученная модель показала очень значимую корреляцию с наблюдаемым временем чтения. Модель смогла зафиксировать аспекты данных чтения, которые не были захвачены другими низкоуровневыми факторами, такими как частота строк, положение или длина слова. Мы оставляем открытым вопрос о том, какие конкретные аспекты рациональной памяти могут играть доминирующую роль в подборе модели, в частности, какие из активаций базового уровня и активации распространения были решающими в нашем открытии.

5. Сравнение с родственными работами

5.1. Анализаторы в вычислительной психолингвистике

Можно разделить вычислительные психолингвистические подходы к анализу на два типа: теории, основанные на опыте, и теории, основанные на памяти. В теориях, основанных на опыте, изучается, как прошлый опыт работы с синтаксическими структурами влияет на синтаксический анализ, чаще всего из-за ожиданий, которые читатели формируют во время обработки предложений. Популярной структурой подходов, основанных на опыте, является теория неожиданностей (Hale, 2001; Boston et al., 2008, 2011; Levy, 2008, 2011; Smith and Levy, 2013 и др.). В теориях, основанных на памяти, изучается, как узкое место памяти влияет на хранение и поиск во время обработки. Теория локальности зависимостей является примером основанного на памяти объяснения трудностей обработки (Gibson, 19).98), а также теории, изучающие эффект интеграции и отзыва информации при разборе стеков (Van Schijndel and Schuler, 2013; Shain et al. , 2016; Rasmussen and Schuler, 2018). Другой теорией, основанной на памяти, является активационный подход к разрешению зависимостей, часто реализуемый в ACT-R (см. Lewis and Vasishth, 2005; Lewis et al., 2006).

Два типа подходов имеют разные преимущества. В то время как теории, основанные на опыте, могут объяснить трудности обработки, связанные с частотой строительства и локальными неоднозначностями (феномен садовой дорожки), подходы, основанные на памяти, используются для фиксации эффектов локальности. Однако интеграция двух учетных записей в одну структуру, возможно, все еще остается открытым вопросом. В большинстве отчетов два направления исследований просто объединяются как две разные и отдельные части модели (Demberg and Keller, 2008; Boston et al., 2011; Levy et al., 2013; Van Schijndel and Schuler, 2013).

В отличие от только что упомянутых подходов текущий счет строит единый анализ трудностей обработки, обусловленных опытом и памятью. Предполагается, что обе трудности вызваны ограничениями памяти при воспроизведении, как это предсказывают системы рациональной памяти. Единственная разница заключается в том, что извлекается: трудности обработки, связанные с памятью, возникают, когда система памяти пытается вспомнить недавно созданную фразу/элемент, чтобы удовлетворить зависимость, и сталкивается с проблемами; трудности, обусловленные опытом, возникают, когда та же самая система памяти пытается вспомнить шаг синтаксического анализа и сталкивается с проблемами. Трудности первого типа хорошо изучены в вычислительной психолингвистике в целом и в области моделирования с использованием когнитивных архитектур, таких как ACT-R, в частности (см. Lewis and Vasishth, 2005; Lewis et al., 2006; Dubey et al. ., 2008; Reitter et al., 2011; Engelmann et al., 2013; Engelmann, 2016; Vogelzang et al., 2017; Brasoveanu and Dotlačil, 2020). Важно отметить, что второй тип трудностей исследовался гораздо меньше с этой точки зрения. Эту статью можно рассматривать как попытку углубить наше понимание этой темы. В этом отношении эта статья продвигает текущие анализы чтения ACT-R, в частности, Lewis and Vasishth (2005), которые не обобщают синтаксический анализ, а вместо этого полагаются только на закодированные вручную правила для избранных синтаксических конструкций. В Futrell and Levy (2017) была разработана единая структура для обоих типов трудностей обработки, которая обеспечивает анализ на вычислительном уровне (в отличие от анализа на алгоритмическом уровне, разработанном здесь) и подходит к проблеме с противоположной стороны. направление. Футрелл и Леви (2017) проводят единый анализ трудностей обработки, расширяя теорию неожиданностей дополнительным компонентом (шумовой контекст), чтобы фиксировать трудности, связанные с памятью.

В работах по когнитивной архитектуре можно обнаружить тесное сходство между этой оценкой и моделями Reitter et al. (2011) и Хейл (2014).

В отличие от Reitter et al. (2011), текущий счет не моделирует производство, а фокусируется на понимании и не изучает заполнение синтаксических правил. Кроме того, Reitter et al. (2011) разработали модель для получения качественных эффектов при прайминге, а в этой статье показано, что с помощью применения моделей ACT-R в байесовской структуре можно моделировать количественные закономерности данных. Фактически, представленный подход позволяет разработать модель, в которой профиль чтения трудностей обработки, обусловленных опытом, количественно ограничивает профиль чтения проблем обработки памяти, поскольку оба явления моделируются одинаковым образом и модулируются одним и тем же образом. свободные параметры. Это также предполагается в этой статье (например, синтаксический анализатор для Natural Stories Corpus предполагает ту же модель для поиска wh-зависимости, лексического поиска и поиска шагов синтаксического анализа). Однако подробное исследование взаимодействия разных случаев поиска в одной и той же модели выходит за рамки данной статьи. См. Дотлачил (принято) ³ для дальнейшей работы в этом направлении.

Наконец, Хейл (2014), главы 7 и 8, выводит трудности обработки, обусловленные опытом, как случай (неудачного, менее вероятного) компиляции/сплоченности продукции. Эта позиция не противоречит текущей учетной записи, а, наоборот, дополняет ее. В то время как в этой работе изучается роль декларативной памяти при разборе, Хейл (2014) фокусируется на роли процедурной памяти при разборе. Последняя позиция, вероятно, исследовалась гораздо более подробно в психолингвистике и в ACT-R, чем предыдущая позиция, начиная с основополагающих работ Льюиса (19).93) и Льюис и Васишт (2005). В этом отношении нынешнее предложение можно рассматривать как нарушение этой традиции. Однако оба типа памяти имеют решающее значение для ACT-R, а также для других когнитивных архитектур (см. Anderson, 2007), и их взаимодействие необходимо для учета сложных моделей обучения (Lebiere, 1999; Taatgen and Anderson, 2002). Вполне вероятно, что весьма нетривиальная задача, такая как построение синтаксической структуры, выиграет от исследований, которые не ограничивают ее исследование системой процедурной памяти.

5.2. Синтаксический анализ на основе переходов в вычислительной (психо)лингвистике

Анализаторы на основе переходов были популярным выбором парсеров в компьютерной лингвистике, особенно для грамматик зависимостей (см. Nivre et al., 2007; Zhang and Clark, 2008; Kübler et al., 2009). Одним из преимуществ синтаксических анализаторов на основе переходов по сравнению с синтаксическим анализом на основе графов и синтаксическим анализом на основе грамматики является то, что они являются быстрыми, инкрементальными и позволяют отображать расширенные функции (Nivre, 2004; McDonald and Nivre, 2011). Синтаксические анализаторы на основе переходов также применялись для разбора структуры фразы (Kalt, 2004; Sagae and Lavie, 2005). Недавние синтаксические анализаторы на основе нейронных переходов для построения структуры фраз имеют значение F1 около 9.5% на участке 23 ПТБ (Лю, Чжан, 2017; Китаев, Кляйн, 2018). Парсеры на основе переходов также использовались в вычислительной психолингвистике для моделирования данных ЭЭГ (рекуррентные грамматики нейронных сетей; Dyer et al., 2016; Hale et al., 2018) и данных чтения (Boston et al., 2008; Rasmussen and Schuler, 2018). ¹⁰

Хотя высокая точность современного синтаксического анализа на основе переходов обнадеживает, так как предполагает, что эта линия синтаксического анализа может в конечном итоге использоваться для создания очень точного синтаксического анализатора, мы должны отметить, что наш синтаксический анализатор это далеко не такая точность. При тестировании на участке 23 Penn Treebank синтаксический анализатор показывает точность меток как 70,2, отзыв меток как 72,4, F1 как 71,3. Когда мы ограничиваем внимание предложениями из 40 слов или менее, как это обычно бывает, точность меток составляет 73,7, а запоминаемость меток — 75,9., а F1 — 74,8. ¹¹

Существует несколько причин низкой производительности. Во-первых, было обнаружено, что один из недостатков синтаксических анализаторов на основе переходов по сравнению с другим классом синтаксических анализаторов, управляемых данными, синтаксическими анализаторами на основе графов, заключается в том, что они ухудшаются с увеличением длины предложения и увеличением зависимости, т. е. ошибка размножение (McDonald and Nivre, 2011). Традиционные синтаксические анализаторы на основе переходов, включая синтаксический анализатор в этой статье, исследуют только один путь. Им приходится жадно выбирать, по какому пути они пойдут, и придерживаться его до конца предложения. Таким образом, ранние ошибки распространят ошибку на все предложение. Усовершенствованные синтаксические анализаторы на основе переходов смягчают этот тип ошибок с помощью поиска луча или методов восстановления после ошибок. Хотя адаптация этих методов может быть исследована для психолингвистики, нас в первую очередь интересует не максимальная точность синтаксического анализатора сложных предложений Penn Treebank, а синтаксический анализ, подобный человеческому. Известно, что человек-процессор также демонстрирует распространение ошибок при синтаксическом анализе, о чем свидетельствует тот факт, что читатели изо всех сил пытаются восстановиться из предложений садовой дорожки, чем дольше может удерживаться неправильная интерпретация (например, Frazier and Rayner, 19).82). Таким образом, априори не ясно, следует ли избегать распространения ошибок.

Другая причина, по которой мы видим низкую точность, заключается в том, что синтаксический анализатор предполагает очень прямую связь между экземплярами памяти и шагом синтаксического анализа. Шаг синтаксического анализа просто сохраняется в декларативной памяти. ¹² Это отличается от сложных методов обучения, обычно применяемых в современных нейроанализаторах. Соответственно, современные вычислительные парсеры предполагают гораздо более богатую систему признаков. Они обогащены моделями векторного пространства, представляющими лексическую информацию, а синтаксическая информация обычно инкапсулируется в 200 или более признаков, в то время как наш парсер имеет 19Особенности.

В любом случае, стоит отметить, что хотя точность синтаксического анализатора не очень высока, она достаточна для исследования, представленного в этой статье. Выбранные примеры в разделе 4.2 корректно построены синтаксическим анализатором, если они не ведут к садовой дорожке, а синтаксический анализатор в разделе 4.3 исправлялся в конце каждого шага (слова) в соответствии с золотым стандартом, представленным в корпусе, гарантируя, что построенный разбор правильный.

Решение использовать простую модель признаков обусловлено тем фактом, что мы хотим сначала установить, что эта модель синтаксического анализа может быть полезна для прогнозирования времени чтения. Для этого желательно, чтобы модель была как можно более понятной и простой, в противном случае было бы неясно, связаны ли результаты, представленные в разделе 4, с моделью синтаксического анализа или с какой-то путаницей, которая нас не интересует (например, значение подобия присутствует в векторных пространствах слов). По той же причине в настоящее время мы использовали восходящий алгоритм синтаксического анализа, хотя есть веские аргументы в пользу того, что восходящий алгоритм синтаксического анализа неадекватен с когнитивной точки зрения. Существуют хорошо известные для психолингвистики проблемы восходящего синтаксического анализа: он накапливает элементы в стеке в правоветвящихся структурах, страдает от несвязности и имеет проблемы при привязке к пошаговой интерпретации (см. Resnik, 19).92; Крокер, 1999). Мы предположили восходящий алгоритм синтаксического анализа, поскольку он, возможно, является наиболее распространенным алгоритмом синтаксического анализа для синтаксических анализаторов структуры фраз на основе переходов и, таким образом, служит очень хорошей отправной точкой. Мы оставляем это на будущее, чтобы посмотреть, смогут ли другие алгоритмы синтаксического анализа, особенно синтаксические анализаторы левого угла, улучшить текущие результаты моделирования.

6. Заключение

В этой статье представлен и протестирован психолингвистический синтаксический анализатор, который был разработан с использованием идей рациональной теории памяти. Было показано, что рациональная теория памяти может быть объединена с синтаксическим анализом на основе переходов для создания анализатора, управляемого данными, который может быть встроен в когнитивную архитектуру ACT-R. Синтаксический анализатор был протестирован на предложениях садовой дорожки, и было показано, что синтаксический анализатор в значительной степени предсказывает трудности обработки в правильных точках устранения неоднозначности. Парсер также был оценен на онлайн-поведенческих данных из корпуса для самостоятельного чтения, и было показано, что парсер может быть приспособлен к данным и моделировать количественные закономерности во времени чтения.

Заявление о доступности данных

Необработанные данные, подтверждающие выводы этой статьи, доступны по адресу https://github.com/jakdot/parsing-model-and-a-rational-theory-of-memory.

Вклад авторов

JD внес свой вклад в разработку теории, кодирования и моделирования. PH способствовал кодированию и моделированию.

Финансирование

Исследование, представленное в этой статье, было поддержано грантом NWO VC.GW.17.122.

Конфликт интересов 9Активации также очень низки в начале каждого предложения, независимо от того, имеем ли мы дело с предложением садовой дорожки или нет. Это артефакт выбранной модели. Большинство сигналов для распространения активации исходят из уже построенных древовидных структур. Конечно, в начале предложения ничего или почти ничего не построено, поэтому реплик в начале мало и, следовательно, активация распространения низка. Этого свойства модели можно избежать, например, если считать не только совпадения в построенных деревьях, но и совпадения по положению в предложении как подсказки, которые могут усилить активации.

Ссылки