Кроме того, во время этого процесса может быть создана структура данных для дальнейшей обработки. В моем предыдущем примере можно, например, хранить AA и BB в двух отдельных стопках.

Все, что происходит после этого, например, придание значения AA или BB , или преобразовать его во что-то другое, не является разбором. Придание смысла частям входной последовательности токенов называется семантическим анализом.

Что не анализируется?

• Разбор — это не преобразование одного в другое. Преобразование A в B — это, по сути, то, что делает компилятор. Компиляция выполняется в несколько шагов, синтаксический анализ — только один из них.
• Парсинг не извлекает смысл из текста. Это семантический анализ, этап процесса компиляции.

Как это проще всего понять?

Я думаю, что лучший способ понять концепцию синтаксического анализа — начать с более простых понятий. Простейшим в предмете языковой обработки является конечный автомат. Это формализм для анализа обычных языков, таких как регулярные выражения.

Все очень просто, у вас есть вход, набор состояний и набор переходов. Рассмотрим следующий язык, построенный на основе алфавита {A, B} , .L знак равно { ш | w начинается с 'AA' или 'BB' как подстрока } . Приведенный ниже автомат представляет собой возможный синтаксический анализатор для этого языка, все допустимые слова которого начинаются с «AA» или «BB».

 А-->(q1)--А-->(qf)
   /
 (q0)
   \
    B-->(q2)--B-->(qf)
 

Это очень простой синтаксический анализатор для этого языка. Вы начинаете с

Поскольку он нагляден, вам понадобится только карандаш и лист бумаги, чтобы объяснить, что такое парсер, кому угодно, включая ребенка. Я думаю, что простота — это то, что делает автоматы наиболее подходящим способом обучения концепциям обработки языка, таким как синтаксический анализ.

Наконец, будучи студентом факультета информатики, вы будете углубленно изучать такие концепции на теоретических занятиях по информатике, таких как формальные языки и теория вычислений.

Почему это предложение трудно понять

Не длина предложения затрудняет его понимание, а то, как долго вам приходится ждать окончания фразы.

Когда вы читаете предложение, вы понимаете его не слово за словом, а фразу за фразой.

Фразы — это группы слов, которые можно связать вместе, и они связаны правилами грамматики. Фраза с существительным будет включать существительные и прилагательные, а фраза с глаголом, например, будет включать глагол и существительное.

Эти фразы являются строительными блоками языка, и мы естественным образом разбиваем предложения на блоки фраз точно так же, как мы разбиваем визуальные изображения на объекты.

Это означает, что мы не относимся к каждому слову индивидуально, как мы его слышим; мы относимся к словам как к частям фраз и имеем буфер (очень кратковременную память), в котором слова хранятся по мере их поступления до тех пор, пока они не могут быть отнесены к фразе.

Предложения становятся громоздкими не в том случае, если они длинные, а в том случае, если они переполняют буфер, необходимый для их разбора, а это зависит от длины отдельных фраз.

Прочитайте про себя следующее предложение:

Пока Боб ел яблоко, оно было в корзине.

Вам пришлось прочитать его пару раз, чтобы понять смысл?

Это грамматически правильно, но запятые опущены, чтобы подчеркнуть проблему с предложением. Когда вы читаете о Бобе, вы добавляете слова во внутренний буфер, чтобы составить фразу.

При первом прочтении кажется, что вся первая половина предложения будет вашей первой самостоятельной фразой (в случае с первой это «Пока Боб ел яблоко») — но вы вел по садовой дорожке.

Затем вам нужно подумать о том, где находится граница фразы (ага, запятая стоит после «съел», а не «яблоко»!) и прочитать предложение еще раз, чтобы разобрать его.

Обратите внимание, что вам нужно прочитать снова, чтобы разбить его на разные фразы; вы не можете просто жонглировать словами в своей голове.

Теперь попробуйте прочитать эти предложения, все они имеют одинаковое значение и усложняются:

• Кошка поймала паука, который поймал муху, которую проглотила старушка.

• Муху, проглоченную старухой, поймал паук, пойманный кошкой.

• Муху, пойманную кошкой, проглотила старушка.

Первые два предложения трудно понять, но они имеют какой-то смысл.

Последнее предложение просто переставлено, но не имеет никакого естественного смысла. (Все это при условии, что пожилая дама имеет какой-то смысл глотать кошек, что совершенно абсурдно, но оказывается, она глотала и козу, не говоря уже о лошади, так что давайте кот проходит без дополнительных комментариев. )

Как это работает

Человеческие языки обладают особым свойством быть рекомбинантными. Это означает, что предложение не плетется как шарф, где, если вы хотите добавить больше деталей, вы должны добавить их в конце.

Предложения больше похожи на Лего. Фразы могут быть разбиты на части и объединены с другими предложениями или открыты в середине и добавлены дополнительные блоки. Взгляните на эти довольно скучные примеры:

• Это предложение — пример

• Это скучное предложение — простой пример.

• Это длинное скучное предложение является простым примером структуры предложения.

Предложения понимаются путем их разбора на фразы. Один тип словосочетаний — именные словосочетания, объект предложения. В «Это предложение является примером» именной фразой является «это предложение».

Во-вторых, это «скучная фраза». Как только именное словосочетание полностью собрано, оно может быть упаковано и должным образом понято остальной частью мозга. Однако пока вы читаете предложение, слова остаются в вашей вербальной рабочей памяти — своего рода кратковременном буфере — до тех пор, пока фраза не будет закончена.

Глагольные фразы работают так же. Когда ваш мозг видит «есть», он знает, что начинается глагольная фраза, и удерживает в памяти последующие слова до тех пор, пока эта фраза не будет закрыта (со словом «пример» в первом предложении в предыдущем списке).

Точно так же последняя часть последнего предложения «структуры предложения» является предложной фразой, поэтому она также самодостаточна.

Границы фраз значительно облегчают понимание предложений. Вместо того, чтобы объект третьего примера предложения был в три раза сложнее, чем первый (это три слова: «длинное, скучное предложение» против одного, «предложение»), его можно понимать как тот же объект, но с модификаторами.

Это легче увидеть, если посмотреть на древовидные схемы:

Предложение приобретает древовидную структуру для этих простых примеров, в которых фразы являются меньшими деревьями внутри него.

Чтобы понять целую фразу, ее отдельные деревья должны соединиться. Все эти предложения легко понять, потому что они состоят из очень маленьких деревьев, которые быстро заполняются.

Мы не используем только грамматические правила, чтобы разбивать предложения на куски. Одна из причин, по которой предложение о Бобе было трудным для понимания, заключалась в том, что вы ожидали, увидев фразу «Боб ел», узнать о том, что ел Боб.

Когда вы читаете «яблоко», это именно то, что вы ожидаете увидеть, поэтому вы счастливы предположить, что это часть той же фразы.

Чтобы найти границы фраз, мы проверяем значение отдельных слов и вероятность порядка слов, постоянно пересматриваем значение предложения и так далее, пока буфер растет.

Но удержание слов в памяти до тех пор, пока фразы не закончатся, имеет свои проблемы, даже если не считать предложений, которые намеренно сбивают вас с толку, и тут в дело вступает старушка. Оба первых замечания о кулинарных привычках старушки требуют, чтобы была произнесена только одна фраза. хранится в буфере одновременно.

Подумайте, какие фразы остались незавершенными в каждом заданном слове. Нет никакой неопределенности в отношении того, к чему относятся те или иные слова «поймал» или «по»: это всегда следующее слово.

Например, ваш мозг прочитал «Кошка» (в первом предложении) и тут же спросил: «Что сделал?» К счастью, ответом является следующая фраза: «поймал паука». «Хорошо», — говорит ваш мозг, выталкивает эту фразу из рабочей памяти и приступает к осмыслению остальной части предложения.

Последний пример со старухой совсем другой. К тому времени, когда ваш мозг доходит до слов «кот», остаются три вопроса. Что насчет кота? Что с пауком? Что с мухой?

Ответы на эти вопросы один за другим: муха, которую проглотила старушка; паук, поймавший муху, и так далее. Но поскольку все эти вопросы относятся к одному и тому же типу, к одной и той же фразе, они сталкиваются в вербальной рабочей памяти, и это предел понимания предложений.

—

Отличительной чертой хороших речей (или всего, что передается в устной традиции) является то, что они минимизируют объем рабочей памяти или буфера, необходимого для их понимания.

Это не имеет большого значения для письменного текста, в котором вы можете вернуться назад и прочитать предложение еще раз, чтобы понять его; у вас есть только один шанс услышать и понять произнесенное слово, поэтому лучше сделать это правильно с первого раза.