Во-первых, мы придумываем два типа фонетических признаков. Первый тип извлекал звуковые характеристики из реальных аудиоклипов.Второй тип изучил вложения токенов пиньинь из преобразованного корпуса пиньинь. Для каждого типа материала мы предоставляем одну версию с интонацией и одну версию без интонации.

После создания таблицы поиска функций между каждым китайским пиньинь и его характеристикой / внедрением, мы достигаем второго шага, который заключается в разработке сети DISA, которая работает с последовательностью пиньинь и автоматически определяет правильную интонацию для каждого пиньинь. Этот шаг имеет решающее значение для устранения неоднозначности значений и даже настроения китайских иероглифов.В частности, вдохновленные [27] , мы используем сеть усиления в качестве основной структуры для нашей сети DISA. Акторная сеть — это типичная нейронная политическая сеть, действие которой заключается в выборе одной из пяти интонаций для каждого пиньинь. Сеть критиков — это модель последовательности LSTM, которая изучает представление последовательности предложений пиньинь. Сеть политик обновляется отложенным вознаграждением при построении представления последовательности, в то время как сеть критиков обновляется потерями кросс-энтропии класса тональности.

Вдохновленные недавним успехом мультимодального обучения, мы также объединяем текстовые и визуальные функции с фонетическими. Насколько нам известно, мы первыми рассмотрели глубинную фонематическую орфографическую характеристику и интонационные вариации в мультимодальной структуре для задачи анализа настроений в китайском языке. Результаты экспериментов показывают, что предлагаемая мультимодальная структура превосходит современный метод анализа настроений в Китае со статистически значимым отрывом.Таким образом, мы делаем три основных вклада в этот документ:

• Мы дополняем представление китайских иероглифов дополнительными фонетическими подсказками.

• Мы представляем структуру, основанную на обучении с подкреплением, DISA, которая совместно устраняет неоднозначность интонаций китайских иероглифов и определяет классы полярности настроений в предложении.

• Мы демонстрируем эффективность нашей структуры на нескольких тестовых наборах данных.

Остальная часть статьи организована следующим образом: сначала мы представляем краткий обзор функций встраивания, анализа тональности и китайской фонетики; Затем мы представляем нашу модель и предоставляем технические детали; Затем мы описываем экспериментальные результаты и представляем аналитические обсуждения; наконец, мы завершаем работу и предлагаем дальнейшую работу.

II Связанные работы

Начнем с краткого обзора методов встраивания текста. Затем мы анализируем существующие китайские представления, которые включали как текстовые вложения, так и вложения с визуальной поддержкой.Далее мы кратко рассмотрим анализ настроений и китайскую фонетику.

Ii-a Общее вложение

Одноразовое представление — это метод начального числового представления слова в НЛП. Однако обычно это приводит к проблеме большой размерности и разреженности. Для решения этой проблемы предлагается распределенное представление (или встраивание слов) [28] . Встраивание слов — это представление, которое отображает слова в малоразмерные векторы действительных чисел с помощью нейронных сетей.Ключевая идея основана на гипотезе распределения, чтобы смоделировать, как представлять контекстные слова и отношения между контекстными словами и целевым словом.

В 2013 г. Миколов и др. [29] представила как модель непрерывного мешка слов (CBOW), так и модель скип-граммы. Первый поместил контекстные слова во входной слой и целевое слово в выходной слой, тогда как второй поменял местами вход и выход в CBOW. В 2014 году Pennington et al. [29] создал вложения «GloVe».В отличие от предыдущего, который изучал вложения путем минимизации потерь прогнозирования, GloVe изучил вложения с помощью методов уменьшения размерности на матрице счетчиков совместной встречаемости.

Ii-B Китайское представительство

Китайский текст отличается от английского текста двумя ключевыми аспектами: он не имеет словарных сегментов и имеет характерную композицию из-за своей пиктограммной природы. Основываясь на первом аспекте, перед текстовым представлением всегда используются инструменты сегментации слов, такие как ICTCLAS [30] , THULAC [31] , Jieba и так далее.Основываясь на последнем аспекте, несколько работ были сосредоточены на использовании компонентов вложенных слов (таких как символы и радикалы) для улучшения встраивания слов. [22] предложил разложение китайских слов на символы и представил модель встраивания слов с расширенными символами (CWE). [16, 17] разложил китайские иероглифы на радикалы и разработал радикально улучшенное встраивание китайских иероглифов. В [18] чистые радикальные вложения были обучены категоризации короткого текста, сегментации китайских слов и ранжированию в веб-поиске. [19] расширяет чистое радикальное вложение, вводя китайские вложения слов с множественной гранулярностью.

Мультимодальное представление в последние несколько лет стало растущей областью исследований. [24] и [23] исследовали интеграцию визуальных функций в текстовые вложения слов. Извлеченные визуальные элементы оказались эффективными при моделировании композиционности китайских иероглифов.

Анализ тональности Ii-C и китайская фонетика

Анализ настроений вызвал растущий интерес как в научном сообществе, что привело к множеству захватывающих открытых проблем, так и в деловом мире благодаря замечательным преимуществам, которые можно получить от финансового [32] и политического [33] прогнозирование, профилирование пользователей [34] и обнаружение сообщества [35] , приложения для производства и цепочки поставок [36] , понимание человеческого общения [37] и диалоговые системы [38] и т. д.В последние несколько лет активно изучались различные направления, от уровня документа [39, 40] , до уровня предложения [41, 42] и до уровня аспекта [43, 44] . Большинство методов были направлены на разработку эффективных моделей для широкого спектра языков. Лишь ограниченное количество работ посвящено изучению языковых характеристик [17, 23, 45] . Среди них почти нет литературы, пытающейся использовать фонетическую информацию для китайского представления.Мы, однако, считаем, что фонетическая информация на китайском языке может иметь большое значение для представления и анализа тональности китайского языка, благодаря, но не ограничиваясь следующими данными.

Шу и Андерсон провели исследование китайской фонетической осведомленности в [46] . В исследовании приняли участие 113 китайских учеников 2, 4 и 6 классов, обучающихся в начальной школе рабочего класса в Пекине, Китай. Их задачей было представить произношение 60 семантических фонетических составных символов.Результаты показали, что дети 2-го класса лучше способны воспроизводить произношение обычных символов, чем неправильные символы или символы со связанной фонетикой.

Сильное влияние знакомства на произношение подчеркивает неизбежный факт о китайской системе письма: система не предлагает звуковые подсказки, которые были бы столь же надежными или последовательными, как у многих других систем письма, таких как английский [47] . Более того, Сяо и Шиллкок утверждали, что семантико-фонетическое соединение (или фонетическое соединение) составляет около 81% из 7000 часто используемых китайских иероглифов [48] .Эти соединения сильно повлияли бы на семантику, если бы мы смогли найти подход для эффективного представления их фонетической информации.

С этой целью ни одна из предыдущих работ не включала информацию о произношении в китайское представление. Мы считаем, что из-за глубокого фонематического орфографии китайское произношение может поднять репрезентации на более высокий уровень. Таким образом, мы предлагаем изучить фонетические особенности и представить сеть DISA для автоматического преобразования китайского иероглифа в его пиньинь с правильной интонацией.

Модель III

В этом разделе мы сначала представляем, как были извлечены функции из текстовых и визуальных модальностей. Затем мы углубимся в детали различных типов фонетических функций. Затем мы представляем сеть DISA, которая разбирает китайские иероглифы на их произношение с помощью тонов. Наконец, мы продемонстрируем, как мы объединяем функции из трех модальностей для анализа настроений.

Iii-a Текстовое вложение

Как и в самой последней литературе, векторы встраивания текстовых слов рассматривались как фундаментальное представление текстов [29, 28, 49] .Впервые представил Bengio et al. [28] , векторы внедрения слов низкой размерности изучили распределенное представление для слов. По сравнению с традиционными представлениями слов n-грамм, они в значительной степени уменьшили проблему разреженности данных и обеспечили более удобный доступ к нейронным сетям. В 2013 году Миколов и соавт. [29] представил инструментарий Word2Vec, который заполнил приложение векторов встраивания слов из-за быстрого времени обучения. В наборе инструментов были предложены два вектора слов на основе прогнозирования: CBOW и Skip-gram.Они либо предсказывали целевое слово из контекста, либо наоборот. Pennington et al. [49] разработал «GloVe» в 2014 году, в котором использовался механизм на основе подсчета для встраивания векторов слов. Следуя соглашению, мы использовали вложения символов «GloVe» [49] 128-размерного размера для представления текста.

Стоит отметить, что мы устанавливаем основной токен китайского текста как символ вместо слова по двум причинам. Во-первых, персонаж разработан таким образом, чтобы соответствовать звуковой функции.Аудио особенности могут быть извлечены только на уровне символа, поскольку китайское произношение есть на каждом символе. В китайском языке основная фонетическая единица, которая семантически самодостаточна, находится на уровне символа. Однако в английском языке основная фонетическая единица находится на уровне слова (за исключением некоторых префиксных / суффиксных слогов). Во-вторых, обработка на уровне символов может избежать ошибок, вызванных сегментацией китайских слов. Хотя мы использовали встраивание символов GloVe как текстовое встраивание, экспериментальные сравнения были проведены как с CBOW [29] , так и с встраиванием Skip-gram.

Iii-B Визуальные возможности обучения

В отличие от латинского языка, китайская письменность возникла из пиктограмм. Впоследствии простые символы были объединены в сложные символы, чтобы выразить абстрактные значения. Например, геометрическая комбинация трех ‘木 (дерево)’ создает новый символ ‘森 (лес)’. Это явление порождает композиционную характеристику китайского текста. Вместо прямого моделирования текстовой композиционности с использованием вложенного слова [22, 19] или вложенного символа [17, 16, 20] элементов, мы выбираем визуальную модель.В частности, мы создали сверточный автокодировщик (convAE) для извлечения визуальных функций. Подробная информация о convAE приведена в Таблице II.

Следуя соглашениям в [50] и [23] , мы устанавливаем на входе модели битовую карту 60 на 60 для каждого из китайских символов, а на выходе модели — плотный вектор с размерностью 512. Модель была обучена с помощью оптимизатора Adagrad на ошибке восстановления между исходным растровым изображением и восстановленным растровым изображением.Убыток рассчитывается как:

где L — количество отсчетов. xt — исходное входное растровое изображение, а xr — восстановленное выходное растровое изображение. Пример исходного и восстановленного растровых изображений показан на рисунке 1. После обучения визуальным особенностям мы получили справочную таблицу, в которой каждый китайский символ соответствует 512-мерному вектору признаков.

Iii-C изучение фонетических функций

Письменный китайский и разговорный китайский имеют несколько фундаментальных различий. Насколько нам известно, вся предыдущая литература, посвященная китайскому НЛП, игнорировала значение аудиоканала. Как предполагает когнитивная наука, человеческое общение зависит не только от визуального распознавания, но и от звуковой активации. Это побудило нас изучить взаимное влияние звукового канала (произношения) и текстового представления.

Популярные латинские и германские языки, такие как испанский, португальский, английский и т. Д.разделяют две замечательные характеристики. Во-первых, у них неглубокая фонематическая орфография. Другими словами, произношение слова во многом зависит от состава текста на таких языках. Можно почти сделать вывод о произношении слова по его текстовому написанию. С этой точки зрения текстовая информация может быть взаимозаменяемой с фонетической информацией.

Например, если бы было известно произношение английских слов «subject» и «marineland», нетрудно предположить произношение слова «submarine», потому что можно комбинировать произношение «sub» из «subject» и « морской »из« Маринленд ».Это означает, что фонетическая информация этих языков может не иметь дополнительной информационной энтропии, чем текстовая информация. Во-вторых, интонационная информация в этих языках ограничена и подразумевается. Вообще говоря, акцент, восходящая интонация и нисходящая интонация являются основными вариациями в этих языках. Хотя они оказали большое влияние на полярность настроений во время общения, нет очевидного ключа к выводу такой информации только из текстов.

Однако китайский язык отличается от вышеупомянутых языков по нескольким ключевым аспектам.Во-первых, это язык глубокой фонематической орфографии. Трудно сделать вывод о произношении китайского слова / символа по его текстовому написанию. Например, символы «日» и «月» произносятся как «rì» и «yuè» соответственно. Комбинация этих двух символов образует еще один символ «», который произносится как «míng». Эта характеристика побуждает нас выяснить, как произношение китайского может повлиять на понимание естественного языка. Во-вторых, интонационная информация китайского языка богата и понятна.В дополнение к ударению, каждый китайский иероглиф имеет один тон (из пяти разных тонов), явно отмеченный диакритическими знаками. Эти интонации (тона) сильно влияют на семантику и тональность китайских иероглифов и слов. Примеры приведены в таблице I.

С этой целью мы обнаружили, что было нетривиальным исследовать, как китайское произношение может влиять на понимание естественного языка, особенно на анализ тональности. В частности, мы разработали два подхода к изучению фонетической информации, а именно: извлечение признаков из аудиосигнала и встраивание векторного обучения из текстового корпуса.Для любого из двух вышеупомянутых подходов у нас есть два варианта, а именно с интонациями (Ex04, PW) или без (Ex0, PO). Иллюстрация приведена в Таблице III. Подробная информация о каждом типе будет представлена ​​в следующих разделах.

Iii-C1 Функция извлечена из аудиоклипов (Ex0, Ex04)

Разговорная система современного китайского языка называется «Ханью пиньинь», сокращенно «пиньинь». Это официальная система латинизации для мандарина в материковом Китае [51] . Система включает четыре диакритических знака, обозначающих четыре разных тона плюс один нейтральный тон. Каждому из китайских иероглифов соответствует один пиньинь. Этот пиньинь имеет пять вариаций тонов (мы рассматриваем нейтральный тон как один особый тон).Статистика китайского иероглифа и пиньинь приведена в Таблице IV. Это показывает, что количество часто используемых символов больше, чем количество пиньинов с тонами или без них. Это говорит о том, что некоторые китайские иероглифы имеют один и тот же пиньинь, и, кроме того, подразумевает, что однозначная размерность уменьшится, если пиньинь использовался для представления текста.

Чтобы извлечь фонетические особенности для каждого тона каждого пиньинь, мы собрали аудиоклип, в котором записано женское произношение этого пиньинь (с тоном) из ресурса по изучению языка.Каждый аудиоклип длится около одной секунды со стандартным произношением одного пиньинь с тоном. Качество этих клипов было подтверждено двумя носителями языка. Затем мы использовали openSMILE [52] для извлечения фонетических характеристик из каждого полученного аудиоклипа в пиньинь. Аудио функции извлекаются с частотой кадров 30 Гц и скользящим окном 20 мс. Они состоят из всего 39 дескрипторов низкого уровня (LLD) и их статистики, например, MFCC, среднего квадратичного корня и т. Д.

После получения характеристик для каждого клипа в стиле пиньинь мы получили размерную матрицу m × 39 для каждого клипа, где m зависит от длины клипа, а 39 — это количество функций.Чтобы отрегулировать представление функции для каждого клипа, мы провели декомпозицию по сингулярным значениям (SVD) для матриц, чтобы уменьшить их до 39-мерных векторов, где мы извлекли вектор с сингулярными значениями. В конце концов, высокоразмерные матрицы признаков каждого клипа пиньинь были преобразованы в плотный вектор признаков из 39 измерений. Соответственно строится таблица поиска между пиньин и вектором звуковых характеристик.

В частности, мы подготовили два набора извлеченных фонетических признаков.Первый тип имеет тон, который мы получили в результате вышеупомянутой обработки. Мы обозначаем его как Ex04, где «Ex» обозначает извлеченные признаки, а «04» обозначает наличие одного тона от 0 до 4 (мы представляем нейтральный тон как 0, а с первого по четвертый тоны как от 1 до 4 соответственно). Второй тип удалил вариации тонов, в которых мы берем среднее арифметическое пяти характеристик из пяти тонов каждого пиньинь. Обозначим его как Ex0, где «0» означает отсутствие тона. Во втором типе функции пиньины с разными тонами будут иметь одинаковые фонетические характеристики, даже если они могут означать разные значения.

Iii-C2 Изученная функция из корпуса пиньинь (Po, Pw)

Вместо того, чтобы собирать аудиоклипы для каждого пиньинь и извлекать звуковые функции, мы напрямую представляем китайские иероглифы с помощью токенов пиньинь, как показано в Таблице III.В частности, мы конвертируем каждый китайский иероглиф в текстовом корпусе в пиньинь. Первоначальный корпус, который был представлен последовательностью китайских иероглифов, был преобразован в фонетический корпус, который был представлен последовательностью токенов пиньинь.

В фонетическом корпусе контекстная семантика все еще сохранялась, как и в текстовом корпусе. Это достигается с помощью онлайн-парсера, который анализирует китайские иероглифы на их пиньины. Следует отметить, что 3,49% из 3500 распространенных китайских иероглифов (около 122 символов) имеют несколько пиньинь, а именно «duo yin zi» (гетероним).Хотя парсер утверждал, что поддерживает гетероним, мы взяли наиболее статистически возможное предсказание пиньинь для каждого гетеронима.

Мы специально не устраняли неоднозначность различных гетеронимов, поскольку это не главное предположение, которое мы пытаемся аргументировать в этой статье. Тем не менее, это может быть направление, над которым стоит работать в будущем. DISA обеспечивает два режима преобразования символов в пиньинь: один с тоном, а другой без тона.

В режиме без тона китайские иероглифы будут преобразованы только в пиньинь без тона.Примерами являются токены, показанные в строке PO в Таблице III, где PO означает пиньинь без тонов. После этого мы обучаем 128-мерные векторы встраивания токенов пиньинь, используя обычные вложения символов «GloVe» [49] . Соответствующим образом создается таблица поиска между пиньинь без интонации (PO) и вектором внедрения. Пиньины, которые имеют одинаковое произношение, но разные интонации, будут иметь один и тот же вектор встраивания перчаток, такой как Jiǎ и Jià в Таблице III.

Для режима с тональным сигналом китайские иероглифы будут преобразованы в пиньинь плюс число, указывающее на тон.Примеры — жетоны, показанные в строке PW в Таблице III, где PW обозначает пиньинь с тонами. Мы используем цифры от 1 до 4 для обозначения четырех диакритических знаков и цифру 0 для обозначения нейтрального тона. Точно так же были обучены 128-мерные векторы внедрения пиньин «GloVe».

Итак, у нас есть четыре типа фонетических характеристик, а именно Ex04, PW, E0 и PO. ПО отличается от PW удалением интонаций. Два из них (Ex04, PW) отличаются от других интонацией. Ожидается, что возникнет один вопрос: как узнать правильную интонацию пиньинь, учитывая их текстовые символы.Хотя онлайн-анализатор может дать свое статистическое предположение, производительность и надежность не могут быть оценены и гарантированы. Чтобы решить эту проблему, мы разрабатываем сеть парсеров с моделью обучения с подкреплением, чтобы узнать правильную интонацию каждого пиньинь. Подробности будут представлены в следующем разделе.

III-D Диса

Iii-D1 Обзор

Эта сеть DISA принимает на входе предложение, состоящее из китайских иероглифов. Сначала он преобразует каждый символ в соответствующий ему пиньинь (без тонов) с помощью операции поиска.Затем последовательность пиньинь будет передана сети актеров и критиков. Для каждого пиньинь (временного шага) сеть политик будет случайным образом выбирать одно из пяти действий, где каждое действие обозначает тон. Затем функция / встраивание этого конкретного пиньина с тоном извлекается из модуля поиска функций.

На этапе исследования действие будет выбрано случайным образом. На этапах эксплуатации и прогнозирования действие будет наиболее вероятным с учетом политики. Затем эта функция / последовательность внедрения будет передана в сеть LSTM.Скрытые состояния из LSTM будут передаваться обратно в сеть политик для управления выбором действий. Окончательное скрытое состояние сети LSTM будет передано классификатору softmax для получения распределения классов тональности предложения. Вероятность регистрации метки наземной достоверности будет рассматриваться как отложенное вознаграждение для настройки сети политики. Наконец, перекрестная энтропия будет вычислена относительно полученного распределения классов тональности для настройки сети критиков. Графическое описание показано на рисунке 2, а подробности приведены ниже.

: для среды мы использовали LSTM для моделирования функции ценности (подробно описано позже). Входными данными для этого LSTM является последовательность функции / внедрения, полученная из модуля поиска (подробно описанная позже), а именно x1, x2, … xt, …, xL, где xt — это характеристика для t-го пиньина в предложении. . Математические представления ячейки LSTM следующие:

где ft, It и ot — вентиль забывания, входной вентиль и выходной вентиль, соответственно.Wf, WI, Wo, bf, bI и bo — матрица весов и скаляр смещения для каждого логического элемента. Ct — это состояние ячейки, а ht — вывод скрытого состояния.

Состояние окружающей среды определяется как:

, где ⊕ — это конкатенация (то же самое ниже). Как показано в Формуле 3, состояние определяется текущим вводом функции, последним скрытым выводом LSTM и последней памятью ячеек LSTM.

Действие: В нашей среде есть пять действий, представляющих пять разных тонов.Пример приведен в Таблице V. Если было выбрано другое действие, то будет активирована соответствующая интонация. Затем будут выбраны соответствующие фонетические признаки, как описано в Разделе III-D3. Политика действий реализовывалась с помощью типичной нейронной сети прямого распространения. В частности, для политики π (at∣St) в момент времени t,

, где W и b — матрица весов и скаляр смещения.at — действие в момент времени t. Во время изучения тренировок действие будет случайным образом выбрано из пяти вышеупомянутых. При эксплуатации обучения и тестирования будет выбрано действие с максимальной вероятностью.

Награда: Награда вычисляется к концу каждого предложения, когда траектория состояния / действия доходит до терминала (отложенное вознаграждение). После модуля поиска функций / внедрения последовательность функций передается в сеть критиков LSTM.Распределение тональности предложения по классам рассчитывается следующим образом:

, где Wsfmx и bsfmx — матрица весов и скаляр смещения из слоя softmax. hL — это последний вывод скрытого состояния из сети критиков LSTM. distr1 ∗ X — вероятностное распределение классов тональности предложения. X — номер тональности. Награда (R) определяется как:

, где P (основание отослано) обозначает вероятность метки истинности предложения с учетом распределения в уравнении.5.

Iii-D2 Актер: сеть политик

Как показано в разделе «Действие» выше, сеть политик случайным образом угадывает действия на этапе исследования при обучении. Он будет обновлен, когда ввод предложения будет полностью пройден. Учитывая вознаграждение, полученное из уравнения. 6, мы использовали метод градиентного спуска для оптимизации сети политики [53] . Другими словами, мы хотим максимизировать:

Используя отношение правдоподобия (или трюк с REINFORCE [54] ) для оценки градиента политики, градиент можно преобразовать в:

Iii-D3 Функция / поиск встраивания

Напомним, что мы выбрали действия из сети акторов, где каждое действие обозначает тон для этого пиньина, функция этого модуля поиска функции / внедрения состоит в том, чтобы извлекать правильные характеристики этого конкретного пиньина с помощью тона.До создания сети политик мы собрали фонетические характеристики из пяти разных тонов каждого пиньинь и упорядочили их от функции нейтрального тона до характеристики четвертого тона. Нейтральный тон для четвертого тона можно получить индивидуально по индексу ID от 0 до 4.

Когда действие выбрано из сети акторов, например, действие 4 было выбрано для пиньинь P1, этот модуль поиска найдет четвертый фонетический признак (индекс ID 4) этого пиньина, а именно F14, и передаст его в сеть критиков LSTM. как вход xt в уравнении.2.

Iii-D4 Critic: модель приговора и расчет убытков

Представленная в Штате ранее, сеть критиков была, по сути, моделью кодирования предложений с помощью LSTM. Мы использовали метод градиентного спуска, чтобы обновить сеть критиков с потерями кросс-энтропии, определенными как:

, где P (заземление ∣ отправлено) и P (присутствует) — истинное значение и предсказанная вероятность в уравнении.5 соответственно.

Iii-E Слияние модальностей

В контексте китайского языка текстовые вложения применялись в различных задачах и доказали свою эффективность при кодировании семантики или тональности [22, 17, 16, 18, 19] . В последнее время визуальные функции продвинули производительность текстового встраивания дальше с помощью мультимодального слияния [23, 24] . Это достигается за счет эффективного моделирования композиционности китайских иероглифов визуальными особенностями.В этой работе мы предполагаем, что использование фонетических функций наряду с текстовыми и визуальными может улучшить производительность. Таким образом, мы ввели следующий метод слияния, который подходит для нашей сети DISA, как показано на рисунке 2.

• Каждый китайский символ представлен комбинацией трех сегментов. Каждый сегмент представляет одну модальность, см. Ниже:

  char = [embT⊕embP⊕embV]

  (10)

  где char — символьное представление.embT, embP, embV — это вложения из текста, фонемы и видения соответственно.

Существуют и другие сложные методы слияния, доступные в литературе [55] , однако мы не использовали их в нашей статье по трем причинам. (1) Слияние через конкатенацию — один из проверенных эффективных методов [56, 57, 24] , и (2) он имеет дополнительное преимущество простоты, что позволяет акцентировать (вклады) системы в самих функциях. . (3) Разработанный сплав должен соответствовать нашей структуре модели армирования.Методы слияния, такие как [23] и [55] , создают препятствия в реализации с моделью «субъект-критик». Таким образом, мы использовали представленный выше метод слияния, пример таблицы поиска слияния / внедрения показан на рис. 3.

IV Эксперименты и результаты

В этом разделе мы начнем с знакомства с экспериментальной установкой. Эксперименты проводились в шесть этапов. Во-первых, мы сравниваем одномодальные характеристики. Во-вторых, мы экспериментируем с возможным слиянием модальностей.В-третьих, мы сравниваем эффективность междоменной проверки нашего метода с базовыми показателями. Затем мы проводим тесты на абляцию, чтобы проверить вклад фонетических характеристик. Точнее, мы также визуализируем различные фонетические функции / вложения, чтобы понять, как они улучшают производительность.

IV-A Экспериментальная установка

IV-A1 Наборы данных и функции / вложения

Наборы данных. Мы оцениваем наш метод на пяти наборах данных: Weibo, It168, Chn2000, Review-4 и Review-5.Первые три набора данных состоят из обзоров, извлеченных из микроблогов и веб-сайтов обзоров. Последние два набора данных содержат обзоры из [58] , где Review-4 содержит обзоры из доменов компьютеров и камер, а Review-5 содержит обзоры из доменов автомобилей и мобильных телефонов. Наборы экспериментальных данных показаны в Таблице VI.

Возможности / вложения: Для текстовых встраиваний мы обращаемся к предварительно обученной таблице встраивания символов, обученной с помощью Glove в Разделе III-A. Для фонетических экспериментов мы используем предварительно созданный инструмент, называемый онлайн-кодами в наборах данных, для преобразования текста в пиньинь без интонаций (как мы обсуждали в разделе III-C2, это преобразование достигает точности 97%.). Функции Ex0 и Ex04 были извлечены из аудиофайлов и сохранены, как в Разделе III-C1. Вложения PO и PW также были предварительно обучены на том же корпусе текстов для обучения встраиванию текста. В корпусе собраны новости 8 миллионов китайских слов, что равно 38 миллионам китайских иероглифов. Для визуальных функций мы обращаемся к таблице поиска для преобразования символов в визуальные особенности, как в Разделе III-B.

Для экспериментов по мультимодальности характеристики каждой индивидуальной модальности были объединены в таблицу поиска.Примеры показаны на рис. 3.

IV-A2 Настройка и базовые параметры

: мы используем TensorFlow и Keras для реализации нашей модели. Все модели используют оптимизатор Adam со скоростью обучения 0,001 и регуляризатор нормы L2 0,01. Процент отсева — 0,5. Каждая мини-партия содержит 50 образцов. Мы разбиваем каждый набор данных на наборы для обучения, тестирования и разработки в соотношении 6: 2: 2. Мы сообщаем результат набора для тестирования, соответствующий набор для разработки которого работает лучше всего после 30 эпох.Указанные выше параметры задавались с помощью поиска по сетке по данным разработки.

Процедура обучения нашей сети DISA следующая. Во-первых, мы пропускаем сеть политик и напрямую обучаем сеть критиков LSTM с целью обучения как уравнение. 9. Во-вторых, мы фиксируем параметры сети критиков LSTM и обучаем сеть политик с целью обучения как Ур. 8. Наконец, мы совместно обучаем все модули до сходимости. Для случаев, когда не задействованы фонетические функции / встраивание, например, чисто текстовые или визуальные функции, обучается и тестируется только LSTM.Перчатка была выбрана в качестве текстового вложения в нашу модель из-за ее характеристик в Таблице VII.

вариантов DISA: Ниже мы представляем варианты нашей сети DISA. Они отличаются особенностями текстового представления.

1. DISA (P): сеть DISA, в которой используется только фонетическая функция, которая представляет собой конкатенацию Ex04 и PW.

2. DISA (T + P): сеть DISA, которая использует объединение текстового вложения (перчатка) и фонетической функции (Ex04 + PW).

3. DISA (P + V): сеть DISA, в которой используется сочетание фонетической функции (Ex04 + PW) и визуальной функции.

4. DISA (T + P + V): сеть DISA, которая использует конкатенацию встраивания текста (перчатка), фонетической функции (Ex04 + PW) и визуальной функции.

Исходные данные: Предлагаемый нами метод основан на вводе / внедрении китайских иероглифов. В связанных работах по встраиванию китайского текста, все они направлены на улучшение встраивания китайских слов, например, CWE [22] , MGE [19] . Те, кто использовал визуальные особенности [23, 24] , также стремились к уровню слов.Однако они не могут служить справедливой базой для предлагаемой нами модели, поскольку наша модель изучает встраивание китайских иероглифов. Есть две основные причины для обучения на уровне персонажа. Во-первых, система произношения пиньинь рассчитана на уровень персонажа. Система пиньинь не имеет соответствующего произношения китайским словам. Во-вторых, уровень символов обходит операцию сегментации китайских слов, которая может вызвать ошибки. И наоборот, использование произношения на уровне символов для моделирования произношения на уровне слов вызовет проблемы моделирования последовательности.Например, китайское слово ‘你好’ состоит из двух символов: ‘你’ и ‘好’. Для текстового встраивания слово можно рассматривать как единое целое, обучая вектор встраивания слова. Однако для фонетического вложения мы не можем рассматривать слово как единое целое с точки зрения произношения. Правильное произношение слова — это временная последовательность произношения символов сначала «», а затем «». Если мы работаем на уровне слова, мы должны придумать представление о произношении этого слова, например, среднее значение фонетических характеристик символа и т. Д.Чтобы провести честное сравнение, мы сравним методы уровня персонажа ниже:

1. Glove: Алгоритм обучения встраиванию без учителя, основанный на совпадении (подсчете). [49] .

2. CBOW: модель непрерывного мешка слов, которая помещает контекстные слова во входной слой и целевое слово в выходной слой [29] .

3. Пропускная грамма: противоположность модели CBOW, которая предсказывает контексты с учетом целевого слова [29] .

4. Visual: на основе [23] и [50] , сверточный автокодировщик (convAE) построен для извлечения композиционности китайских иероглифов через визуальный канал.

5. charCBOW: компонентно-расширенное встраивание символов, построенное на основе метода CBOW с помощью [17] . Он углубился в радикальные компоненты китайских иероглифов и обогатил представление символов радикальным компонентом.

6. charSkipGram: вариант со скип-граммом charCBOW.

7. Hsentic: Он предложил радикальные иерархические вложения для анализа настроений в Китае. Представления персонажей были специально настроены для анализа тональности [20] .

IV-B Эксперименты по унимодальности

Для встраивания текста мы сравнили с современными методами встраивания, включая GloVe, skip-gram, CBOW, charCBOW, charSkipGram и Hsentic.Как показано в Таблице VII, текстовые вложения (GloVe) обеспечивают лучшую производительность среди всех трех модальностей в четырех наборах данных. Это связано с тем, что они успешно закодировали семантику и зависимость между символами. Мы также обнаружили, что методы charCBOW и charSkipGram работают довольно близко к исходным методам CBOW и Skip-gram. Они работают немного, но не всегда лучше своих базовых показателей. Мы предполагаем, что это могло быть вызвано относительно небольшим размером нашего учебного корпуса по сравнению с исходным учебным корпусом китайского Wikipedia Dump.Ожидается, что с увеличением размера корпуса все методы встраивания будут иметь более высокую производительность. Тем не менее, несомненно, что корпус, который мы использовали, по-прежнему представляет собой хорошую платформу для сравнения всех методов.

Мы также заметили, что визуальная функция демонстрирует худшую производительность среди трех модальностей, что находится в пределах наших ожиданий. Как продемонстрировано в [23] , чисто визуальные функции недостаточно репрезентативны для получения сопоставимой производительности с текстовым встраиванием.И последнее, но не менее важное: наши методы с фонетическими функциями работают лучше, чем визуальные. Хотя визуальные элементы фиксируют композиционную информацию китайских иероглифов, они не могут различить разные значения иероглифов, которые имеют одинаковое письмо, но разные тона. Эти тона могут в значительной степени изменить тональность китайских слов и еще больше повлиять на тональность предложения.

Для фонетического представления были протестированы три типа функций, а именно EX04, PW и P (а именно EX04 + PW).Последний — это объединение двух предыдущих. Наше первое наблюдение состоит в том, что сами по себе фонетические особенности вряд ли могут конкурировать с текстовыми вложениями. Хотя они превзошли текстовые вложения в наборе данных It168, они постоянно отставали от текстовых встраиваний. Это все еще находится в пределах наших ожиданий, как предположил Ценг в [59] : «Фонология и фонетика сами по себе недостаточны для предсказания фактического результата предложения».

Если мы обратимся к Таблице IV, то обнаружим, что в среднем от 2 до 3 символов имеют один и тот же пиньинь с тоном.Это означает, что чистое фонетическое представление может стереть 1 из 2 или 3 (33% -50%) семантики из текста. Это неизбежно уменьшит возможность правильно классифицировать настроения.

Как мы видим, каждая модальность имеет свою собственную способность кодировать семантику, ожидается, что она будет использовать дополнительную информацию из нескольких модальностей для задачи анализа тональности. Результаты показаны в следующем разделе.

IV-C Эксперименты по слиянию модальностей

В этом наборе экспериментов мы оцениваем слияние всех возможных комбинаций модальностей.После обширных экспериментальных испытаний мы резюмируем, что конкатенация вложений Ex04 и PW (обозначенная как P) показала лучшие результаты среди всех комбинаций фонетических признаков. Таким образом, мы используем его как фонетический признак в слиянии модальностей. Результаты, показанные в Таблице VIII, показывают, что наилучшая производительность достигается за счет объединения текстовых и фонетических функций.

Мы замечаем, что фонетические функции, объединенные с текстовыми или визуальными функциями, последовательно улучшают производительность как текстовых, так и визуальных унимодальных классификаторов. Это подтверждает нашу гипотезу о том, что фонетические особенности являются важным фактором в представлении семантики, что приводит к повышению эффективности анализа тональности китайского языка. Значение p 0,007 в парном t-тесте между наличием и отсутствием фонетических признаков свидетельствует о том, что наиболее эффективное улучшение интеграции фонетических признаков является статистически значимым.Интеграция нескольких модальностей может использовать преимущества информации из разных модальностей. Однако мы замечаем, что в большинстве случаев трехмодальные модели уступают бимодальным. Одним из недостатков использования большего количества модальностей является увеличение количества параметров. Мы предполагаем, что больший набор обучаемых параметров приводит к плохой обобщаемости, когда обучающие наборы в наших экспериментах состоят только из экземпляров менее 4000.

Кроме того, избыточность информации становится более серьезной при объединении функций в различных модальностях.Другими словами, использование дополнительных модальностей может иметь предельный эффект. Мы проиллюстрируем это на примерах. Как упоминалось выше, китайский иероглиф состоит из символов (или радикалов). Некоторые символы действуют как морфемы, а некоторые — как фонемы. Например, символ ‘疯’ состоит из двух символов: ‘疒’ и ‘’. В произношении ‘疯’ (feng1) преобладает символ ‘风’ (feng1), который аналогичен фонетическим характеристикам. Между тем, «» вносит наибольший вклад в визуальный образ «», визуальная особенность «» также может каким-то образом кодировать информацию, передаваемую «».

После того, как мы сравним T с T + P и T + V, увеличение производительности, вызванное P, на 1,40% выше, чем в среднем за V. Очевидно, можно сделать вывод, что фонетические признаки лучше кодируют семантику, чем визуальные признаки. Сочетание фонетических и текстовых вложений обеспечивает наилучшую производительность во всех случаях. Это указывает на то, что информация, закодированная в фонетическом признаке, дополняет информацию встраивания текста.

IV-D Междоменная оценка

В этом разделе мы исследуем, как наша модель работает в разных областях и наборах данных, чтобы проверить возможность обобщения предлагаемого нами метода. В частности, для нашей модели мы сначала предварительно обучаем сеть критиков LSTM на обучающем наборе. Затем мы фиксируем параметры сети критиков и обучаем сеть политик на том же обучающем наборе.Затем мы совместно обучаем сеть критиков LSTM и сеть политик в течение 30 эпох. Для других базовых показателей сеть LSTM обучается с использованием того же обучающего набора. К концу каждой эпохи тестируется набор для разработки этого обучающего набора данных и других четырех наборов данных. Фиксируются результаты эпохи. В конце сообщается результат тестирования эпохи с лучшим результатом разработки. Окончательные результаты современных методов показаны в таблице IX.

Результаты показывают, что все методы снижают свою производительность по сравнению с экспериментами с одним набором данных из-за внутреннего разнообразия разных наборов данных.Несмотря на это, наш метод по-прежнему работает лучше, чем другие базовые уровни, в среднем на 6,50% по точности. Помимо абсолютной производительности, мы также вычисляем среднюю потерю производительности для каждого метода в разных наборах данных между случаем одного набора данных и случаем перекрестного набора данных. Это показывает, что у нашего метода наименьшее падение производительности — 14,25%. Падение производительности для методов Hsentic, charCBOW и charSkipGram составляет 16,09%, 15,69%, 17,16% соответственно. Мы думаем, что это может быть связано с тем, что доля общих фонетических маркеров среди наборов данных больше, чем доля общих текстовых символов.Таким образом, фонетические признаки будут лучше передаваться, чем текстовые. На рис. 4 показано соотношение общих фонетических токенов, а также общих текстовых токенов между каждой парой наборов данных. Результат на рисунке согласуется с нашим первоначальным анализом.

Тесты на абляцию IV-E

Мы проводим тесты на абляцию в два этапа: проверка фонетических характеристик и интеграция фонетических характеристик. Первый шаг подтверждает вклад фонетических функций. На втором этапе исследуется, какая конкретная комбинация фонетических функций работает лучше всего.

IV-E1 Проверка фонетической функции

До сих пор мы исследовали эффективность нашей модели в целом, сравнивая ее с различными базовыми линиями. В этом разделе мы разбиваем предлагаемые методы на структуру обучения с подкреплением и набор функций. Прежде всего, мы хотели бы проверить, является ли прирост производительности в основном результатом обучения с подкреплением. С этой целью мы заменяем фонетические признаки случайными признаками. В частности, мы генерируем случайные векторы с действительным знаком как случайный фонетический признак для каждого символа.Каждое измерение вектора случайных фонетических признаков представляет собой число с плавающей запятой от -1 до 1, выбранное из распределения Гаусса. Затем мы использовали этот случайный вектор признаков для представления каждого китайского символа и получили результаты в таблице X.

При сравнении заученного фонетического признака и случайного фонетического признака мы можем заметить, что заученный признак превосходит случайный признак с показателем не менее 13% во всех наборах данных. Этот результат указывает на то, что улучшение успеваемости обусловлено вкладом изученных фонетических характеристик, а не обучением классификаторов.Причиной является сама фонетическая характеристика, и подобная производительность не может быть достигнута простым введением случайных функций.

Мы наносим результаты на рис. 5 слева, чтобы усилить разницу. Более того, мы обнаружили, что независимо от того, извлечены ли они из аудиоклипов или извлечены из корпуса пиньинь, фонетические особенности, содержащие интонацию (Ex04 и PW), работают лучше, чем те, которые не содержат интонации (EX0 и PO), во всех наших экспериментах.

Это доказывает наш первоначальный аргумент о том, что интонация играет важную роль в представлении китайских настроений.Тем не менее, мы также обнаруживаем, что исполнение различных выученных фонетических функций непостоянно. PW преобладает в трех наборах данных, а Ex04 — в двух других наборах данных. Поскольку две лучшие фонетические характеристики либо извлекаются из аудиоклипов, либо изучаются из корпуса пиньинь, ожидается, что они будут использовать преимущества обеих сторон. Таким образом, мы предлагаем тест на абляцию фонетического признака в различных комбинациях.

IV-E2 Интеграция фонетических функций

Мы объединяем извлеченные фонетические особенности и изученные фонетические особенности, чтобы сформировать четыре вариации.Результаты показаны в Таблице XI и нанесены на рис. 5 справа.

Как и ожидалось, комбинация Ex04 и PW преобладает в четырех наборах данных и работает близко к лучшим в оставшемся наборе данных. В частности, когда мы сравниваем Ex04 + PW с Ex04, наблюдается среднее улучшение на 1,43% по наборам данных. Мы полагаем, что улучшение было связано с семантической информацией, предоставленной функцией PW, поскольку она была обучена на корпусе пиньинь. Контекстное отношение было разработано для кодирования во вложениях.Путем объединения встраиваемых функций с извлеченными функциями комбинированная функция также будет кодировать определенную семантику, которую мы покажем в следующем разделе. Соответственно, если мы сравним Ex04 + PW с PW, то прирост производительности составил в среднем 0,80%.

Это можно объяснить тем, что Ex04 содержит извлеченную информацию, которая может быть передана только в произношении. Как мы уже говорили в начале, глубокая фонематическая орфография позволяет китайскому произношению кодировать значения, которые не были представлены в тексте.Английский текст, напротив, изначально создавался для имитации произношения [47] . Из-за неоднородности текстового и фонетического представления китайского языка разумно раскрыть магию китайской фонетики. Таким образом, мы показали, что и интонационные вариации, и глубокая фонематическая орфография способствовали решению задачи анализа настроений в китайском языке.

IV-F Визуализация

В этом разделе мы визуализируем четыре типа фонетических вложений.Это Ex04, PW, Ex04 + PW (P) и T + P.

Как показано на рис. 5 (а), пиньины, которые имеют похожее произношение (гласные), близки друг к другу в пространстве вложения. Это наблюдение соответствует нашей экспериментальной цели, заключающейся в том, что функция Ex04 будет кодировать фонетическую информацию (например, сходство) между разными произношениями. Во-вторых, как видно на рис. 5 (b), мы визуализируем вложения PW. Поскольку он был изучен в фонетическом корпусе, ожидается, что определенная семантика будет закодирована. На самом деле мы действительно находим смысловую близость в визуализации.Квадраты — это некоторые примеры, которые мы заметили. Например, «Niu2» и «Nai3» вместе из-за «Niu2 Nai3 (молоко)». «Dian4» и «Nao3» вместе из-за «Dian4 Nao3 (компьютер)». «Цзянь3» и «Ча2» вместе из-за «Цзянь3 Ча2 (осмотр)». Затем мы визуализируем комбинированное встраивание Ex04 + PW, которое также является основным фонетическим признаком, который мы используем в нашей модели на рис. 5 (c). Неудивительно, что мы наблюдаем, что эта функция сочетает в себе характеристики как из Ex04, так и из PW, потому что это встраивание кластеров не только фонетическое сходство, но и семантическое сходство.Наконец, мы визуализируем слитное вложение T + P на рис. 5 (d). В дополнение к характеристикам, отображаемым в Ex04 + PW (P), объединенный T + P дополняется китайскими текстовыми символами. Например, 沐 Mu4 и 浴 Yu4 остались вместе из-за семантики (ванна).桓 Huan2 и 寰 Huan2 остались вместе из-за фонетики. Можно сделать вывод, что слитные вложения захватывают определенную фонетическую информацию из фонетических признаков и семантическую информацию из текстовых встраиваний. Это показывает нам, почему фонетически обогащенное текстовое представление может повысить эффективность анализа тональности по сравнению с чистым текстовым представлением.

V Заключение

Современная система произношения китайского языка (пиньинь) обеспечивает новый взгляд на китайский язык в дополнение к системе письма. Ожидается, что благодаря своей глубокой фонематической орфографии и интонационным вариациям он внесет новый вклад в статистическое представление китайского языка, особенно в задаче анализа настроений.

Насколько нам известно, мы первые представили подход к изучению фонетической информации из пиньинь (как из аудиоклипов, так и из корпуса токенов пиньинь) и спроектировали сеть для устранения неоднозначности интонаций.Используя изученную фонетическую информацию, мы интегрируем ее с текстовыми и визуальными функциями для создания новых китайских представлений. Эксперименты с пятью наборами данных продемонстрировали положительный вклад фонетической информации в анализ настроений китайцев.

Несмотря на то, что наш метод исследует только китайский язык, он предполагает больший потенциал для языков, которые также имеют характерную глубинную фонематическую орфографию, таких как арабский и иврит. В будущем мы планируем расширить работу в следующих направлениях: во-первых, мы хотели бы изучить более совершенные методы слияния, позволяющие комбинировать различные модальности; во-вторых, мы хотели бы изучить фонетическую информацию на уровне слов.

Аналоговый фонетико-слоговой словарь

% PDF-1.5 % 976 0 объект > / PageLayout / TwoPageRight / Pages 946 0 R / Type / Catalog / ViewerPreferences >>> эндобдж 973 0 объект > поток 2014-01-27T09: 13: 52-05: 002012-06-04T23: 54: 41Z2014-01-27T09: 13: 52-05: 00Оцифровано Интернет-архивом / pdf

Глава 1 Фонетика и фонология

Ориентир речевой огибающей для кодирования слога в верхней височной извилине человека

ВВЕДЕНИЕ

Самым основным представлением речевого сигнала является акустическая форма волны (рис. 1A). Он четко определяется волнообразной последовательностью пиков и спадов в профиле интенсивности с течением времени.Эти модуляции интенсивности речи улавливаются огибающей низкочастотной амплитуды речи и имеют решающее значение для разборчивости речи ( 1 — 4 ). Хорошо известно, что нейронная активность в слуховых областях отражает эти колебания в речевой оболочке ( 5 ), но нейронные вычисления, лежащие в основе этого представления, активно обсуждаются.

( A ) Акустическая форма волны из примера предложения, его огибающая амплитуды (черный) и скорость полувеличенного изменения амплитуды (фиолетовый). Стрелками отмечены локальные пики огибающей (peakEnv) и скорость изменения огибающей (пиковая скорость) соответственно. ( B ) Частота появления слоговых границ, циклов конверта, пиков в конверте и пиков скорости изменения конверта в непрерывной речи во всех предложениях в наборе стимулов. Все события происходят в среднем каждые 200 мс, что соответствует частоте 5 Гц.( C ) Средний отклик HGA на предложение в (A) для электрода E1 (желтый). Прогнозируемый ответ, основанный на представлении огибающей с задержкой по времени (синий), сильно коррелирует с нейронным откликом для этого электрода E1 и примерного предложения ( R ² = 0,58). ( D ) Схема модели временного рецептивного поля (TRF). Нейронный ответ моделируется как свертка линейного фильтра и временного ряда стимула в предыдущем временном окне. ( E ) Разница в нейронном ответе, объясненная представлением мгновенной огибающей амплитуды электродов верхней височной извилины (STG) на примере участников.Нейронная активность в кластере электродов в среднем STG следует за речевой оболочкой. n.s., не имеет значения. ( F ) Прогнозируемый нейронный ответ на примерное предложение, основанный на дискретных временных рядах событий peakEnv (вверху) и событий peakRate (внизу) в электроде E1. Обе модели дискретных событий превосходят модель непрерывной оболочки, показанную на (C). ( G ) Коробчатая диаграмма распределений R ² для мгновенной огибающей, моделей peakEnv и peakRate и перемешанных нулевых распределений.Столбцы представляют собой квантили 0,25 и 0,75, соответственно, по электродам. Обе модели дискретных событий значительно лучше, чем модель непрерывной оболочки, но существенно не отличаются друг от друга, ** P <0,05. ( H ) Часть дисперсии, объясняемая моделями непрерывной огибающей (Env), пикового значения (pEnv) и пикового значения (pRate) в отдельных реагирующих на речь электродах, которые отслеживают огибающую. Каждая точка представляет один реагирующий на речь электрод.

Одна из преобладающих моделей состоит в том, что кора головного мозга содержит аналоговое представление о покинутых колебаниях огибающей амплитуды, основанное на хорошо задокументированной нейрофизиологической корреляции между корковой активностью и огибающей амплитуды речи ( 6 — 8 ) .В качестве альтернативы было высказано предположение, что кора головного мозга обнаруживает дискретные акустические ориентиры. Наиболее заметными предполагаемыми ориентирами являются пики в огибающей ( 9 , 10 ) и быстрое увеличение амплитуды (также называемое краями слухового начала) ( 11 — 13 ). Таким образом, фундаментальный вопрос заключается в том, является ли кортикальное представление речевой оболочки аналоговым или дискретным; и если дискретный, то какой ориентир представлен.

Непонятно зачем нужна огибающая амплитуды для разборчивости.Одного его недостаточно для понимания ( 14 ), и он не содержит спектральных сигналов от фонетических единиц согласных и гласных. Поскольку модуляция огибающей коррелирует со скоростью слога, общая интерпретация заключается в том, что конверт лежит в основе обнаружения границ слога в непрерывной речи. Однако прямых доказательств нейронного извлечения слоговых границ из конверта не хватает. Понимание того, какие функции в конверте закодированы и как они соотносятся с лингвистической информацией, поможет нам лучше понять, какие аспекты речевого сигнала наиболее важны для понимания.

Проблема в понимании нейронного кодирования речевого конверта состоит в том, что изменения амплитуды сильно коррелируют с одновременными изменениями фонетического содержания. Одна из основных причин заключается в том, что гласные обладают большей акустической энергией (звучностью), чем согласные. Следовательно, трудно установить, является ли кодирование специфичным только для амплитудных модуляций или для одновременного спектрального содержания, связанного с фонетическими переходами.

Наша цель состояла в том, чтобы определить критические особенности оболочки, которые закодированы в непервичной слуховой коре в верхней височной извилине человека (STG), которая играет важную роль в фонологической обработке речи.STG человека является вероятным локусом коркового представления широкополосной огибающей из-за его сложной спектральной избирательности ( 15 ), в отличие от узкой настройки частоты в первичной слуховой коре ( 16 , 17 ). Чтобы решить эту проблему, мы использовали прямые внутричерепные записи с высокой плотностью записи с кортикальной поверхности [электрокортикография (ЭКоГ)], чье высокое временное и пространственное разрешение позволило нам различать альтернативные модели. Высокое пространственное разрешение ЭКоГ позволило нам локализовать специфическую оболочку, кодирующую нейронные популяции на STG, и отличить их от нейронных популяций, кодирующих другие временные особенности, такие как начала или акустико-фонетические особенности ( 18 ).Высокое временное и пространственное разрешение ЭКоГ особенно полезно для изучения онлайн-обработки речи. Сигналы, записанные с помощью неинвазивных методов, таких как магнитоэнцефалография / электроэнцефалография (М / ЭЭГ), вероятно, отражают сочетание нейронных ответов на различные входные функции из-за пространственной близости их корковых представлений (например, огибающей, начала и спектральной фонетической структуры) . Определение того, как нейронно кодирует речевую оболочку, может переопределить нейролингвистическое понимание того, как мы воспринимаем временную структуру речи.

Во-первых, мы спросили, кодируют ли нейронные популяции STG мгновенные значения огибающей или обнаруживают дискретный ориентир ( 5 ). Результаты двух экспериментов, один с непрерывной речью с нормальной скоростью, а другой с замедленной речью, показали, что ответы STG кодируют огибающую амплитуды через вызванные ответы на акустические границы начала. Затем мы проанализировали лингвистическую структуру речи вокруг акустического начала и обнаружили, что они совпадают с гласными, таким образом представляя временную структуру речи на слоговом уровне.Кроме того, мы спросили, отличается ли кодирование огибающей амплитуды от обработки сложных спектральных паттернов, которые определяют согласные и гласные и кодируются в STG ( 18 , 19 ). Наконец, чтобы однозначно установить, кодируется ли огибающая амплитуды независимо от спектральных изменений, мы выделили нейронные ответы на амплитудные модуляции в дополнительном эксперименте с амплитудно-модулированными неречевыми тонами, которые предоставили сходящиеся доказательства кодирования пиковой скорости в среднем STG.

РЕЗУЛЬТАТЫ

Непрерывная речь: дискретные события извлекаются из речевой оболочки в двустороннем STG

Мы спросили, представляют ли нейронные популяции в STG человека мгновенные значения огибающей амплитуды или они обнаруживают дискретные во времени акустические ориентиры в конверте речи и закодируйте их возникновение и величину. Мы называем мгновенное представление таким, которое отражает амплитуду речевого сигнала в каждый момент времени.Мы сравнили это с двумя независимыми моделями кодирования выдающихся временных ориентиров: пиков в речевой огибающей (пиковое Env; рис. 1А, черные стрелки) и акустических границ начала, определенных как пики в первой производной огибающей (пиковая скорость; рис. 1А). , фиолетовые стрелки). На рис. 1A показано время появления каждого из этих ориентиров в предложении-образце, при этом пиковая скорость предшествует ориентирам peakEnv внутри каждого цикла огибающей (между двумя последовательными впадинами огибающей). Оба ориентира появляются в каждом цикле конверта (т.e., огибающая между двумя последовательными впадинами), так что начало цикла огибающей, события peakRate и peakEnv одинаково часто встречаются в речи (рис. 1B). Также обратите внимание, что все три события происходят так же часто, как отдельные слоги, что является предпосылкой для того, чтобы одно из этих событий служило маркером слогов.

Мы использовали записи ЭКоГ с высокой плотностью в боковой височной доле 11 участников (четыре левых полушария; сведения о пациентах см. В таблице S1), которые проходили клинический мониторинг трудноизлечимой эпилепсии и добровольно участвовали в исследовании.Участники пассивно слушали 499 предложений из акустико-фонетического корпуса TIMIT ( 20 ) (см. Пример предложения на рис. 1A). Мы извлекли аналитическую амплитуду нейронных ответов в высоком гамма-диапазоне (HGA; от 70 до 150 Гц), который тесно связан с локальным возбуждением нейронов и может отслеживать нейронную активность с высокой скоростью естественной речи ( 21 ).

Чтобы сравнить три модели кодирования конверта, мы сначала проверили, насколько хорошо нейронные реакции могут быть предсказаны по каждой модели.Для модели мгновенной огибающей мы использовали стандартный подход взаимной корреляции нейронной активности и речевой огибающей, чтобы определить оптимальное запаздывание, при котором нейронный ответ больше всего напоминает речевую огибающую. Чтобы смоделировать нейронные данные как серию вызванных ответов на события peakEnv или peakRate, мы использовали множественную регрессию с задержкой по времени [также известную как оценка временного рецептивного поля (TRF); Рис. 1D] ( 22 ). Эта модель оценивает зависящие от времени линейные фильтры, которые описывают нейронные реакции на отдельные предсказательные события.Все модели были обучены на 80% данных, а затем протестированы на оставшихся 20%, которые были задержаны при обучении, повторены пять раз для полной перекрестной проверки. Сравнение моделей проводилось на основе проведенного набора тестов R ² значений. Для сравнения между моделями мы исключили начало предложения, потому что оно вызывает сильные переходные реакции в заднем STG после периодов молчания, которые обычно встречаются в начале предложения или фразы, но не учитывают дисперсию, связанную с продолжающейся огибающей на протяжении всего высказывания ( 18 ).

В репрезентативном электроде E1 HGA хорошо коррелировал с огибающей амплитуды речи [по предложениям тестового набора: R ² _{среднее} = 0,19, скорректированный коэффициент ложного обнаружения (FDR) P <0,001, R ² _макс. = 0,59, средняя задержка = 60 мс; Рис. 1C], но точность прогнозов была значительно выше для знаковых моделей (модель peakEnv: R ² _{среднее значение} = 0,63, с поправкой на FDR P <0.001, R ² _макс. = 0,89; Модель peakRate: R ² _{среднее значение} = 0,61, с поправкой на FDR P <0,001, R ² _max = 0,85; Рис. 1F). Этот рисунок сохранялся на всех реагирующих на речь STG-электродах (см. Рис. 1E для сетки электродов типичного пациента). А именно, HGA в 80% реагирующих на речь электродов коррелировал с речевой огибающей ( n = 220 электродов с перестановкой с поправкой на FDR P <0.05, от 6 до 42 на пациента, средняя оптимальная задержка: +86 мс, SD = 70 мс, R ² _{среднее} = 0,17, R ² _макс = 0,59; см. рис. S1A, например, следы от всех реагирующих на речь электродов). Однако среди этих электродов характерные модели превзошли модель мгновенной огибающей (модель peakEnv: R ² _{среднее значение} = 0,22, R ² _max = 0,65; модель peakRate: R ² _{означает} = 0.22, R ² _макс = 0,68; знаковые ранговые тесты для сравнения с моделью непрерывной огибающей между электродами, P <0,05), тогда как обе модели ориентиров одинаково хорошо предсказывали нейронные данные (знаковый ранговый тест, P > 0,5; рис. 1G). Примечательно, что на уровне одного электрода модели с разреженными ориентирами значительно превосходили модель огибающей (рис. 1H). Эти результаты демонстрируют, что нейронные ответы STG на речевую огибающую в первую очередь отражают дискретные ориентиры пикового значения пика или скорости, а не мгновенные значения огибающей.

Замедленная речь: выборочное кодирование ориентира peakRate

Затем мы хотели понять, какой из двух ориентиров управлял нейронными ответами на речевую огибающую в STG. Однако при естественной скорости речи события peakEnv и peakRate происходят в среднем в пределах 60 мс друг от друга (рис. 2B), поэтому подход модели кодирования, использованный выше, не может устранить неоднозначность между ними. Чтобы решить эту проблему, мы создали образцы медленной речи с более длинными циклами огибающей (рис.2, A и C) и, таким образом, также с более длинными временными окнами между событиями peakRate и peakEnv (рис.2Б). Эти предложения все еще были полностью разборчивыми ( 23 ) (см. Дополнительные материалы, где приведены примеры предложений и методов для технических деталей по замедлению речи) и имели тот же спектральный состав, что и исходные образцы речи (рис. 2E). Например, для речи, замедленной до ¹ / ₄ нормальной скорости, среднее время между последовательными событиями peakRate и peakEnv составляло 230 мс, что достаточно для нейронного ответа, вызванного функцией peakRate, чтобы вернуться к исходному уровню до появления ориентира peakEnv.Четыре участника прослушали набор из четырех предложений, которые были замедлены до ¹ / ₂ , ¹ / ₃ и ¹ / ₄ исходной скорости речи (рис. 2A). Мы предсказали, что в контексте замедленных предложений вызванные ответы будут более явно связаны с одной из особенностей конверта (рис. 2F).

( A ) Вверху: Пример спектрограммы предложения при замедленной скорости речи ¹ / ₂ и ¹ / ₄ .Внизу: пример предложений peakEnv и peakRate для обеих скоростей речи. ( B ) Распределение задержки между событиями peakRate и последующими событиями peakEnv по всем предложениям задач с замедленной речью и в полном наборе стимулов TIMIT. Замедление увеличивает разницу во времени, и события становятся более диссоциированными во времени. ( C ) Распределение длительностей цикла огибающей по скорости речи, по всем предложениям с замедленной речевой задачей и в полном наборе стимулов TIMIT. Замедление предложения делает циклы конверта более изменчивыми, повышая различимость.( D ) Ответ HGA (оранжевый) на примерное предложение и нейронные ответы, предсказанные с помощью разреженных моделей peakEnv (черный) и peakRate (фиолетовый). Нейронные отклики предшествуют прогнозируемым ответам модели peakEnv, но точно соответствуют прогнозируемым ответам модели peakRate. ( E ) Средний спектральный состав аналогичен для стимулов с разной скоростью речи и для полного набора стимулов TIMIT. ( F ) Прогнозируемые нейронные ответы для отслеживания событий peakEnv (черный) и событий peakRate (фиолетовый) для речи с обычным темпом (вверху) и для медленной речи (внизу).На уровне 1 модели неотличимы. На уровне ¹ / ₄ модели предсказывают различное время вызванных ответов. ( G ) Сравнение результатов теста R ² значений для моделей peakRate и peakEnv по скорости речи во всех реагирующих на речь электродах STG. Поскольку скорость речи замедляется, модель peakRate лучше объясняет нейронные реакции, чем модель peakEnv. Каждая точка представляет собой один реагирующий на речь электрод. ( H ) Средняя разница (SEM) в R ² между моделями peakEnv и peakRate.Модель peakRate значительно превосходит модель peakEnv с коэффициентами ¹ / ₃ и ¹ / ₄ . ( I ) Среднее значение HGA после сопоставления с событиями peakEnv (слева) и peakRate (справа). Серая область обозначает окно пиков отклика для всех скоростей речи относительно возникновения события. При согласовании с событиями peakEnv время пика ответа становится раньше для более медленной речи. При согласовании с событиями peakRate время пика ответа остается постоянным для всех скоростей речи.( J ) Среднее значение (шкала ошибок, SEM на электродах) пиковая задержка HGA по скорости речи и выравниванию. Замедление речи приводит к сокращению задержки ответа по сравнению только с событиями peakEnv, так что оно происходит перед событиями peakEnv при самой низкой скорости речи.

На рис. 2D показаны нейронные отклики на одно предложение с разной скоростью речи для примера электрода, а также прогнозируемые отклики на основе моделей peakEnv и peakRate. Нейронные ответы на этом электроде имели одинаковое количество пиков для разных скоростей речи, что соответствовало одиночным циклам огибающей.При скорости ^1, / ₂ предсказания обеих моделей были почти идентичны, тогда как при скорости ¹ / ₄ отчетливо прослеживалось отставание между предсказаниями. В частности, предсказанные ответы, основанные на модели peakEnv, отставали как от прогнозов модели peakRate, так и от нейронного ответа.

Для всех реагирующих на речь электродов ( n = 55, от 5 до 20 на участника), мы обнаружили, что обе модели одинаково хорошо работали при исходной скорости речи и ^1, / ₂ .Однако с дополнительным замедлением модель peakRate становилась все лучше, чем модель peakEnv [линейный эффект скорости речи: b _{скорость} = 0,03, SE = 0,007, t (218) = 3,9, P = 10 ^-4 ; Рис. 2, G и H]. Мы также исследовали средние вызванные ответы, связанные с событиями peakEnv и peakRate при разных скоростях речи. Мы предсказали, что ответы должны быть надежно привязаны по времени к предпочтительному знаковому событию при любой скорости речи. Средние отклики на электродах, выровненные по событиям peakEnv (рис.2J, слева) выявил нейронный пик, который смещался назад с замедлением речи. Важно отметить, что когда речь замедлялась в 3 или 4 раза, нейронные пики с высокой гамма-амплитудой происходили одновременно или даже до событий пикового значения энтропии [тест против 0: скорость 3: b = 0, P = 1; скорость 4: b = -0,02, SE = 0,01, t (39) = 2,02, P = 0,05], что дает явные доказательства против кодирования ориентира peakEnv. Напротив, при согласовании с пиковым показателем нейронные ответы достигают пика с одинаковой задержкой при всех скоростях речи (рис.2J, справа), как показано на фиг. 2K [эффект взаимодействия между скоростью речи и выравниванием: F (1, 424) = 16,6, P <10 ^-4 ; влияние скорости речи на согласование с пиковымEnv: F (1, 209) = 20,13, P <10 ⁻¹⁰ ; основное влияние скорости речи на согласование с peakRate: F (1, 215) = 1,6, P = 0,2]. Три дальнейших анализа подтвердили этот результат. Во-первых, сравнение модели, включающей бинарные предикторы peakRate, и модели, включающей величину peakRate, показало, что включение величины peakRate увеличило модель R ² до 10% (рис.S1B). Во-вторых, сравнение нейронных откликов, сопоставленных с peakRate, по сравнению с peakEnv в естественной речи, подтвердило, что пиковая скорость выше модели peakEnv (рис. S2). В-третьих, сравнение между моделью peakRate и минимальной огибающей (minEnv) показало, что события peakRate предсказывают нейронные данные лучше, чем события minEnv (рис. S3). Более того, изменение задержки между акустическим и нейронным пиками также опровергает модель непрерывной огибающей, поскольку эта модель предполагает постоянную задержку между акустическим стимулом и соответствующими точками нейронного ответа.Примечательно, что тот факт, что нейронная реакция произошла в одно и то же время относительно начала стимула при всех скоростях речи (во время события peakRate), опровергает возможность качественно различной обработки естественных и замедленных речевых стимулов, особенно усиленной обработки сверху вниз. замедленной речи. Вместе данные медленной речи показывают, что нейронные ответы STG на огибающую амплитуды речи кодируют дискретные события в нарастающем наклоне огибающей, а именно максимальную скорость изменения амплитуды, отвергая альтернативные модели мгновенного представления огибающей и кодирования пиковой скорости.

Анализ речи показывает, что peakRate указывает на фонологическую структуру слогов.

Определив peakRate как свойство огибающей, закодированной в STG, мы стремились понять, как peakRate как акустически определенный временной ориентир соотносится с лингвистически определенной слоговой структурой речи. Слоги считаются временными строительными блоками слов, которые несут в себе модели скорости, просодии и ударения речи ( 24 ).

На рис. 3A показана первая строка сонета XVIII Шекспира (Shakespeare, 1609) с аннотациями лексического ударения, слоговых границ и лингвистически определенной внутренней структуры слогов: начала и рифмы (состоящей из ядра и кода) ( 25 ).Слоговое начало — это согласная или группа согласных, которая предшествует ядру слогового гласного, а рифма включает ядро ​​гласного и любые последующие согласные звуки (код). Универсальной особенностью слогов является то, что амплитуда (звучность) речи достигает максимума локально на слоговых ядрах (рис. 3B), даже если ядро ​​является согласным звуком, как в некоторых языках ( 26 ). Таким образом, мы предположили, что события peakRate будут отмечать переход между началом слога и его рифмой. Обратите внимание, что термин «начало слога» здесь отличается от использования нами ранее описанных акустических начал, которые относятся к началу предложений или фраз после долгого молчания.

( A ) Форма волны примера предложения с лексическим ударением, границами слогов, началом гласных и событиями peakRate. События peakRate совпадают с началом гласных, но не со слоговыми границами. Середина: Схема силлабической структуры в предложении-примере с выделением ударных и безударных слогов. ( B ) Схема профиля конверта для одного слога и лингвистическая структура слога.Пики интенсивности на силлабическом ядре относительно начала и кода. ( C и D ) Средняя спектрограмма речи, согласованная с событиями peakRate (C) и peakEnv (D). Вверху: средняя спектрограмма речи, привязанная к дискретному событию. События peakRate происходят во время максимального изменения энергии в частотных диапазонах, тогда как события peakEnv происходят во время максимальной интенсивности в частотных диапазонах. Внизу: Распределение латентности границ слога и начала гласного (ядра слога) относительно возникновения дискретного события.Начало ядра больше совпадает с событиями peakRate, чем с границами слогов. Для peakEnv оба распределения шире, чем для выравнивания peakRate. ( E ) Разница в относительном времени начала слога и гласного и временных ориентиров. Меньшая дисперсия указывает на то, что пиковая скорость является более надежным сигналом для начала гласных, чем пиковое энв, ** P <0,05. ( F ) Совместное появление пиковой скорости и гласных для ударных и безударных слогов отдельно в наборе стимулов TIMIT.PeakRate — чувствительный сигнал для переходов C-V, особенно для ударных слогов. ( G ) Распределение значений peakRate в ударных и безударных слогах. Выше значения peakRate 0,05 вероятность ударения слога составляет 90%.

Чтобы проверить это, мы проанализировали речевой сигнал вокруг событий peakRate в нашем наборе стимулов. В примере на рис. 3A слог / сумма / в слове «лето» имеет задержку между границей слога и событием peakRate, чтобы приспособиться к согласному с фрикативным началом / s /, в то время как событие пикового уровня совпадает с началом гласного. .Во всех предложениях интенсивность звука быстро увеличивалась в событиях peakRate (рис. 3C, вверху), что было связано с событиями peakRate, происходящими почти одновременно с лингвистически определенным переходом от начала слога к ядру слога (латентность между пикомRate и началом ядра гласного: медиана = 0 мс, среднее значение = 11 мс, стандартное отклонение = 50 мс; рис. 3B, внизу). Это соотношение было очень надежным, так как более 90% начала гласных находились в пределах 40 мс от события peakRate. Напротив, задержка между событиями peakRate и границами слогов была значительно больше и вариабельна (среднее значение = 90 мс, SD = 60 мс, t = -64, P <0.001; Рис. 3C).

Для сравнения, события peakEnv отмечают среднюю точку слоговых ядер, на которые указывают события peakRate, поскольку они происходят после событий peakRate и в пределах гласных (рис. 3D). Однако PeakEnv значительно менее точно определяет переход согласный-гласный (CV), чем peakRate (задержка между переходом peakEnv и CV: среднее значение = 72, SD = 55 мс; сравнение с бутстрапом peakRate P <0,05 для разницы в средних значениях). и дисперсии; рис. 3E). Таким образом, события PeakEnv информируют силлабическую структуру предложения, отмечая слоговые ядра, но не информативны в отношении внутренней структуры начала-рифмы слогов.

Помимо использования в качестве надежного временного ориентира для слогов, мы также обнаружили, что величина событий peakRate важна для различения безударных и ударных слогов. Лексическое ударение несет лексическую информацию на многих языках, включая английский (т. Е. Различая разные значения слов, например, in ínsight и incíte), поддерживает сегментацию непрерывной речи в словах ( 27 , 28 ) и является основой поэтический метр.Несмотря на частое сокращение слогов в непрерывной естественной речи, события пикового ритма отмечают более 70% ядер с ударением в целом и 89% ядер ударных слогов (рис. 3F и см. Рис. S4 для анализа немаркированных ядер ударных слогов). Величина peakRate была больше для ударных слогов, чем для безударных (чувствительность: d ′ = 1.06; рис. 3G). Таким образом, события PeakRate предоставляют необходимую информацию для извлечения времени прохождения слоговых единиц из непрерывной речи, критического перехода от начала к рифме в слоге и наличия силлабического ударения.В то время как многие теории постулируют роль оболочки для слоговой сегментации, т. Е. Обнаружения границ слогов, наши результаты предоставляют нейрофизиологические доказательства альтернативы тому, что peakRate является ориентиром для появления ядра слогового гласного, важность которого для когнитивной репрезентации Слоговая структура речи ( 29 , 30 ) и для обнаружения наиболее информативных частей речевого сигнала показана поведенчески ( 31 ).Примечательно, что связь между пиковым показателем частоты и началом ядра также сохраняется на двух других языках, испанском и мандаринском китайском (рис. S5).

Непрерывная речь: топографическая организация кодирования временных признаков в STG

Предыдущее исследование описывало кодирование предложения и фразы, начинающейся из тишины в задней STG, и кодирование спектрально-временных паттернов, соответствующих фонетическим признакам, в частности формантным гласным, в текущей речи в средний СТГ ( 18 , 19 ).Таким образом, мы стремились понять, как кодирование peakRate вписывается в эту глобальную организацию, и убедиться, что peakRate кодируется в дополнение к фонетическим функциям и началу в STG. С этой целью мы аппроксимируем нейронные данные с помощью расширенной модели регрессии с задержкой по времени, которая включала предикторы начала бинарных предложений, предикторы фонетических признаков согласных (взрывные, фрикативные, носовые, дорсальные, корональные и губные) и форманты гласных (F1, F2 , F3 и F4), в дополнение к peakRate (рис. 4A). Мы обнаружили, что 80% электродов достоверно реагировали, по крайней мере, на два признака, и что пиковая скорость наиболее часто кодировалась сама по себе (21 электрод) или совместно с началом предложения (73 электрода) или формант гласных (70 электродов; рис.4Б).

( A ) Линейные веса из модели кодирования с фонетическими характеристиками и событиями peakRate для четырех образцов электродов. Различные электроды показывают кодировку различных функций вместе с пиковой скоростью. ( B ) Количество электродов с различными комбинациями двух важных характеристик с наибольшими линейными весами на электродах STG. Предикторы формант гласных (синий) и предикторы согласных (оранжевый) объединены для визуализации.Onset и peakRate не заполнены по диагонали, поскольку содержат только один предиктор. Кодирование пиковой скорости происходит одновременно с различными фонетическими функциями [например, от E2 до E4 в (A)], но также может происходить изолированно [E5 в (A)]. ( C ) Анатомическое распределение электродов с первичным кодированием начала, пиковой частоты, гласных или согласных по всем электродам правого полушария. Начальное кодирование сгруппировано в заднем STG, а кодирование peakRate преобладает в среднем STG. Правый полушарие.( D ) Распределение модельных бета-значений для peakRate в левом и правом полушарии. ( E ) Слева: корреляция между положением электрода вдоль STG и пиковым коэффициентом бета. Справа: корреляция между положениями электродов вдоль STG и началом бета. Начальные бета-значения являются наибольшими в заднем STG, а бета-значения peakRate являются наибольшими в среднем STG.

Анатомически кодирование peakRate было наиболее заметно в среднем STG в обоих полушариях (слева: r = 0,18, P <0.05 и справа: r = 0,26, P <10 ^–5 ; Рис.4, В и Д). Этот паттерн отличался от анатомического распределения начальных ответов, которые были наиболее сильными в задней STG (слева: r = -0,29, P = 0,001; справа: r = -0,37, P <10 ^{— 10} ; рис. 4, C и E), что соответствует нашей предыдущей работе ( 18 ).

Мы не обнаружили разницы между левым и правым полушариями, кодирующими peakRate, что предполагает двустороннее кодирование этого признака (рис.4D). Однако, поскольку ни у одного из наших пациентов не было двустороннего охвата, могут существовать более тонкие различия во временной обработке между полушариями. Вместе эти результаты показывают, что кодирование временных характеристик охватывает карту от начала в заднем STG до пикового значения в среднем STG, тогда как спектральные структуры, которые соответствуют фонетическому содержанию, кодируются во всем STG ( 19 ).

Амплитудно-модулированные тона: одна только динамика нарастания амплитуды управляет нейронными откликами на пиковую частоту

Временные и спектральные изменения естественной речи по своей сути коррелированы.В результате одна потенциальная проблема заключается в том, что кодирование пиковой скорости фактически отражает спектральные изменения, которые происходят при переходе C-V в слогах ( 3 , 32 ). Поэтому мы спросили, отражают ли ответы STG на peakRate динамику нарастания амплитуды в отсутствие одновременных спектральных вариаций. С этой целью мы разработали набор неречевых амплитудно-модулированных гармонических тональных стимулов для подмножества из восьми участников.

Амплитудно-модулированные тональные стимулы содержали линейные изменения амплитуды, возрастающие от тишины (состояние перехода от тишины) или от «пьедестала» при базовой амплитуде на 12 дБ ниже пиковой амплитуды нарастания (состояние перехода от основания), как показано Инжир.5А. Эти два состояния были разработаны так, чтобы в целом походить на рост амплитуды в начале речи и во время продолжающегося высказывания, соответственно, но без каких-либо спектральных модуляций (например, переходов между гласными и формантными переходами) и вариаций пиковой амплитуды (например, разницы амплитуд между безударными и ударными гласными), коррелируют с ростом амплитуды речи. Длительность нарастания и пиковая амплитуда поддерживались постоянными для всех стимулов, тогда как время нарастания варьировалось параметрически (от 10 до 15 значений от 10 до 740 мс; см. Таблицу S1 для всех значений времени нарастания) как в условиях тишины, так и в условиях пьедестала.У стимулов были дополнительные восходящие и нисходящие наклоны, вместе обеспечивающие одинаковую продолжительность стимула. Чтобы упростить анализ в условиях тишины и пьедестала, мы описываем эти стимулы в терминах скорости изменения амплитуды [(пиковая амплитуда — базовая амплитуда) / времени нарастания, то есть крутизны нарастания амплитуды; Рис. 5B]. Поскольку амплитуда возрастала линейно, максимальная скорость изменения амплитуды (пиковая скорость) происходила в начале нарастания и была постоянной на протяжении всего подъема.

( A ) Тональные стимулы, использованные в неречевом эксперименте. Скорость нарастания амплитуды регулируется параметрически, но максимальная амплитуда и общая длительность тона согласовываются. ( B ) Связь между временем нарастания нарастания и пиковым значением, определенная как для речевых стимулов. Значение peakRate было достигнуто сразу после начала линейного изменения, поскольку амплитуда линейно возрастала. ( C ) Распределение эффекта по всем электродам.Восемнадцать процентов всех электродов показали значительный эффект взаимодействия между типом линейного изменения и peakRate, в дополнение к 72%, показавшим основной эффект типа линейного изменения и 36%, показавшим основной эффект peakRate. ( D ) Реакция HGA на тональные сигналы с тремя выбранными значениями времени нарастания в условиях перехода от тишины (RfS; слева) и от опоры (RfP; справа) в примере электрода E6, ** P <0,05 . ( E ) HGA от начала до пика в электроде E6 как функция от пикового значения пика, отдельно для условий перехода от тишины и перехода от опоры.E6 кодирует скорость изменения амплитуды в условиях перехода из состояния тишины, но не в условиях перехода из состояния опоры. ( F ) То же, что (C), например, электрод E7, ** P <0,05. ( G ) То же, что (D), например, электрод E7. E7 кодирует скорость изменения амплитуды при условии перехода от опоры, но не при условии перехода от тишины. ( H ) Сетка височной доли от примера пациента, с примерами электродов E6 и E7, отмеченных красным. Цветовые коды электродов для относительной величины эффекта peakRate на пиковом HGA в условиях тона.На HGA пурпурных электродов больше влияла пиковая скорость в состоянии подъема от подставки, а на HGA зеленых электродов коррелировали со значениями пикового значения в условиях нарастания из-за тишины больше, чем в условиях наклона от подставки. Размер электрода отражает максимальное значение HGA от начала до пика во всех условиях. ( I ) Наклоны peakRate влияют на пиковое значение HGA, отдельно для каждого условия нарастания. В цветных электродах взаимодействие условия нарастания × пиковая скорость было значительным. Два различных набора электродов кодируют скорость изменения амплитуды только при одном из двух условий.( J ) Линейные веса из модели множественной регрессии, которая предсказала линейные веса начала и пикового значения в речевой модели из наклонов пиковогоРита в модели тона по электродам. Представление амплитудных модуляций в начале и в продолжающихся звуках разделяется в речи и в неречевых тонах. Кодирование пиковой скорости для нарастания огибающей из тишины отделено от кодирования пиковой скорости в текущих звуках, в речи и в неречевых тональных стимулах.

Анализы были сосредоточены на тех же электродах, которые были включены в анализ речевой задачи ( n = 226 электродов на восемь пациентов, от 11 до 41 электрода на пациента).Из этих электродов 95% показали вызванные ответы на тональные стимулы [FDR-скорректированный для множественных сравнений P <0,05 для по крайней мере одного из эффектов в условиях линейного изменения × дисперсионный анализ времени нарастания (ANOVA) анализ пиковых амплитуд]. Разные скорости изменения были связаны с различиями в ответах HG, которые стереотипно начинались сразу после начала линейного изменения и достигли пика примерно через 120 мс. В частности, для стимулов с промежуточной и медленной скоростью изменения пик нейронной реакции HGA предшествовал пику амплитуды стимула (рис.S6A). Этот результат дополнительно подтверждает peakRate, а не peakEnv, как акустическое событие, которое управляет нейронными ответами ( 33 ). Более того, нейронные реакции на тоны, которые нарастают от пьедестала, возвращаются к исходному уровню между стимулом и началом нарастания сигнала, несмотря на неизменный уровень амплитуды тона (знаковый ранговый тест между HGA от 0 до 200 мс после начала стимула и HGA от 300 до 500 мс после начало стимула, P <10 ⁻¹⁰ ). Это обеспечивает дополнительное прямое свидетельство кодирования подъемов амплитуды, а не непрерывной огибающей или пиков амплитуды на STG.

Кроме того, в контрольном эксперименте мы проверили, будут ли нейронные отклики отличаться, если скорость изменения амплитуды будет варьироваться по возрастанию наклона огибающей. Нейронные ответы на линейно возрастающие рампы не отличались от ответов на стимулы с нелинейной динамикой нарастания амплитуды, для которых скорость изменения амплитуды была максимальной в начале нарастания, а затем замедлялась на протяжении нарастающего наклона огибающей ( n = 2 пациента) . Нейронные ответы на оба стимула были качественно идентичны и определялись значениями peakRate (см. Рис.S7).

Амплитудно-модулированные тона: отчетливое кодирование начала и амплитудной модуляции в тональных стимулах

Затем мы хотели проверить, как скорость нарастания амплитуды изменит величину нейронных ответов и будут ли нейронные ответы различаться между предыдущими контекстами, то есть начинается ли наклон с тишины (начало аналоговой речи) или с пьедестала (как в продолжающейся речи). Мы сосредоточили следующий анализ на влиянии динамики роста амплитуды на величину от начала до пика ответов HGA, определяемую как разность между HGA во время начала линейного изменения и на пике HG.Мы проверили, как пиковое значение HGA зависит от состояния нарастания (нарастание от пьедестала против наклона от тишины) и значений peakRate, подбирая общую линейную модель с предикторами состояния тона, peakRate и их линейным взаимодействием, отдельно для каждого электрода.

Тональные стимулы вызывали устойчивые ответы в электродах, расположенных в задней и средней STG (см. Рис. 5G, например, электродную сетку), с более сильными ответами на скачки, начиная с тишины (среднее значение b = 0,3212 из 243 электродов с P <0.05; точный биномиальный тест против вероятности наблюдения эффекта на 5% электродов, P <10 ⁻⁴ ; Рис. 5C). Более того, на подмножестве электродов STG пик HGA модулировался с помощью параметра peakRate с более выраженными нейронными ответами на быстрорастущие линейные изменения (среднее значение b = 0,2 на 90 из 243 электродов с P <0,05; точный биномиальный тест против уровня вероятности наблюдения влияние на 5% электродов, P <10 ^-4 ; Рис. 5C). Подобно нашим результатам в речи, некоторые электроды кодировали пиковую скорость только при одном из двух условий линейного изменения, что приводило к значительному эффекту взаимодействия на 45 электродов (18% каналов; точный биномиальный тест против уровня вероятности наблюдения эффекта на 5% электродов. , P <10 ^-4 ).

Электроды E6 (фиг. 5D) и E7 (фиг. 5F) иллюстрируют два образца реакции, которые управляют этим эффектом взаимодействия, с эффектом отрицательного взаимодействия в E6 и положительным эффектом взаимодействия в E7. Амплитуда вызванных откликов в электроде E6 уменьшалась с увеличением peakRate в состоянии перехода от тишины ( b = 0,3, P <0,05), но не зависела от peakRate в состоянии перехода от пьедестала [ b = 0,08, P > 0,05; Рис. 5, C (справа) и E для пика HGA при всех условиях времени нарастания; линейное взаимодействие условий линейного нарастания × пиковая скорость: b = -0.29, P <0,05]. Электрод E7 показал противоположную картину, с уменьшением HGA для более низких значений peakRate в условиях наклона от пьедестала ( b = 0,32, P <0,05; рис. 5F, справа), но никакого влияния peakRate под условие перехода из-за тишины [ b = 0,04, P > 0,05; Рис. 5, F (слева) и G для пика HGA при всех условиях времени нарастания; линейное взаимодействие условий линейного нарастания × пиковая скорость: b = 0,21, P <0.05]. В целом, нейронная активность на электродах с эффектом отрицательного взаимодействия ( n = 27; зеленый на рис. 5J) кодировала peakRate в состоянии перехода от тишины, но не в состоянии перехода от пьедестала, тогда как электроды с положительным Эффект взаимодействия ( n = 18; фиолетовый на фиг. 5J) закодировал peakRate только при условии перехода от пьедестала (кодирование начала и пика было одинаково независимым в речевых данных; см. фиг. S8).

Эти результаты демонстрируют, что нейронные популяции на STG-кодирующей амплитуде возрастают независимо от других сопутствующих сигналов в речи.Путем параметрического изменения peakRate отдельно от других параметров амплитуды эти данные убедительно подтверждают идею о том, что представление STG огибающих амплитуды отражает кодирование дискретных слуховых краев, отмеченных временными точками быстрых изменений амплитуды. Эти данные также выявили заметную двойную диссоциацию между контекстным кодированием peakRate в звуках, происходящих в тишине, и кодированием peakRate в амплитудных модуляциях текущих звуков, что указывает на то, что выделенные нейронные популяции отслеживают наступления после молчания, например.g., начала предложений и фраз и внутрисложные переходы.

Сравнение кодирования начальной и пиковой скорости в непрерывной речи и тонах с амплитудной модуляцией

Кодирование скорости изменения амплитуды аналогично для речевых и неречевых тонов . В конечном итоге мы проверили, отражает ли кодирование событий peakRate неречевыми тонами те же основные вычисления, что и обнаружение событий peakRate в речи. Мы рассудили, что если нейронная популяция, кодирующая амплитуду, увеличивается как в тонах, так и в речевых стимулах, то нейронные реакции на электродах, которые предпочтительно кодируют динамику нарастания амплитуды, возрастают для нарастания амплитуды, которое начинается в тишине (например.g., фиг. 5, D и E) также будет реагировать на начало предложения в речи (на что указывают высокие значения бета для предиктора начала в модели кодирования речи). И наоборот, мы ожидали, что электроды, которые кодируют динамику нарастания амплитуды для нарастания в текущих тонах (состояние нарастания от пьедестала; например, рис. 5, F и G), также будут кодировать события peakRate в предложениях [на что указывают высокие значения бета для peakRate в речевой модели TRF]. Чтобы проверить это, мы оценили, можно ли предсказать бета-значения речевой модели для начала и пикового значения бета-значений пикового значения одних и тех же электродов в условиях перехода от тишины и перехода от пьедестала.Две отдельные линейные множественные регрессии были подобраны для прогнозирования бета-значений речевой модели на основе значений бета-версии peakRate в задаче на тон (рис. 5K).

Мы обнаружили, что реакции на начало предложения в речи в значительной степени предсказывались путем кодирования пиковой скорости в линейных изменениях тона, начиная с тишины ( b = 0,64, SD = 0,11, P <10 ⁻⁷ ), но не отслеживанием пиковой скорости изменения тона в текущих тонах ( b = 0,06, SD = 0,14, P = 0.7), и эта разница была значимой (тест перестановки равенства оценок регрессии, P = 0,003). Аналогичным образом, кодирование событий peakRate после начала предложения в речи не было связано с кодированием роста амплитуды тона из тишины ( b = 0,02, SD = 0,06, P = 0,7), но оно было значительно предсказано кодированием роста амплитуды. динамика в текущих тонах ( b = 0,16, SD = 0,07, P = 0,02). Важно отметить, что это различие также было значительным (тест перестановки равенства оценок регрессии, P = 0.02). Этот анализ показывает устойчивое перекрытие между нейронными вычислениями, лежащими в основе отслеживания начала звука и динамикой амплитудной модуляции речи и тонов. Более того, это подтверждает функциональную и анатомическую диссоциацию между отслеживанием амплитудных модуляций в двух различных динамических диапазонах — в начале и в продолжающихся звуках.

ОБСУЖДЕНИЕ

Наши результаты демонстрируют, что определенная область слуховой речевой коры человека, средний STG, обнаруживает особую особенность огибающей: акустический начальный край (peakRate).Он не обрабатывает линейно мгновенную модуляцию текущей речевой огибающей или других событий, таких как пики, спады или смещения амплитуды. Таким образом, средний STG представляет речевую огибающую как серию дискретных во времени событий, а величина коркового ответа отражает скорость подъема огибающей. Обнаружение края выступает как гибкий вычислительный механизм для кодирования структуры непрерывной речи по скоростям речи ( 34 , 35 ), обеспечивая основу для временной организации речевого потока и дискретизируя его на серию событий на основе амплитуды. .

Согласно широко распространенному мнению в речевой нейробиологии, конверт позволяет анализировать речь на фрагменты, определяемые слоговыми границами ( 36 ). Однако окончательные доказательства нейронного кодирования границ слогов, которые более точно соответствуют впадинам в амплитудной огибающей ( 37 ), были неуловимы ( 2 , 38 ). Вместо этого peakRate обеспечивает временную структуру для организации речевого сигнала вокруг внутрисложного перехода между началом и ядром в каждом слоге и, в отличие от слоговых границ, передает важную фонологически значимую информацию, такую ​​как время перехода между началом и рифмой, скорость речи. и схемы силлабического ударения ( 27 , 28 ).

Наши результаты согласуются с основанными на ориентирах теориями распознавания речи ( 39 , 40 ), которые постулируют, что ориентиры на основе амплитуды являются необходимым уровнем анализа речи. Это подтверждается поведенческой психофизикой: например, введение только быстрого нарастания амплитуды до гармонических тонов, подобных гласным, может вызвать восприятие последовательности согласных и гласных ( 41 , 42 ), а повышение амплитуды критично для правильное восприятие временного порядка фонетических последовательностей ( 43 ).

Модель ориентира peakRate связывает относительно простое свойство слухового кодирования (обнаружение края) с лингвистическими свойствами слога. В фонологии относительная интенсивность соседних фонем (называемая звучностью) в слоге следует универсальной структуре. Звук всегда достигает пика на слоговом ядре, так что peakRate отмечает начало ядра. В английском языке это эквивалентно обозначению начала гласных. Однако в языках с согласными в слоговом ядре [e.g., Czech, Tashlhiyt Berber ( 26 )], peakRate по-прежнему будет отмечать ядро, потому что эти согласные звуки ядра являются наиболее звучными. То есть этот слоговый ориентир основан на амплитуде, а не на спектральных характеристиках гласного или согласного.

Переход начала-рифмы возникает из этого STG-представления конверта как основного аспекта слоговой структуры. Это хорошо согласуется с поведенческими данными. Например, в то время как слушатели часто расходятся во мнениях относительно расположения слоговых границ, они легко соглашаются с количеством слогов в высказывании и их ударением ( 44 ).Более того, существуют убедительные поведенческие свидетельства перцептивной специфичности начала и рифмы в слоге во многих языках (подавляющее большинство человеческих языков придерживается различия в начале-рифме в слогах. Однако даже для языков с другой структурой, например , языки мора, такие как японский, где начало и гласная образуют единицу, события peakRate могут вносить свой вклад, отмечая время мора, а величина peakRate может сообщать о количестве мор в слоге), а также обнаружение ориентир на этом переходе может подтвердить это.Например, путаница в речи часто возникает в одной и той же позиции слога (например, начала заменяются другими началами), сходство между словами легче распознается, если оно происходит по различению начала рифмы ( 45 ), и способность к различие между началом и рифмой является предиктором успешного освоения чтения ( 46 ).

Огибающая амплитуды является важной характеристикой звуков, а динамика огибающей амплитуды кодируется по всей слуховой системе различных моделей животных ( 47 ).Единичные записи вдоль слухового пути до вторичной слуховой коры показали, что время появления одиночных нервных спайков и частота их возбуждения отражают динамику подъемов оболочки ( 48 — 50 ). Кодирование огибающей в STG человека, возможно, происходит из представлений огибающей амплитуды на более низких ступенях слуховой системы. Таким образом, это, вероятно, не уникальное свойство обработки речи, а скорее универсальная акустическая особенность, имеющая прямую связь с лингвистической структурой речи.

Обнаружение краев также является центральным принципом обработки изображений. Предыдущая работа продемонстрировала, что аналогичные вычислительные принципы, а именно отслеживание первой и второй производных интенсивности сигнала, могут учитывать перцепционные и физиологические аспекты обнаружения краев при слухе и зрении ( 51 ). Кроме того, наши результаты повышают вероятность того, что отдельные нейронные популяции могут быть предназначены для обнаружения акустических границ в разных динамических диапазонах, таких как начала и изменения в стимуле.

Мы недавно сообщили, что весь задний STG кодирует начало речи из тишины. Здесь мы воспроизводим этот результат, а также показываем, что кодирование еще одной амплитудной реплики в текущей речи, пиковая скорость, локализовано в средней области STG, где оно вызывает вызванные ответы на более чем половине участков электродов, реагирующих на речь. Локальные нейронные популяции в каждой зоне могут быть настроены на определенные фонетические особенности ( 19 ). Таким образом, наши результаты создают корковую карту для основанного на ориентирах временного анализа речи в STG человека, которая закладывает основу для восприятия временной динамики речи, включая образцы стресса в повседневной речи, а также поэтический размер и рифму.

МЕТОДЫ

Участники

Двенадцати пациентам (две женщины) были имплантированы 256-канальные, субдуральные сетки ЭКоГ с расстоянием между электродами 4 мм в рамках лечения трудноизлечимой эпилепсии. Электродные сетки располагались над перисильвиевой областью одного из полушарий пациента (пять сеток левого и шесть правых полушарий). Размещение сетки определялось клиническими соображениями. Положение электродов было извлечено из постимплантационных компьютерных томографических снимков, зарегистрировано на структурной магнитно-резонансной томографии пациентов и наложено на трехмерные реконструкции кортикальных поверхностей пациентов с использованием специально написанного конвейера визуализации ( 52 ).У всех участников был нормальный слух и леводоминантная языковая функция. Десять участников были носителями английского языка. Двое участников были носителями испанского языка, но не знали английского. Поскольку мы не увидели разницы между их результатами и данными носителей английского языка, их данные были включены во все анализы. Исследование было одобрено Комитетом по исследованиям человека Калифорнийского университета в Сан-Франциско. Все участники дали информированное письменное согласие перед экспериментальным тестированием.Все пациенты участвовали в речевом эксперименте, подгруппа из четырех пациентов участвовала в эксперименте с медленной речью, а подгруппа из восьми пациентов участвовала в эксперименте с амплитудно-модулированным тоном (таблица S1).

Стимулы и процедура

Все стимулы подавались с комфортной внешней громкостью (~ 70 дБ) через динамики со свободным полем (Logitech), расположенные примерно в 80 см перед головой пациента, с использованием специально написанного MATLAB R2016b (MathWorks, www. .mathworks.com) скрипты.Речевые стимулы отбирались с частотой 16000 Гц, а тональные стимулы — с частотой 48000 Гц для представления в эксперименте. Участников просили внимательно слушать стимулы и могли держать глаза открытыми или закрытыми во время предъявления стимула.

Непрерывная речь (TIMIT)

Участники пассивно слушали выборку из 499 английских предложений из корпуса TIMIT ( 20 ), на которых говорили разные мужчины и женщины с разными североамериканскими акцентами.Данные в этой задаче были записаны в пяти блоках продолжительностью примерно 4 минуты каждый. Четыре блока содержали отдельные предложения, представленные только один раз во всех четырех блоках, а один блок содержал 10 повторений по 10 предложений. Этот последний блок использовался для проверки моделей TRF (см. Ниже). Предложения были длиной от 0,9 до 2,4 с и представлялись с интервалом между пробами в 400 мс. Акустический анализ корпусов испанского ( 53 ) и китайского ( 54 ), показанных на рис. S5 использовал те же методы извлечения амплитуды, что и для корпуса TIMIT.

Замедленная речь

Набор стимулов для замедленной речи состоял из четырех предложений, выбранных из блока повторения набора стимулов TIMIT, представленных с четырьмя разными скоростями речи: исходный, ¹ / ₂ , ¹ / ₃ , и ¹ / ₄ . Участники слушали стимулы блоками по 5 минут, которые содержали по три повторения каждого стимула с интервалом между пробами 800 мс. Каждый участник прослушал от трех до пяти блоков замедленной речи, что привело к повторению от 9 до 15 стимулов на каждого участника.Замедленные речевые стимулы были созданы с использованием алгоритма PSOLA (Pitch Synchronous Overlap and Add), реализованного в программном обеспечении Praat ( 55 ), который замедляет временную структуру речевого сигнала, сохраняя при этом его спектральную структуру постоянной ( 56 ). ).

Амплитудно-модулированные тона

В этом эксперименте с неречевым тоном участники пассивно слушали гармонические тоны, которые содержали нарастание амплитуды, начиная либо с тишины (условие перехода от тишины), либо от четко слышимой базовой амплитуды (состояние нарастания от опоры ; Рисунок.4А). Общая длительность нарастания амплитуды составила 750 мс. В условиях нарастания от пьедестала нарастанию предшествовали 500 мс, за которыми следовали 250 мс тонального сигнала с базовой амплитудой (на 12 дБ ниже пиковой амплитуды). Пиковая амплитуда наклона была одинаковой для разных условий. Амплитуда нарастания линейно увеличивалась от базовой линии / тишины, а затем сразу же снижалась до базовой линии / тишины на оставшуюся часть времени линейного нарастания. Время нарастания рампы принимало от 10 до 15 различных значений от 10 до 740 мс в зависимости от пациента (полный набор: 10, 30, 60, 100, 140, 180, 270, 360, 480, 570, 610, 650, 690, 720, и 740).В условиях перехода от тишины стимулы представляли собой гармонические тона с основной частотой 300 Гц и пятью гармониками (900, 1500, 2100, 2700 и 3300 Гц). В условиях перехода от пьедестала половина стимулов имела такую ​​же спектральную структуру, что и фон нарастания из тишины, а половина стимулов представляла собой чистые тона с частотой 1500 или 2700 Гц. С-взвешенная амплитуда была выровнена между гармониками. Поскольку нейронные реакции на линейный импульс не различались между гармоническими и чистыми стимулами, мы сообщаем обо всех анализах, объединенных по этим стимулам.Пациенты пассивно слушали 10 повторений каждого стимула. Порядок стимулов был псевдослучайным, и весь эксперимент был разбит на пять равных блоков примерно по 5 минут каждый.

Для сравнения между условиями мы преобразовали время нарастания рампы в скорость нарастания амплитуды, рассчитанную как Скорость изменения (1 с) = Ppeak-Pbaserise time (1), где P _пик и P _base являются звуковыми давление на пике кривой и на исходном уровне соответственно. Из-за линейной динамики нарастания скорость нарастания амплитуды достигла максимума в начале линейного нарастания и оставалась постоянной на протяжении всего подъема линейного нарастания, так что пиковая скорость была равна скорости нарастания амплитуды.

Анализ данных

Все анализы проводились в MATLAB R2016b (MathWorks, www.mathworks.com) с использованием стандартных наборов инструментов и написанных на заказ скриптов.

Сбор и предварительная обработка нейронных данных

Мы записали сигналы ЭКоГ с помощью многоканального усилителя PZ2, который был подключен к цифровой системе сбора сигналов RZ2 [Tucker-Davis Technologies (TDT), Алачуа, Флорида, США], с частотой дискретизации 3052 Гц. Звуковой стимул отделялся от выхода компьютера презентации и записывался в схеме TDT, синхронизированной по времени с сигналом ECoG.Кроме того, звуковой сигнал был записан с помощью микрофона и также был введен в RZ2. Ссылка на данные в усилителе была онлайн. Никаких дополнительных ссылок на данные не применялось.

Автономная предварительная обработка данных включала (в этом порядке) понижающую дискретизацию до 400 Гц, режекторную фильтрацию линейного шума на 60, 120 и 180 Гц, исключение плохих каналов и исключение плохих временных интервалов. Плохие каналы при визуальном осмотре определялись как каналы с чрезмерным шумом. Плохие временные точки определялись как временные точки с шумовой активностью, которая обычно возникала из-за артефактов движения, межприступных всплесков или нефизиологического шума.Из оставшихся электродов и временных точек мы извлекли аналитическую амплитуду в диапазоне высоких гамма-частот (от 70 до 150 Гц, HGA) с помощью восьми полосовых фильтров [гауссовские фильтры, логарифмически увеличивающие центральные частоты (от 70 до 150 Гц) с полулогарифмическим увеличение пропускной способности] с преобразованием Гильберта. Амплитуда высокого гамма-излучения была рассчитана как первый главный компонент сигнала в каждом электроде во всех восьми диапазонах высокого гамма-излучения с использованием анализа основных компонентов. Наконец, HGA была понижена частота дискретизации до 100 Гц и z -оценка относительно среднего значения и стандартного отклонения данных в каждом экспериментальном блоке.Все дальнейшие анализы основывались на полученных временных рядах.

Первоначальный выбор электрода

Анализы включали электроды, расположенные в верхних слуховых и речевых корках STG, которые показали устойчивые вызванные ответы на речевые стимулы, определенные как электроды, для которых модель линейного спектрально-временного кодирования ( 22 ) объяснила более 5 % дисперсии в наборе тестовых данных (см. ниже процедуру подгонки модели, которая была идентична процедуре подбора TRF).Анализы содержали 384 электрода, от 11 до 56 у отдельных пациентов.

Эксперимент с непрерывной речью (TIMIT)

Извлечение акустических характеристик . Мы извлекли широкую амплитудную огибающую речевых стимулов, используя метод удельной громкости, введенный Шотолой ( 57 ), который качественно идентичен другим широко используемым методам извлечения амплитуды ( 58 , 59 ). Этот метод извлекает аналитическую огибающую речевого сигнала, отфильтрованного в критических полосах на основе шкалы Барка ( 60 ), путем прямоугольного выпрямления сигнала в каждом банке фильтров, усреднения по всем полосам и полосовой фильтрации от 1 до 10 Гц ( Инжир.6). Затем мы вычислили производную полученных контуров громкости как меру скорости изменения огибающей амплитуды. Наконец, мы извлекли разреженные временные ряды локальных пиков в огибающей амплитуды (peakEnv) и ее производной (peakRate). Эта процедура привела к набору функций для каждого цикла огибающей амплитуды (определяемой как огибающая между двумя соседними локальными впадинами; рис. 1А, вставка): амплитуды пикового значения и пика скорости, их задержки относительно предыдущего впадения огибающей и общая продолжительность цикла.Обратите внимание, что мы не применяли пороговые значения для определения впадин или пиков; тем не менее, мы сохранили величину огибающей и ее производной на локальных пиках для всей подгонки модели, так что модели естественным образом взвешивали большие пики больше, чем маленькие пики. Мы также сравнили этот метод извлечения огибающей с широкополосной огибающей речевого сигнала, прошедшей фильтр нижних частот с частотой 10 Гц, что дало те же качественные результаты на протяжении всей статьи.

Общий подход к подгонке и сравнению моделей . Все модели прошли пятикратную перекрестную проверку: модели соответствовали 80% данных и оценивались на оставшихся 20% набора данных в виде корреляций предсказанных и фактических реакций мозга Пирсона. Затем корреляции были возведены в квадрат, чтобы получить R ² , меру доли дисперсии в сигнале, объясняемой моделью. Сравнение моделей проводилось на перекрестно проверенных значениях R ² , усредненных по всем пятикратным значениям, которые были рассчитаны отдельно для средних нейронных ответов (через 10 повторений) для каждого предложения тестового набора.Использование перекрестной проверки и тестирования моделей на удерживаемом наборе позволяет сравнивать модели между моделями разной сложности, например, между моделями с непрерывной огибающей и разреженными моделями peakRate ( 22 ). Формальные сравнения между значениями R ² на электродах проводились с использованием критерия суммы рангов Вилкоксона и порога значимости 0,05. Чтобы проверить значимость каждой модели для одиночных электродов, модели были переоборудованы 1000 раз на перетасованных данных, в результате чего были получены нулевые распределения на основе перестановок модели R ² .

Представление огибающей мгновенной амплитуды . Чтобы проверить, содержат ли нейронные данные представление мгновенных значений огибающей амплитуды, мы вычислили максимум взаимной корреляции между огибающими амплитуды речи и HGA, ограниченный положительными задержками (т. Е. Отставание нейронных данных от огибающей речи). Оптимальная задержка была определена на обучающем наборе данных, а соответствие модели затем оценивалось на независимом тестовом наборе (см. Выше).

Модель множественной регрессии с временной задержкой (TRF) .Чтобы определить, на какие особенности электродов акустических стимулов реагировали, мы сопоставили нейронные данные с моделями линейного временного рецептивного поля (TRF) с различными наборами речевых характеристик в качестве предикторов. Для этих моделей нейронный ответ в каждый момент времени [HGA ( t )] был смоделирован как взвешенная линейная комбинация характеристик ( f ) акустического стимула ( X ) в окне 600 мс перед этим. момент времени, в результате чего получается набор коэффициентов модели, b _{1…, d} (Рис.1C) для каждой функции f , с d = 60 для частоты дискретизации 100 Гц и включения функций из окна 600 мс. K = 1d∑ f = 1Fb (k, f) X (f, t − k) = HGA (t) (2)

Модели оценивались отдельно для каждого электрода с использованием линейной гребневой регрессии на обучающем наборе из 80% речевых данных. Параметр регуляризации оценивался с использованием 10-этапной процедуры начальной загрузки на обучающем наборе данных для каждого электрода отдельно. Затем было выбрано окончательное значение как среднее оптимальных значений по всем электродам для каждого пациента.

Для всех моделей предикторы и зависимые переменные были масштабированы от -1 до 1 перед входом в модель. Такой подход гарантировал, что все оценочные бета-значения не имеют масштабирования и их можно напрямую сравнивать между предсказателями, причем бета-величина является показателем вклада предсказателя в производительность модели.

Модель восприимчивого поля . Чтобы оценить степень перекрытия между отслеживанием огибающей амплитуды и кодированием фонетических признаков в электродах STG, мы также использовали модель множественной регрессии с временной задержкой, которая включала медианные значения первых четырех формант для всех гласных, а также место и манеру артикуляции согласных, кроме того. к предикторам начала и пика.Фонетические признаки и предикторы формант были приурочены к началу соответствующих фонем в речевом сигнале. Сравнение значений бета для различных предикторов было основано на максимальных значениях бета по временным точкам. Фонетические особенности этой модели были извлечены из синхронизированных по времени фонетических транскрипций корпуса TIMIT и стандартных фонетических описаний фонем американского английского. Форманты гласных экстраполировались с помощью свободно доступного пакета программ Praat ( 55 ).

Чтобы оценить значимость предикторов в моделях кодирования TRF, мы использовали процедуру начальной загрузки.Модель обновлялась 1000 раз на случайно выбранном подмножестве данных. Это было использовано для оценки распределений параметров модели. Значимость одного признака в модели была определена как минимум 10 последовательных значимых бета-значений для этого признака ( P <0,05 с поправкой Бонферрони для множественных сравнений между электродами).

Тест пространственного распределения . Пространственная организация электродов, кодирующих начала, пиковую частоту и фонетические особенности на STG, была протестирована путем корреляции значений бета ( b ) для каждого признака с расположением электродов вдоль передне-задней оси ( p ) проекция расположения электродов одного пациента на шаблоне MNI (Монреальский неврологический институт).Положительные корреляции указывают на более сильное кодирование в большем количестве передних STG, тогда как отрицательные корреляции указывают на более сильное кодирование в более задних STG.

Эксперимент с замедленной речью

TRF модели . Мы протестировали модели множественной регрессии с временной задержкой, которые были подогнаны к обучающим данным TIMIT, на данных из четырех условий скорости речи. Обратите внимание, что все четыре предложения, представленные в этой задаче, были частью набора тестов TIMIT, и, таким образом, функции, созданные для предложений TIMIT, были повторно использованы в этой задаче с соответствующей корректировкой задержек.Мы использовали качество подгонки моделей и сравнение моделей на каждой скорости речи в качестве индикатора того, сохранил ли STG представление мгновенной огибающей амплитуды или знаковых событий. Мы использовали линейную регрессию по электродам, чтобы проверить, изменяется ли разница между моделями peakEnv и peakRate в зависимости от скорости речи.

Выравнивание по акустическим ориентирам . Нейронные данные HGA были сегментированы вокруг появления ориентира peakEnv и peakRate (400 мс до и 600 мс после каждого ориентира) и усреднены в пределах каждого условия скорости.В анализ были включены все знаковые события ( n = 21), за исключением начала предложения. Мы извлекли задержку пиков HG относительно обоих ориентиров для каждого электрода. Поскольку оценки задержки очень чувствительны к шуму при низких отношениях сигнал / низкий, мы включили электроды только из верхнего квантиля амплитуд отклика в peakRate или peakRate, как оценивается в моделях TRF (от 5 до 20 на участника, всего 41). Влияние скорости речи и ориентира на пиковые задержки HGA оценивали с помощью двухстороннего дисперсионного анализа с повторными измерениями с коэффициентом скорости речи и ориентиром.

Эксперимент с амплитудно-модулированным тоном

Сбор и предварительная обработка данных . Сбор и предварительная обработка данных выполнялись так же, как и для речевых данных. Тем не менее, оценка z для задания на тон выполнялась отдельно для каждого испытания на основе среднего значения HG и дисперсии в течение 500 мс перед началом действия стимула. Ответы были усреднены по повторениям одного и того же условия нарастания и комбинации времени нарастания перед дальнейшим анализом.

Реагирование на тональные стимулы и выбор электродов .Поскольку нас интересовало, как речевые электроды реагируют на неречевые амплитудно-модулированные тона, был проведен анализ всех электродов, которые были включены в речевую задачу. Мы количественно оценили реакцию на начало линейного изменения как разность амплитуд от минимума до пика между HGA в окне 50 мс вокруг начала линейного изменения и максимальным HGA в окне 750 мс после начала линейного изменения.

Общая линейная модель амплитуд отклика . Мы проанализировали влияние типа нарастания (нарастание от тишины по сравнению с нарастанием от фона) на размах амплитуды отклика для каждого электрода отдельно, используя общую линейную модель с предикторами типа линейного изменения, временем нарастания логарифмического нарастания и их линейным взаимодействием. с порогом значимости, установленным на P <0.05 (без исправлений).

Благодарности: Мы благодарим К. Джонсона, К. Шрейнера, С. Нагараджана, С. Гринберга, А. Бреска, Л. Гамильтона, Дж. Даунера, П. Халлетта, М. Леонарда, Б. Мэлоуна и С. Танг за полезные комментарии и отзывы. Мы также благодарим Л. Гамильтона и Э. Эдвардса за предоставленный код для анализа данных TIMIT и других членов Chang Lab за помощь в сборе данных. Финансирование: Эта работа была поддержана грантами NIH (R01-DC012379 для E.F.C.) и Немецкого исследовательского совета (OG 105/1 до Y.О.). E.F.C. является исследователем Робертсона из Нью-Йоркского фонда стволовых клеток. Это исследование также было поддержано Нью-Йоркским фондом стволовых клеток, Медицинским институтом Говарда Хьюза, Фондом Макнайта, Фондом Шерла и Кея Курчи и Фондом Уильяма К.