Таблица международного фонетического алфавита.

Концепция IPA была впервые предложена Отто Джесперсеном в письме к Полу Пасси из Международной фонетической ассоциации и была разработана А. Дж. Эллис, Генри Свит, Дэниел Джонс и Пасси в конце 19 века. Его создатели стремились стандартизировать представление разговорной речи, тем самым избежав путаницы, вызванной несогласованными традиционными написаниями, используемыми на всех языках.IPA также должен был заменить существующее множество индивидуальных систем транскрипции. Впервые он был опубликован в 1888 году и несколько раз пересматривался в 20-м и 21-м веках. Международная фонетическая ассоциация отвечает за алфавит и публикует таблицу с его кратким изложением.

IPA в основном использует латинские буквы. Другие буквы заимствованы из других шрифтов (например, греческого) и изменены, чтобы соответствовать римскому стилю. Диакритические знаки используются для тонкого различения звуков и для обозначения назализации гласных, длины, ударения и тона.

IPA можно использовать для широкой и узкой транскрипции. Например, в английском языке есть только один звук t , который распознают носители языка. Следовательно, для обозначения каждого звука t необходим только один символ в широкой транскрипции. Если необходимо выполнить узкую расшифровку на английском языке, можно добавить диакритические знаки, чтобы указать, что буквы t в словах tap , pat и stem немного отличаются по произношению.

IPA не стал универсальной системой фонетической транскрипции, которую задумывали его создатели, и в Америке он используется реже, чем в Европе. Несмотря на общепризнанные недостатки, он широко используется лингвистами и в словарях, хотя часто с некоторыми модификациями. Певцы также используют IPA.

Фонетический анализ речевых корпусов

Фонетическая релевантность и фонематическая группировка речи в автоматическом обнаружении болезни Паркинсона

Материалы: речевые корпуса

В этом исследовании использовались пять речевых корпусов: Neurovoz, GITA, CzechPD, FisherSP и Albayzin. Первые три состоят из различных речевых задач пациентов с БП и соответствующих контрольных говорящих. Albayzin — это вспомогательный корпус, используемый для обучения различных UBM, как описано в подразделе «Методы», в то время как FisherSP использовался для создания FAM ³⁹ .

Neurovoz

Этот корпус содержит 47 человек с паркинсонизмом и 32 человека контрольной группы, родным языком которых является испанский кастильский. Подмножество, используемое в настоящем исследовании, содержит задание диадохокинетики (DDK) (повторение слоговой последовательности «па-та-ка»), шесть текстозависимых высказываний (TDU) и монолог (описание изображения). Речь производилась на комфортном голосовом уровне. Таблица 1 содержит транскрипцию и транскрипцию Международного фонетического алфавита (IPA) TDU.Все пациенты проходили фармакологическое лечение и принимали лекарство за 2–5 ч до записи речи ³⁹ . Комитет по этике больницы General Universitario Gregorio Marañón одобрил запись речи и соответствующие экспериментальные протоколы и методы в соответствии с Хельсинкской декларацией, разработанной Всемирной медицинской ассоциацией, и производными европейскими директивами. Подписанное информированное согласие было получено от всех выступающих.

Gita

Этот корпус содержит множество речевых задач от 50 пациентов с БП и 50 контрольных говорящих, чей родной язык — испанский колумбийский ⁴⁰ . В этом исследовании использовались три типа речевых задач из GITA: задание DDK («па-та-ка»), шесть TDU и монолог. Таблица 2 содержит транскрипцию и транскрипцию Международного фонетического алфавита (IPA) TDU. Запись этого корпуса и связанных с ним экспериментов соответствует Хельсинкской декларации и одобрена этическим комитетом клиники Ноэль в Медельине, Колумбия.Письменное информированное согласие было подписано каждым участником по данным авторов корпуса ⁴⁰ .

CzechPD

Подмножество CzechPD, использованное в этом исследовании, содержит только DDK-задачу (повторение слоговой последовательности «pa-ta-ka») от 20 недавно диагностированных и нелеченных носителей с PD и 14 контрольных, чей родной язык — чешский ²¹ . Это подмножество содержит только говорящих мужского пола.Запись этого корпуса и связанных с ним экспериментов соответствует Хельсинкской декларации и одобрена Комитетом по этике Главной университетской больницы в Праге. Все участники предоставили письменное информированное согласие, по словам авторов корпуса ²⁸ .

В таблице 3 показаны статистические данные о возрасте, поле, UPDRS и годах с момента постановки диагноза говорящих в трех корпусах.

Вспомогательные корпуса

Фонетический набор данных из корпуса Albayzin ⁴¹ также используется в настоящем исследовании. Этот фонетически сбалансированный набор данных, отобранный с частотой 16 кГц и квантованный с помощью 16 бит, содержит более 4800 высказываний (4,1 ч) на кастильском испанском языке вместе с их транскрипциями.

Кроме того, в этом исследовании использовался корпус FisherSP (Fisher Spanish), записанный Консорциумом лингвистических данных (8 кГц как частота дискретизации и 16 бит) для обучения и оценки автоматических распознавателей речи на испанском языке. Он включает около 163 часов телефонной речи носителей испанского языка из более чем 20 стран, а также их транскрипцию.

Методология

Общая методология этого исследования включала следующие основные этапы:

• Во-первых, некоторые испытания с использованием различных технологий распознавания говорящего были выполнены в соответствии с процедурой, проанализированной в предыдущем исследовании ³⁵ , чтобы установить базовый уровень для сравнения с предложенными новыми подходами.

• Затем FAM на испанском языке был обучен с FisherSP и использовался для сегментации и маркировки всех высказываний с соответствующими транскрипциями из трех корпусов: GITA, Neurovoz и Albayzin.

• Маркировка использовалась для идентификации токенов различных классов манер в этих трех корпусах и для создания нескольких моделей GMM-UBM, используя Албайзин в качестве UBM и корпуса паркинсонизма для адаптации. Три различных подхода , использующих группировку фонем, предлагаются для анализа важности различных категорий фонем для автоматического обнаружения PD. По возможности, также проводились испытания с использованием CzechPD для адаптации UBM.

• Наконец, несколько перекрестных исследований с использованием базовой процедуры и некоторых из предложенных подходов завершили и подтвердили предложенную методологию.

Общие соображения

Во всех предложенных подходах использовался один и тот же интерфейс; высказывания фильтровались и субдискретизировались до 16 кГц, если их частота дискретизации была выше. Затем сигналы были нормализованы и охарактеризованы с использованием производных Rasta-PLP + (Δ + ΔΔ) ³⁴ , при этом количество коэффициентов PLP ( F ) варьировалось в диапазоне {10… 20} с шагом 2. Длина кадров была установлена ​​на 15 мс с перекрытием 50%, с использованием окна Хэмминга и 5 коэффициентов в КИХ-фильтре, используемом для вычисления производных, поскольку это установка, которая привела к оптимальным результатам в предыдущем исследовании ³⁵ . В исходном состоянии и в новых предлагаемых подходах все доступные TDU были объединены для обучения одной и той же модели для всех испытаний, связанных с одним конкретным корпусом. Следовательно, изучаемые аллофоны не зависели от предложения.Испытания с перекрестной проверкой следовали стратегии k-кратных (11 раз). Ни одно из высказываний или кадров из динамика, используемого для адаптации UBM, не использовалось на этапе тестирования во время перекрестной проверки.

Наконец, что касается стадии классификации с использованием GMM-UBM в базовой линии и предлагаемых подходов, количество гауссиан G варьировалось в степенях 2 от 4 до 256.

Baseline

В базовых испытаниях все доступные речевые задачи из каждого корпуса паркинсонизма были использованы для адаптации нескольких UBM, обученных с помощью Албайзина.UBM — это модель GMM, которая оценивает функцию плотности вероятности, которая характеризует группу векторов признаков размерности D из определенного корпуса, используя линейную комбинацию гауссовых компонентов G . Этот UBM служит инициализацией окончательной модели GMM-UBM, которая в данном случае используется для обнаружения частичных разрядов. В этой работе результирующий GMM-UBM был получен посредством максимальной апостериорной (MAP) адаптации UBM с использованием каждого паркинсонического тела отдельно, метод, который аналогичен некоторым системам распознавания говорящих ³³ .Эта методология обеспечила точность до 85% в процитированном предыдущем исследовании ³⁵ .

Предлагаемые подходы и фонематическая группировка

Было проведено несколько типов испытаний с использованием только определенных акустических сегментов в речевом сигнале, которые соответствуют единственному предполагаемому классу манеры (идентифицированному посредством фонематической группировки), для обучения UBM и адаптировать его после адаптации MAP. В зависимости от того, где применялся процесс фонематической группировки, использовались три разных подхода: в наборе тестирования адаптации (GITA, Neurovoz или CzechPD), в корпусе UBM или в обоих. В каждом испытании GMM-UBM сначала адаптировались, а затем тестировались с использованием только одного конкретного паркинсонического корпуса и акустических сегментов, связанных только с одним классом манер: фрикативный, жидкий, носовой, взрывной или гласный. Аффрикатные сегменты не анализировались, так как они недостаточно представлены в TDU от GITA и Neurovoz (см. Таблицу 4). Одна из основных причин, по которой эта группа не представлена, заключается в том, что среди всех обсуждаемых здесь классов манер аффрикаты являются наименее распространенным классом в испанском языке, составляя менее 3% от общего числа фонем ⁴² .

Чтобы разделить акустические сегменты фонемно на группы, каждая из которых соответствует одному намеченному классу манеры, в Kaldi ⁴³ был создан испанский FAM ³⁹ , который затем использовался для сегментации и маркировки GITA, Neurovoz и Albayzin. Затем, после вычисления векторов признаков, содержащих коэффициенты D Rasta-PLP + Δ + ΔΔ для всех кадров речевых высказываний, они были распределены в соответствующие группировки в соответствии с их фонематическими метками для обучения, адаптации или тестирования в корпуса, в которых применялась фонематическая группировка, в зависимости от эксперимента.

В первом подходе ( raw-phon ) фонематическая группировка применялась только к TDU корпусов тестирования адаптации (Нейровоз и GITA, используемые отдельно). Описание этого подхода показано на рис. 3. Обозначение raw-phon указывает на то, что мы не применяли процесс фонематической группировки к корпусу UBM ( raw ), в то время как мы применяли его к корпусу адаптации ( phon ).

Первый предложенный подход ⁵ .Методология фонематической группировки применяется к паркинсоническому корпусу ( raw-phon ).

Во втором подходе ( фон-фон ) был проведен новый раунд испытаний, исходя из тех же предпосылок, но преследуя теперь также фонематическую группировку в UBM (Албайзин). Описание второго подхода представлено на рисунке 4.

Второй предлагаемый подход ⁵ . Методология фонематической группировки применяется к корпусам паркинсонизма и UBM ( фон-фон, ).

Удобно отметить, что в этих двух первых подходах фонематическая группировка применялась как к обучению (адаптации), так и к проверке высказываний в паркинсонических телах. Таким образом, полученные системы моделировали только одну категорию фонематической манеры за раз (фрикативный, взрывной и т. Д.), И на этапе тестирования использовались только определенные акустические сегменты, связанные с каждой категорией. Таким образом, два первых подхода и связанные с ними раунды испытаний позволили проанализировать важность различных категорий фонематической манеры в автоматическом обнаружении частичных разрядов с использованием связанной речи.В этих двух первых подходах использовались только TDU от GITA и Neurovoz, поскольку это были единственные записи, которые включали транскрипции.

В третьем подходе ( phon-raw ) фонематическая группировка применялась только к корпусу UBM, чтобы проанализировать важность инициализации GMM-UBM. В этом последнем подходе были задействованы все три паркинсонических корпуса без какого-либо принудительного выравнивания. Отдельно рассматривались TDU, монологи и DDK-задания от ГИТА и Нейровоза.Также использовалась задача DDK от CzechPD, поскольку считалось, что эта задача имеет аналогичные фонетические характеристики в трех паркинсонических корпусах и может использоваться для адаптации UBM независимо от родного языка говорящего (испанского или чешского). На рисунке 5 показана схема третьего подхода.

Третий предлагаемый подход ⁵ . Методология фонематической группировки применяется к корпусу UBM ( phon-raw ).

Цель этого последнего подхода состояла в том, чтобы предоставить классификаторы GMM-UBM, которые более точны при моделировании определенного типа акустического сегмента, но без полного исключения остальных акустических сегментов, присутствующих в подмножестве адаптации; Таким образом, последний подход отличался от двух предложенных ранее подходов. Во-первых, мы считаем, что после взрывной группировки (как и для любой другой фонематической группировки) корпуса UBM мы получим два типа акустических сегментов: те, которые включают только кадры, относящиеся к взрывчатым веществам, и те, которые содержат кадры, которые также имеют информацию о соседних звуках. Этот последний тип кадров возникает около начальной или конечной частей взрывного, где кадр может включать в себя часть начала (или окончания) взрывного устройства и часть соседнего звука, когда кадр совпадает с переходом в или из соседний гласный.Учитывая это, рис. 6 иллюстрирует пример взрывной группировки только в UBM. В этом примере большинство гауссиан UBM в верхней части рисунка — в данном случае пять — были смоделированы с использованием только взрывных веществ (plos), тогда как два других гауссиана UBM в нижней части возникли из менее обильных кадров, содержащих информацию о взрывных звуках вместе с информацией о других соседних акустических сегментах — в основном гласных- (plos-vow). Учитывая использование задачи DDK («па-та-ка») в качестве речевого материала для адаптации MAP, наша гипотеза состоит в том, что достаточная статистика ³³ получена из взрывных сегментов, присутствующих в высказываниях адаптации ([p], [ t], [k]) имеют тенденцию выполнять адаптацию гауссиан, созданных в UBM, с использованием только взрывных устройств.С другой стороны, достаточная статистика, полученная из оставшихся сегментов ([a]), имеет тенденцию адаптировать два других гауссиана из UBM, которые находятся ближе к этим сегментам. Таким образом, полученный GMM-UBM моделирует особенности, происходящие из нескольких типов акустических сегментов, но больше ориентирован на взрывные вещества. Следовательно, обобщая, фонематическая группировка корпуса UBM дает модели GMM-UBM, ориентированные либо на фрикативные, жидкостные, носовые, взрывные или гласные, в зависимости от фонематической группировки, но с учетом также в меньшей степени остальных акустических сегментов.

Представление гауссианов в третьем подходе ( фон-сырье ). {c}) \, , $$

(1)

, где p ( x _n | Γ ^c ) — гауссова плотность класса c ( c может быть PD или Ctrl) для вектора признаков x _№ .{{\ rm {Ctrl}}}. $$

(2)

Чтобы вычислить классовую принадлежность определенного высказывания из тестового набора, его оценка сравнивалась с порогом, λ , чтобы доказать гипотезу принадлежности этого высказывания к паркинсоническому классу, H _PD . Если оценка Λ _u была выше, чем λ , гипотеза принималась; в противном случае гипотеза была отвергнута. Во всех подходах, проанализированных в этом исследовании, этот порог определялся равной частотой ошибок (EER) ⁴⁴ баллов, полученных с оценками данных адаптации.

Объединение оценок

После анализа результатов всех подходов было изучено объединение оценок из подхода, обеспечивающего наилучшую точность, и площади под кривой ROC (AUC). Для каждого корпуса оценки говорящего, полученные из пяти возможных фонематических групп (фрикативный, жидкий, назальный, взрывной и гласный), были объединены после всех возможных комбинаций из n — кортежей , начиная от 2- кортежей от до 5. — кортежей . Чтобы получить окончательную оценку, полученную путем объединения нескольких оценок, была использована логистическая регрессия.Следовательно, для данного говорящего и речевого задания новый балл был рассчитан с учетом от двух до пяти баллов, полученных этим говорящим и заданием, причем каждый балл получен из другой фонематической группы. Учитывая, что F — это количество коэффициентов PLP, а G — количество гауссиан на GMM, были объединены только оценки, полученные с теми же F и G . Например, для получения слияния оценок «фрикативный-жидкий-гласный» для определенного испытания использовались три отдельных балла от каждого говорящего для категорий «фрикативный», «жидкий» и «гласный» соответственно, полученные с одинаковыми F и G сплав.

Межкорпоративная проверка

Наконец, была проведена процедура межкорпоративной проверки с учетом базовой линии и третьего подхода ( phon-raw ), в котором мы применили процесс фонематической группировки к корпусу Albayzin для получения пяти различных типы UBM, которые впоследствии были адаптированы и протестированы с помощью задач DDK из паркинсонических корпусов. В частности, было проведено три раунда испытаний: в каждом из них два корпуса использовались совместно для адаптации модели, а оставшийся корпус использовался исключительно для тестирования.Поэтому было создано несколько моделей с колонками от GITA и Neurovoz и протестированных на CzechPD; другие модели, созданные в GITA и CzechPD и протестированные в «Нейровозе»; и третья группа моделей адаптирована с использованием высказываний из Нейровоза и CzechPD и протестирована с GITA. В этом случае использовались те же интерфейс, параметры классификации и процедуры оценки, что и для остальной части экспериментального набора. Различия между кросс-валидацией и кросс-корпоративной валидацией показаны на рис.7.

Схема испытаний. На диаграмме классификаторами являются GMM-UBM, где UBM обучается с помощью Албайзина. ( A ) Схема перекрестных проверок (11 раз). Классификаторы могут быть отнесены к любому типу фонематической группировки (щелевой, жидкий, носовой, взрывной или гласный) или подходу (базовый уровень, raw-phon, phon-phon или phon-raw ). ( B ) Схема межкорпоративных испытаний. Классификаторы можно отнести к любому типу фонематической группировки.В кросс-корпусных исследованиях использовались только исходный уровень и предлагаемый подход, приводящие к наилучшим результатам в испытаниях с перекрестной проверкой.

Фонетический анализ речевых корпусов (9781405199575): Харрингтон, Джонатан: Книги

В каждой главе есть обширный набор упражнений с ответами, чтобы закрепить представленные техники. Обзор необходимых программных инструментов, включая язык программирования R, позволяет читателю дублировать этапы анализа в вычислительном отношении. Ясно изложенная, с простыми для понимания компьютерными командами, спектрограммами речевых корпусов и сопутствующим веб-сайтом с большим количеством иллюстраций и загружаемых речевых корпусов для целей тестирования, эта книга представляет собой полный ресурс для исследований, все чаще проводимых в области фонетики.

с задней стороны обложки

В каждой главе есть обширный набор упражнений с ответами, чтобы закрепить представленные техники. Обзор необходимых программных инструментов, включая язык программирования R, позволяет читателю дублировать этапы анализа в вычислительном отношении. Ясно изложенная, с простыми для понимания компьютерными командами, спектрограммами речевых корпусов и сопутствующим веб-сайтом с большим количеством иллюстраций и загружаемых речевых корпусов для целей тестирования, эта книга представляет собой полный ресурс для исследований, все чаще проводимых в области фонетики.

Об авторе

Джонатан Харрингтон — профессор Института фонетики и обработки речи (IPS) Мюнхенского университета, Германия. Его недавние исследования были в основном сосредоточены на моделировании акустических и перцептивных механизмов изменения звука. Он является соредактором книг Speech Production: Models, Phonetic Processes, and Techniques (с Марией Табейн, 2006) и Techniques in Speech Acoustics (со Стивом Кэссиди, 1999).

Справочник МПА | Международная фонетическая ассоциация

Ассоциация издала «Справочник Международной фонетической ассоциации: руководство по использованию международного фонетического алфавита», опубликованный издательством Cambridge University Press (1999). Он заменяет буклет «Принципы Международной фонетической ассоциации» (Лондон, 1949 г.).

Он доступен в твердом переплете, мягком переплете и электронных книгах.

На более чем 200 страницах он содержит десять глав, в которых обсуждается и иллюстрируется использование IPA в лингвистическом анализе.Затем следуют иллюстрации использования IPA на 29 языках.

Пять приложений включают заявление о принципах ассоциации, полные таблицы соглашений о компьютерном кодировании для символов IPA и расширенных символов IPA, а также таблицы международного фонетического алфавита, номеров IPA и расширенных символов IPA. Подробнее см. Ниже.

Основы фонетического анализа представлены таким образом, чтобы можно было легко понять принципы, лежащие в основе алфавита.Приведены примеры использования каждого из фонетических символов.

Применение алфавита широко демонстрируется включением 29 «иллюстраций» — краткого анализа звуковых систем языков, сопровождаемого фонетической транскрипцией отрывка речи. Эти иллюстрации охватывают языки со всего мира.

Кроме того, отсюда можно загрузить аудиофайлов для сопровождения языковых иллюстраций и редакций текста .

Справочник включает в себя ряд другой полезной информации. «Расширения» Международного фонетического алфавита (ExtIPA) охватывают звуки речи за пределами звуковых систем языков, например, с паралингвистическими функциями и те, которые встречаются в патологической речи.