G2P также представлены в национальной литературе (Salor, 1999; Bozkurt, 2000; Sak, 2000; §ayli, 2002; Salor, 2005; Sak, Güngör & Safkan, 2006; Görmez & Görmez, 2008; Yilmaz, 2009; Акбулут, Адигузель и Йылмаз 2011). Однако все эти системы являются частями систем преобразования текста в речь или речи в текст, и их выходные данные доступны только для компьютерных систем и не могут быть доступны и использоваться пользователем.ma Dili ve Türkfenin Söyleyij Sözlügü «, словарь произношений Эргенфа (2002). Однако эта публикация доступна только в печатном виде, и для ее оцифровки с помощью методов OCR требуются большие усилия. Поэтому ее нелегко использовать в материалах курса и в турецких словарях.

При обзоре литературы по преобразованию графемы в фонемы можно увидеть, что эта задача может быть выполнена с использованием либо подхода, основанного на правилах (знаниях), либо подхода, основанного на данных (Kienappel & Kneser. 2001):

Подход, основанный на правилах;

• требует больших усилий и опыта, а также явно закодированных, языковых, лингвистических источников знаний,

• не может быть легко применен к новым задачам и языкам,

• имеет неотъемлемые проблемы с обслуживанием, трудно изменить некоторые правила, не вызывая нежелательных побочных эффектов.

• демонстрирует впечатляющую производительность для некоторых задач,

С другой стороны, подход, основанный на данных;

• требует написания слов с соответствующим произношением в фонематическом или фонетическом алфавите

• очень гибкий

• автоматически создается для языка в соответствии с правилами, неявными в обучающих данных, без явного моделирования лингвистических знаний

4.Метод

В подходе, основанном на правилах, к проектированию модулей графема-фонема, для выполнения задачи необходимы явно закодированные, зависящие от языка, лингвистические источники знаний. Однако для создания такого модуля и адаптации этого модуля к новому языку или задаче требуются большие усилия и опыт (Kienappel & Kneser, 2001). В подходе, управляемом данными, который использует методы контролируемого обучения, основанные на корпусе транскрибированных слов, можно достичь такой же даже лучшей производительности без явного моделирования лингвистических знаний (van den Bosch & Daelemans, 1993).ma Dili ve Turkfenin Soyleyi§ Sozlugu «, словарь произношения, разработанный Эргенфом (2002). Однако эта публикация доступна только в печатном виде, и для ее оцифровки с помощью методов OCR требуются большие усилия. Вместо этого мы намерены начать с нуля, создание настраиваемой архитектуры, которая будет хранить перечень графем турецкого алфавита, фонем и фонологических правил фонологии в базе данных.

5. Программное обеспечение G2P на основе правил для турецкого языка

Архитектура разработанного программного обеспечения следующая:

В соответствии с этой архитектурой в инструменте преобразования G2P для турецкого языка модуль Parser на первом этапе принимает в качестве входных данных любой турецкий текст и разбирает этот текст на предложения и слова.

В модуле силлабификатора это проанализированное написание слов разбивается на слоги, поскольку в большинстве случаев информация о положении границы слога необходима для определения надлежащих областей для фонологических и фонетических правил (van den Bosch & Daelemans, 1993 ; Demberg, Schmid & Möhler, 2007).

Позже в модуле конвертера G2P графемы в этих слоговых словах сопоставляются с их символами фонем, используя фонологические правила, хранящиеся в инвентаре.

/ ТЕКСТ y /

Рис. 1. Архитектура G2P Software

На последнем этапе модуль Mapper сопоставляет написание слова и фонематическую транскрипцию попарно и выдает на выходе корпус слов с их транскрипцией.

5.1. Модуль парсера

Модуль синтаксического анализатора использует алгоритм определения границ предложения, предложенный Akta§ (2006) и Akta§ & Demir (2006) для синтаксического анализа файлов простого текста на предложения и слова.Он хранит эти аннотированные данные в формате XML. Этот модуль работает онлайн как веб-сервис.

5.2. Модуль силлибификатора

Этот модуль разбивает проанализированные слова на слоги с использованием алгоритма слоговой классификации, разработанного с использованием фонологических правил, упомянутых выше.

Для оценки точности модуля силлабификатора случайным образом были выбраны 5000 слов (два или более слога) из турецкого словаря TDK.Результаты оценки следующие:

Таблица 3. Показатель точности для модуля Syllibificator

Количество слов 5000

Количество неправильно разобранных слогов 22

Количество правильно разобранных слогов 4978

Точность 99,56

Как упоминалось ранее, силлабификация необходима для определения надлежащих областей для фонологических и фонетических правил, и в турецкой фонологии в большинстве случаев границы слогов важны для определения фонематической среды, а именно контекста, в котором встречается фонема.

5.3. Конвертер G2P

G2P принимает на вход проанализированные и слоговые слова и, используя данные из инвентарных наборов графем, фонем и фонологических символов, преобразует графемы в фонемы в соответствии с фонологическими правилами. Этот модуль сначала сопоставляет графемы с соответствующими фонематическими символами в алфавите IPA. После этого первого шага модуль применяет фонологические правила к этим фонематическим символам и возвращает окончательные символы, измененные в соответствии с аллофоническими вариациями, представленными в правилах.В своей работе модуль использует три набора данных, а именно перечень графем, перечень фонем и перечень фонологических правил

5.4. Картограф

Mapper принимает проанализированный текст и выходные данные модуля G2P в качестве входных данных и объединяет эти данные в корпус слов с их транскрипцией, с точкой слога (.) И без нее.

6. Общая оценка программного обеспечения G2P для турецкого языка

Программное обеспечение было реализовано в соответствии со структурой, упомянутой в предыдущей главе, после создания реестра графем и фонем.Позже фонологические правила были собраны из ресурсов и закодированы таким образом, чтобы программа могла понять эти правила.

Программное обеспечение использует систему кодирования Unicode UTF-8 при представлении символов IPA для фонем благодаря широкой поддержке Unicode символов IPA и простоте использования для конечных пользователей, которые, скорее всего, знакомы с символами в IPA.

Программа принимает любые фрагменты текста в качестве ввода через поле «Ввод текста» или из обычного текстового файла, закодированного в кодировке UTF-8 Unicode.UWh WtH j

Рис. 2. Скриншот пользовательского интерфейса программы G2P

Программа сохраняет вывод пословно, с фонематической транскрипцией каждого слова, как с границами слогов, так и без них. Этот метод сохранения предпочтительнее для будущих исследований; особенно система G2P, которая использует для процесса подход, основанный на данных. Таким образом, выходные данные программы сохраняются в такой структуре, что любое управляемое данными программное обеспечение G2P может иметь доступ к данным графемы, данным фонем и, кроме того, к данным слогов слов в текстовом файле.ilerfn

7. дилбилимин — dn.bi.li.mrn. — diTbilimrn

Рис. 3. Скриншот выходного файла

Программное обеспечение было протестировано с использованием выборки из 1000 слов, выбранных из турецкого словаря TDK. Слова состоят минимум из двух слогов. 1000 слов, выбранных для выборки, содержали 7894 графемы. Результаты оценки точности выходных данных программного обеспечения приведены в Таблице 4 ниже.

Таблица 4.Показатель точности ПО G2P

Количество слов 1000

Число графем 7894

Число правильно проанализированных графем 7588

Число неправильно проанализированных графем 306

Уровень точности 96.12

7. Заключение

Программное обеспечение, реализованное в этом исследовании, представляет собой основанную на правилах систему из графемы в фонемы, которая преобразует турецкие графемы в соответствующие им фонемы.Процесс реализации заключался в сборе списка графем, фонем и фонологических правил в базу данных. Полученное программное обеспечение тестируется на списке слов, состоящем из статей Турецкого словаря, полученного от TDK. Результаты программы успешны, и список слов с их фонетической транскрипцией будет представлен TDK для использования в их онлайн-словарях. Выходные данные программы могут использоваться в системах преобразования текста в речь и речи в текст, которые стали популярными в последнее время.Полученные результаты также могут быть использованы в программах обучения турецкому как иностранному или в других лингвистических исследованиях фонологических свойств турецкого языка. Программное обеспечение G2P, разработанное в этом исследовании, представляет собой основанную на правилах систему G2P и, таким образом, является первым шагом в процессе преобразования графемы в фонемы для турецкого языка. Программное обеспечение может уступить место другому программному обеспечению, например, реализациям G2P, управляемым данными, или может использоваться как встроенный модуль в системах преобразования текста в речь.

Благодарности

Работа поддержана Университетом Докуз Эйлул, проект №: 2012.КБ.S0S.3

Список литературы

Акбулут, А., Адигузель, Т., Йилмаз, А. Э. (2011). Статистический анализ слогов для обнаружения и разрешения неоднозначности произношения в приложениях для преобразования текста в речь: пример на турецком языке. ActaPolytechnica Hungarica, Том 8, № 5. Akta§, O. & Demir, U. (2006). Turk§e i§in Cumle Sonu Belirleme Yontemine Yeni bir Bakis. Статья представлена ​​в ASYU 2006-Akilli Sistemlerde Yenilikler ve Uygulamalari Sempozyumu, Технический университет Йылдыз, Стамбул.турулмаси. Неопубликованная рукопись.

Бисани М. и Ней Х. (2008). «Совместные модели последовательностей для преобразования графемы в фонемы». Речевая коммуникация, том 50, выпуск 5, стр. 434-451.

Бостонский университет (2013). Получено с: http://www.bu.edu/mlcl/home/why-study-turkish/

Бозкурт Б. (2000). Пособие по чтению для слабовидящих: разработка турецкой системы преобразования текста в речь. Неопубликованная кандидатская диссертация. Буссманн, Х. (1998). Словарь по языку и лингвистике.Лондон: Рутледж.

ЦРУ ценит языковые способности сотрудников. (2009). Получено с: https://www.cia.gov/news-information/featured-story-

архив / 2010-Feature-Story-archive / cia-values-language-features.html

Кристалл, Д. (2003). Словарь лингвистики и фонетики. Молден: издательство Blackwell Publishing.

Daelemans, W. & van den Bosch. (1993). A. TABTALK: возможность повторного использования в ориентированном на данные преобразовании графемы в фонемы.Proceedings of Eurospeech 1993, Berlin, pp.1459-1466.

Демберг В., Шмид Х. и Мёлер Г. (2007). Фонологические ограничения и морфологическая предварительная обработка для преобразования графемы в фонему

Конверсия. В материалах 45-го ежегодного собрания Ассоциации компьютерной лингвистики, стр. 96-13.

Эрген§, И. (2002). Kontffma Dili ve Türkgenin Söyleyig Sözlügü. Стамбул: многоязычный.

Гёксель, А.И Керслейк, С. (2005). Турецкий. Комплексная грамматика. Лондон / Нью-Йорк: Рутледж.

Гёрмез З. и Орхан З. (2008). TTTS: турецкая система преобразования текста в речь. 12-я Международная конференция WSEAS по КОМПЬЮТЕРАМ, Ираклион, остров Крит / Греция, июнь. 2008, Материалы 12-й Международной конференции WSEAS по КОМПЬЮТЕРАМ, стр. 977-982. Международная фонетическая ассоциация. http ..// www.langsci.ucl.ac.uk/ipa/ 06.08.2012

Киенаппель, А. К. и Кнезер, Р. (2001).Разработка очень компактных деревьев решений для транскрипции графемы в фонемы. Статья представлена ​​в 7-м

Европейская конференция по речевой коммуникации и технологиям 2-е мероприятие INTERSPEECH. EUROSPEECH-2001, стр. 1911-1914. Мэтьюз, П. Х. (1997). Краткий словарь лингвистики Oxfor. Оксфорд: издательство Oxfor University Press. Озсой, С. (2004). Türkgenin Yapisi 1 Sesbilim. Стамбул: Bogazi§i Üniversitesi Yayinevi.

Сак, Х., Гюнгор, Т. и Сафкан, Ю. (2006).Система конкатенативного синтеза речи на основе корпуса для турецкого языка. Турецкий журнал электротехники и компьютерных наук, 14 (2): 209-223.

Salor, Ö. (1999). Аспекты обработки сигналов синтезатора текста в речь на турецком языке. Неопубликованная кандидатская диссертация.

Salor, Ö. (2005). Преобразование голоса и разработка инструментов анализа связанной речи для турецкого языка. Неопубликованная кандидатская диссертация.

SAMPA (Фонетический алфавит для оценки речи) (2013).Получено с: http://www.phon.ucl.ac.uk/home/sampa/index.html

§айли, Ö. (2002). Анализ продолжительности и моделирование для синтеза речи турецкого языка. Неопубликованная кандидатская диссертация.

Техасский университет A&M. (2013). Получено с: http://studyturkish.tamu.edu/

Тюрк Дил Куруму. (2013). http://www.tdk.gov.tr/index.php?option=com_gts&arama=gts&guid= TDK.GTS.501f72499ea1a8.98681729 Университет Питтсбурга. (2013).Получено с: http://www.lctl.pitt.edu/turkish.html

Ван Баел, К. П. Дж. (2007). Проверка, автоматическое создание и использование широких фонетических транскрипций. Неопубликованная диссертация. Radbound Universiteit Nijmegen.

van den Bosch, A. & W. Daelemans (1993). Методы преобразования графемы в фонемы, ориентированные на данные. Труды Европейского отделения ACL, Утрехт, 45-53.

Yilmaz, A. E. (2009) Türk§e Metinden Konu§ma Senztezleme Uygulamalari i§in bir Veri Sözlük Seti ve Yazilim Qer§ivesi.Gazi ÜniversitesiMühendislikveMimarhkDergisi, Cilt 24, № 4, стр. 735-744.

Уэллс, Дж. К. (1996). Почему важна фонетическая транскрипция. В: Malsori (Журнал фонетического общества Кореи) 31–32, стр. 239–242.

% PDF-1.6 % 32 0 объект > эндобдж 29 0 объект > поток 2009-07-02T10: 36: 26-05: 002010-04-14T12: 45: 30-04: 002010-04-14T12: 45: 30-04: 00Adobe Acrobat 8.17 Подключаемый модуль захвата бумаги / pdfuuid: def5b1a8-521f -cf41-b67a-506d81d67710uuid: 2b198267-3aa2-6246-91e1-767d6cc68456 конечный поток эндобдж 33 0 объект > / Кодировка >>>>> эндобдж 28 0 объект > эндобдж 34 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 1 0 obj > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 4 0 obj > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 7 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 10 0 obj > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 13 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 16 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 19 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 22 0 объект > / Font> / ProcSet [/ PDF / Text / ImageB] >> / Type / Page >> эндобдж 110 0 объект > поток HWkoG_O ~

Изучение китайской кодировки для определения фонетического сходства

6 ноября 2018 г. | Автор: Редакция IBM Research

Категории: IBM Research-Almaden

Поделитесь этим постом:

Выполнение мысленной гимнастики по фоенетическому различению слов и фраз, таких как «Я слышу» и «Я здесь» или «Я не могу так, но тонны» на «Я не могу пришивать пуговицы» — это знакомы всем, кто сталкивался с автокорректированными текстовыми сообщениями, короткими сообщениями в социальных сетях и т.п.Хотя на первый взгляд может показаться, что фонетическое сходство можно измерить количественно только для слышимых слов, эта проблема часто присутствует в чисто текстовых пространствах.

AI для синтаксического анализа и понимания текста требуют чистого ввода, что, в свою очередь, подразумевает необходимый объем предварительной обработки необработанных данных. Неправильные омофоны и синофоны, использованные по ошибке или в шутку, должны быть исправлены так же, как и любая другая форма орфографической или грамматической ошибки. В приведенном выше примере точное преобразование слов «слышать» и «так» в их фонетически схожие правильные аналоги требует надежного представления фонетического сходства между парами слов.

Большинство алгоритмов фонетического сходства основаны на примерах использования английского языка и предназначены для индоевропейских языков. Однако многие языки, например китайский, имеют другую фонетическую структуру. Звук речи китайского иероглифа представлен одним слогом в пиньинь, официальной системе латинизации китайского языка. Слог пиньинь состоит из: начального (необязательного) (например, «б», «чж» или «х»), финального (например, «а», «оу», «вай» или «юань»). и тон (их пять).Сопоставление этих звуков речи с английскими фонемами приводит к довольно неточному представлению, а использование индоевропейских алгоритмов фонетического сходства еще больше усугубляет проблему. Например, два хорошо известных алгоритма, Soundex и Double Metaphone, индексируют согласные, игнорируя гласные (и не имеют понятия о тонах).

Поскольку слог пиньинь представляет собой в среднем семь различных китайских иероглифов, преобладание омофонов даже больше, чем в английском. Между тем, использование пиньинь для создания текста чрезвычайно распространено в мобильных приложениях и приложениях для чата, как при использовании преобразования речи в текст, так и при прямом наборе текста, поскольку более практично вводить слог пиньинь и выбирать нужный символ.В результате ошибки ввода на основе фонетики чрезвычайно распространены, что подчеркивает необходимость в очень точном алгоритме фонетического сходства, на который можно положиться для исправления ошибок.

Визуализация, представляющая фонетическое кодирование инициалов пиньинь.

Руководствуясь этим вариантом использования, который распространяется на многие другие языки, которые не легко вписываются в фонетический шаблон английского языка, мы разработали подход к изучению n-мерного фонетического кодирования для китайского языка. Важной характеристикой пиньинь является то, что три компонента слог (начальный, конечный и тональный) следует рассматривать и сравнивать независимо.Например, фонетическое сходство финальных слов «ie» и «ue» идентично в парах пиньинь {«xie2», «xue2»} и {«lie2», «lue2»}, несмотря на разные инициалы. Таким образом, сходство пары слогов пиньинь — это совокупность сходств между их инициалами, финалами и тонами.

Однако искусственное ограничение пространства кодирования до низкого уровня (например, индексация каждого инициала до одного категориального или даже числового значения) ограничивает точность захвата фонетических вариаций.Поэтому правильный подход, основанный на данных, состоит в том, чтобы органически изучить кодировку соответствующей размерности. Модель обучения получает точные кодировки путем совместного рассмотрения лингвистических характеристик пиньинь, таких как место артикуляции и методы произношения, а также высококачественные аннотированные наборы обучающих данных.

Таким образом, изученные кодировки могут использоваться, например, для принятия слова в качестве входных данных и возврата ранжированного списка фонетически похожих слов (ранжированных по уменьшению фонетического сходства).Ранжирование важно, потому что последующие приложения не будут масштабироваться для учета большого количества альтернативных кандидатов для каждого слова, особенно при работе в режиме реального времени. В качестве примера из реальной жизни мы оценили наш подход к созданию ранжированного списка кандидатов для каждого из 350 китайских слов, взятых из набора данных социальных сетей, и продемонстрировали 7,5-кратное улучшение по сравнению с существующими подходами фонетического сходства.

Мы надеемся, что улучшения, внесенные в эту работу для представления фонетического сходства для конкретных языков, повысят качество множества многоязычных приложений для обработки естественного языка.Эта работа, являющаяся частью проекта IBM Research SystemT, была недавно представлена ​​на конференции SIGNLL 2018 по вычислительному изучению естественного языка, и предварительно обученная модель китайского языка доступна исследователям для использования в качестве ресурса при создании чат-ботов, приложений для обмена сообщениями, средств проверки орфографии и любые другие соответствующие приложения.

Документ: DIMSIM: точный китайский алгоритм фонетического сходства, основанный на выученном кодировании большого размера

Фонетическое соответствие | Справочное руководство по Apache Solr 6.6

Примеры использования этой кодировки в анализаторе см. В разделе «Фильтр Морзе Бейдера» в разделе «Описание фильтров».

Фонетическое сопоставление по Бейдеру-Морзе (BMPM) — это «похожий на звук» инструмент, который позволяет выполнять поиск с использованием новой системы фонетического сопоставления. BMPM помогает вам искать личные имена (или просто фамилии) в индексе Solr / Lucene и намного превосходит существующие фонетические кодеки, такие как обычный звуковой сигнал, метафон, каверфон и т. Д.

Как правило, фонетическое соответствие позволяет искать в списке имен имена, фонетически эквивалентные желаемому имени.BMPM похож на поиск soundex в том, что точное написание не требуется. В отличие от soundex, он не генерирует большого количества ложных срабатываний.

По написанию имени BMPM пытается определить язык. Затем он применяет фонетические правила для этого конкретного языка, чтобы транслитерировать имя в фонетический алфавит. Если невозможно определить язык с достаточной степенью уверенности, вместо этого используется общая фонетика. Наконец, он применяет независимые от языка правила в отношении таких вещей, как звонкие и глухие согласные и гласные, чтобы еще больше гарантировать надежность совпадений.

Например, предположим, что совпадения, найденные при поиске Стивена в базе данных, — это «Стефан», «Стеф», «Стивен», «Стив», «Стивен», «Плита» и «Stuffin». «Стефан», «Стивен» и «Стивен», вероятно, уместны, и это имена, которые вы хотите видеть. Однако «Stuffin», вероятно, не имеет отношения к делу. Также отклонены были «Стеф», «Стив» и «Плита». Из них «Плита», наверное, не та, которую мы бы хотели. Но, возможно, вас заинтересуют «Стеф» и «Стив».

Для Solr поиск BMPM доступен для следующих языков:

• Английский

• Французский

• Немецкий

• Греческий

• Еврейские буквы, написанные еврейскими буквами

• Венгерский

• Итальянский

• Польский

• Румынский

• Русский кириллицей

• Русская транслитерация английскими буквами

• Испанский

• Турецкий

Сопоставление имен также применимо к нееврейским фамилиям из стран, в которых говорят на этих языках.