1. Dehaene, S. Чтение в мозгу: наука и эволюция человеческого изобретения . (Викинг, 2009).
2. Dehaene, S. и др. Как обучение чтению меняет корковые сети, отвечающие за зрение и язык. Science 330, 1359-1364, doi:10.1126/science.1194140 (2010).
3. Всемирный фонд грамотности. Экономические и социальные издержки неграмотности. (Всемирный фонд грамотности, Мельбурн, Австралия, 2018 г.).
4. Трейман, Р. Основы грамотности. Современные направления психологической науки 9, 89-92, doi:10.1111/1467-8721.00067 (2000).
5. Энтони, Дж. Л. и Фрэнсис, Д. Дж. Развитие фонологического сознания. Текущие направления в психологии 14, 255-259, doi:10.1111/j.0963-7214.2005.00376.x (2005).
6. Хойен Т., Лундберг И., Станович К. Э. и Бьяалид И.-К. Компоненты фонологического сознания. Чтение и письмо 7, 171-188, doi:10.1007/BF01027184 (1995).
7. Мелби-Лервог, М., Халаас, С.-А. Х. и Халм, К. Фонологические навыки и обучение чтению: метааналитический обзор. Психология. Бык. 138, 322-352, doi:10. 1037/a0026744 (2012).
8. Калфи, Р. К., Линдамуд, П. и Линдамуд, К. Акустико-фонетические навыки и чтение — от детского сада до двенадцатого класса. J. Образование. Психол. 64, 293-298, doi:10.1037/h0034586 (1973).
9. Каннингем, А. Дж., Уиттон, К., Талкотт, Дж. Б., Берджесс, А. П. и Шапиро, Л. Р. Деконструкция фонологических задач: вклад стимула и типа реакции в прогнозирование навыков раннего декодирования. Познание 143, 178-186, doi:10.1016/j.cognition.2015.06.013 (2015).
10. Национальный институт детского здоровья и развития человека. Отчет Национальной комиссии по чтению. Обучение детей чтению: основанная на фактических данных оценка научно-исследовательской литературы по чтению и ее значение для обучения чтению (публикация NIH № 00-4769). (Правительственная типография США, Вашингтон, округ Колумбия, 2000 г.).
11. Форман, Б. и др. Базовые навыки для поддержки чтения для понимания в детском саду до 3-го класса. (Национальный центр оценки образования и региональной помощи (NCEE), Институт педагогических наук, Министерство образования США, Вашингтон, округ Колумбия, 2016 г. ).
12. Бос, К., Мазер, Н., Диксон, С., Подхайски, Б. и Чард, Д. Восприятие и знания дослужебных и неработающих педагогов об обучении чтению в раннем возрасте. Annals of Dyslexia 51, 97-120, doi: 10.1007/s11881-001-0007-0 (2001).
13. Чизман, Э. А., Макгуайр, Дж. М., Шанквейлер, Д. и Койн, М. Знания учителей-первокурсников в области фонематического восприятия и его обучения. Педагогическое образование и специальное образование 32, 270-289, doi: 10.1177/0888406409339685 (2009 г.).
14. Стейнторп, Р. Используй или потеряешь. Грамотность сегодня , 16-17 (2003).
15. Moats, L.C. Speech to print: основы языка для учителей . (Пол Х. Брукс, 2000).
16. Линдамуд, П., Белл, Н. и Линдамуд, П. Сенсорно-когнитивные факторы в полемике по поводу обучения чтению. Journal of Developmental and Learning Disorders 1, 143-182 (1997).
17. Биндер, Дж. Р. и др. Активация височной доли человека речевыми и неречевыми звуками. Церебр. Cortex 10, 512-528, doi:10.1093/cercor/10.5.512 (2000).
18. Mesgarani, N., Cheung, C., Johnson, K. & Chang, EF. Кодирование фонетических признаков в верхней височной извилине человека. Science 343, 1006-1010, doi:10.1126/science.1245994 (2014).
19. Чанг, Э. Ф. и др. Репрезентация категориальной речи в верхней височной извилине человека. Нац. Неврологи. 13, 1428-1433, doi:10.1038/nn.2641 (2010).
20. Жубер, С. и др. Нейронные корреляты лексических и подлексических процессов при чтении. Брэйн Ланг. 89, 9-20, doi:10.1016/S0093-934X(03)00403-6 (2004).
21. Симос, П. Г. и др. Мозговые механизмы чтения: роль верхней височной извилины в назывании слов и псевдослов. Нейроотчет 11, 2443-2447, doi:10.1097/00001756-200008030-00021 (2000).
22. Moats, L.C. Speech to print: основы языка для учителей . 2-е изд. (Пол Х. Брукс, 2010 г.).
23. Бреннан, К. , Као, Ф., Педроарена-Лил, Н., Макнорган, К. и Бут, Дж. Р. Овладение чтением реорганизует сеть фонологической осведомленности только в алфавитных системах письма. Гул. Карта мозга. 34, 3354-3368, doi:10.1002/hbm.22147 (2013).
24. Кастро-Калдас, А., Петерссон, К.М., Рейс, А., Стоун-Эландер, С. и Ингвар, М. Неграмотный мозг: обучение чтению и письму в детстве влияет на функциональную организацию мозга взрослого человека. Мозг 121, 1053-1063, doi:10.1093/brain/121.6.1053 (1998).
25. Нейшн, К. и Халм, К. Обучение чтению меняет фонологические навыки детей: данные латентного переменного лонгитюдного исследования чтения и повторения слов. Наука о развитии , doi:10.1111/j.1467-7687.2010.01008.x (2010).
26. Frith, U. Буквальное изменение мозга. Мозг 121, 1011-1012, doi: 10.1093/brain/121.6.1011 (1998).
27. Монзальво, К. и Дехане-Ламбертц, Г. Как овладение чтением меняет сеть разговорной речи детей. Брэйн Ланг. 127, 356-365, doi:10. 1016/j.bandl.2013.10.009 (2013).
28. Панг Э.С., Муака А., Бернхардт Э.Б. и Камил М.Л. Обучение чтению. Серия «Образовательная практика» — 12. (Международное бюро образования, Международная академия образования, Женева, Швейцария, 2003 г.).
29. Каннингем, А. Дж., Берджесс, А. П., Уиттон, К., Талкотт, Дж. Б. и Шапиро, Л. Р. Динамические отношения между фонологической памятью и чтением: пятилетнее лонгитюдное исследование в возрасте от 4 до 9 лет.. Наука о развитии , 1–18, doi: 10.1111 / desc.12986 (2020).
30. Templeton, S. & Gehsmann, K.M. Обучение чтению и письму: развивающий подход . (Пирсон, 2014).
31. Национальный исследовательский совет. Предотвращение затруднений при чтении у детей младшего возраста . (Издательство Национальной академии, 1998).
32. Сеймур, П. Х. К., Аро, М. и Эрскин, Дж. М. Фонд повышения грамотности в европейских орфографиях. руб. Дж. Психол. 94, 143-174, doi:10.1348/000712603321661859 (2003).
33. Зиглер, Дж. К. и Госвами, У. Грамотность на разных языках: похожие проблемы, разные решения. Наука о развитии 9, 429-453 (2006).
34. Караволас, М., Лервог, А., Дефиор, С., Малкова, Г. С. и Хьюм, К. Различные модели, но эквивалентные предикторы роста чтения в последовательных и непоследовательных орфографиях. Психологические науки 24, 1398-1407, doi:10.1177/0956797612473122 (2013 г.).
35. Блау, В. и др. Девиантная обработка букв и звуков речи как непосредственная причина нарушения чтения: исследование функциональной магнитно-резонансной томографии детей с дислексией. Brain 133, 868-879, doi: 10.1093/brain/awp308 (2010).
36. ван Аттевельдт, Н., Формисано, Э., Гебель, Р. и Бломерт, Л. Интеграция букв и звуков речи в человеческом мозгу. Neuron 43, 271-282, doi:10.1016/j.neuron.2004.06.025 (2004).
37. Бломерт, Л. Нейронная подпись орфографо-фонологического связывания при успешном и неудачном развитии чтения. Neuroimage 57, 695-703, doi:10.1016/j.neuroimage.2010.11.003 (2011).
38. Richlan, F. Функциональная нейроанатомия звуковой интеграции букв и речи и ее связь с аномалиями мозга при дислексии развития. Frontiers in Human Neuroscience 13, 1–8, doi:10.3389/fnhum.2019.00021 (2019).
39. Фройен, Д.Дж.В., Бонте, М.Л., ван Аттевельдт, Н. и Бломерт, Л. Долгий путь к автоматизации: нейрокогнитивное развитие обработки букв и речи. J. Cogn. Неврологи. 21, 567-580, doi:10.1162/jocn.2009.21061 (2009).
40. Ливингстон, М. и Хьюбел, Д. Разделение формы, цвета, движения и глубины: анатомия, физиология и восприятие. Science 240, 740-749, doi:10.1126/science.3283936 (1988).
41. Петерсен, С.Э., Фокс, П.Т., Познер, М.И., Минтун, М. и Райхл, М.Е. Позитронно-эмиссионные томографические исследования анатомии коры при обработке отдельных слов. Природа 331, 585-589, doi:10.1038/331585a0 (1988).
42. Cohen, L. & Dehaene, S. Специализация внутри вентрального потока: случай для области визуальной словоформы. Neuroimage 22, 466-476, doi:10.1016/j.neuroimage.2003.12.049 (2004).
43. Коэн, Л. и др. Языковая настройка зрительной коры? Функциональные свойства области формы визуального слова. Brain 125, 1054-1069, doi: 10.1093/brain/awf094 (2002).
44. McCandliss, B.D., Cohen, L. & Dehaene, S. Область визуальной формы слова: опыт чтения в веретенообразной извилине. Trends in Cognitive Sciences 7, 293-299, doi: 10.1016/S1364-6613(03)00134-7 (2003).
45. Глезер, Л. С., Цзян, X. и Ризенхубер, М. Доказательства высокоизбирательной настройки нейронов на целые слова в «визуальной области словоформы». Neuron 62, 199-204, doi:10.1016/j.neuron.2009.03.017 (2009).
46. Dehaene, S. & Cohen, L. Уникальная роль визуальной области словоформы в чтении. Trends in Cognitive Sciences 15, 254-262, doi:10.1016/j.tics.2011.04.003 (2011).
47. Ванделл, Б. А., Раушекер, А. М. и Йетман, Дж. Д. Учимся видеть слова. год. Преподобный Психолог. 63, 31-53, doi:10.1146/annurev-psych-120710-100434 (2012).
48. Готье, И., Скудларски, П., Гор, Дж. К. и Андерсон, А. В. Экспертиза автомобилей и птиц задействует области мозга, участвующие в распознавании лиц. Нац. Неврологи. 3, 191-197, doi:10.1038/72140 (2000).
49. Брем, С. и др. Чувствительность мозга к печатным текстам возникает, когда дети усваивают звуковые соответствия букв и речи. Proceedings of the National Academy of Sciences 107, 7939-7944, doi:10.1073/pnas.02107 (2010).
50. Centanni, T. и др. Раннее развитие буквенной специализации в левой веретенообразной форме связано с лучшим чтением слов и меньшей площадью лица веретенообразной формы. Наука о развитии 21, e12658, doi: 10.1111 / desc.12658 (2018).
51. Shaywitz, B.A. et al. Нарушение задних отделов мозга при чтении у детей с дислексией развития. Биол. Психиатрия 52, 101-110, doi:10.1016/S0006-3223(02)01365-3 (2002).
52. Coch, D. & Meade, G. N1 и P2 к словам и словесным стимулам у детей позднего начального школьного возраста и взрослых. Психофизиология 53, 115-128, doi:10.1111/psyp.12567 (2016).
53. Эдди, М. Д., Грейнджер, Дж., Холкомб, П. Дж., Митра, П. и Габриэли, Дж. Д. Э. Маскированный прайминг и ERP диссоциируют созревание орфографических и семантических компонентов визуального распознавания слов у детей. Психофизиология 51, 136-141, doi:10.1111/psyp.12164 (2014).
54. Брем, С. и др. Доказательства изменений в развитии сети визуальной обработки текстов после подросткового возраста. Neuroimage 29, 822-837, doi:10.1016/j.neuroimage.2005.09.023 (2006).
55. Boden, C. & Giaschi, D. Дефицит M-потока и зрительные процессы, связанные с чтением, при дислексии развития. Психология. Бык. 133, 346-366, doi:10.1037/0033-2909.133.2.346 (2007).
56. Райнер К., Форман Б. Р., Перфетти К. А., Песецкий Д. и Зайденберг М. С. Как психологическая наука влияет на обучение чтению. Психологическая наука в интересах общества 2, 31-74, doi: 10.1111/1529-1006.00004 (2001).
57. Блайт, Х.И. Изменения в развитии движений глаз и кодирования визуальной информации, связанные с обучением чтению. Современные направления психологической науки 23, 201-207, doi: 10.1177/0963721414530145 (2014).
58. Райнер, К. Движения глаз и диапазон восприятия у начинающих и опытных читателей. Дж. Экспл. Детская психология. 41, 211-236, doi:10.1016/0022-0965(86)

    -8 (1986).

59. Jordan, TR и др. Направление чтения и центральный диапазон восприятия: данные из арабского и английского языков. Psychonomic Bulletin & Review 21, 505-511, doi: 10.3758/s13423-013-0510-4 (2014).
60. Ванделл, Б. А. Нейробиологические основы видения слов. Энн. Н. Я. акад. науч. 1224, 63-80, doi:10. 1111/j.1749-6632.2010.05954.x (2011).
61. Гудман, К. С. и Гудман, Ю. М. Учиться читать — это естественно. В Теория и практика раннего чтения Том. 1 (под редакцией Л.Б. Резника и П.А. Уивера) 137–154 (Эрлбаум, 1979).
62. Street, B. Обучение чтению с точки зрения социальной практики: этнография, школьное образование и обучение взрослых. Проспекты 46, 335-344, doi:10.1007/s11125-017-9411-z (2016).

Анализ набора данных UrbanSound8K с помощью TensorFlow | Паскаль Янецки

От необработанного аудио к TFRecord к пакетам заполнения

Существует несколько способов подачи данных в нейронную сеть. Чаще всего используются массивы Numpy и файлы CSV/Pandas. Кроме того, TensorFlow предлагает собственный формат хранения TFRecord. Это удобно, но не очень удобно для новичков.

Несмотря на то, что многие наборы данных, такие как MNIST или CIFAR, легко доступны, иногда вам приходится создавать собственные наборы данных самостоятельно. К счастью, перевести другие наборы данных в формат TFRecord не так сложно, если вы сделали это несколько раз. Здесь мы проанализируем набор данных UrbanSound8K, сохраним его в формате TFRecord и, наконец, пройдемся по его образцам. Если вы совершенно не знакомы с этим форматом, вы можете получить практический обзор здесь, в котором также рассказывается, как мы можем анализировать данные текста и изображения.

Описание набора данных

Набор данных UrbanSound8K [1] (доступен бесплатно только для некоммерческого использования; CC BY-NC 3.0) содержит 8732 аудиофайла различной продолжительности. Максимум 4 секунды каждый образец принадлежит к одному из 10 классов. Файлы поставляются в десятикратном порядке и хранятся в формате WAVE. Каждый файл может иметь разную частоту дискретизации, разрядность и количество каналов. С ~ 7 ГБ это набор данных среднего размера. Таким образом, если вы ищете меньший по размеру и более доступный набор аудиоданных, взгляните на ESC50.

Загрузка и извлечение

Перейдите на веб-страницу набора данных и щелкните ссылку для загрузки внизу, чтобы загрузить набор данных. Как уже упоминалось, вы можете использовать данные бесплатно, но только для некоммерческих проектов — для этого пояснительного сообщения в блоге, демонстрирующего синтаксический анализ данных и связанные с ним концепции, все в порядке.

В зависимости от вашего подключения загрузка может занять несколько минут. После скачивания распакуйте архив. Теперь у вас есть две папки, аудио и метаданные . Нам нужен только первый.

В этой папке файлы предварительно распределены по десяти папкам, от fold1 до fold10 . Все файлы именуются по следующей схеме:

{SOURCE_ID}-{LABEL}-{TAKE}-{SLICE}.wav

Первая часть используется для идентификации ID исходного файла, LABEL для метка класса и TAKE и SLICE используются для различения нескольких семплов, взятых из одного исходного файла.

Разбор аудиоданных в TFRecords

Заранее, если вы впервые работаете с TFRecords, собственным форматом TensorFlow для эффективного хранения данных, или вам нужно освежить знания, взгляните на этот блокнот Google Colab и сопроводительное описание здесь.

Нам не нужен файл метаданных, потому что метка аудиосэмпла вписана в его имя файла. Таким образом, мы можем начать непосредственно с записи данных в файлы TFRecord. Для этого мы сначала импортируем несколько пакетов и пару вспомогательных функций:0005

Затем мы определяем функцию, которая загружает звук с диска. Для этого используем библиотеку librosa . Хотя есть альтернативы, такие как scipy , я нашел его наиболее удобным. Кроме того, мы можем быстро извлечь метку, разделив имя файла сначала на «/», а затем на «-». В конце мы возвращаем аудиоданные, их частоту дискретизации, метку и имя файла:

Затем мы определяем функцию, которая делает извлеченные данные готовыми к сохранению. Здесь мы будем использовать вспомогательную функцию, реализованную ранее. Как я описал во вводном практическом руководстве по формату TFRecord, эти функции используются для подготовки целых чисел, чисел с плавающей запятой, строк и байтов к записи на диск. Присвоение функциям подходящих имен поможет нам извлечь их позже. Наконец, мы заворачиваем их в Пример объекта, похожего на коробку с некоторым содержимым и свойствами. Следующее изображение иллюстрирует эту концепцию:

Теперь у нас определены две основные функции: загрузка аудиоданных с диска и преобразование их в формат, совместимый с TFRecord. Следовательно, мы можем реализовать метод, объединяющий оба. Для этого мы создаем объект TFRecordWriter , отвечающий за запись данных на диск, и перебираем все найденные аудиофайлы. Затем каждый аудиофайл анализируется, упаковывается в Пример объекта и записан в файл TFRecord.

Несмотря на то, что набор данных относительно велик, отдельный файл TFRecord, в котором хранится одна полная складка, имеет подходящий размер, около 550 МБ. Для больших наборов данных вы хотите использовать больше файлов. Для таких случаев в документации есть несколько советов.

Наконец, мы реализуем следующую основную функцию для перебора всех сгибов:

Чтобы завершить наш небольшой сценарий, мы определяем синтаксический анализатор аргументов. Он ведет к audio каталог, упомянутый в начале, и выходной каталог. Если этот каталог еще не существует, он будет создан:

Запуск скрипта выполняется вызовом python /path/to/script.py

С скриптом, определенным для создания файлов TFRecord, мы, вероятно, хотим прочитать файлы обратно позже. Вот это мы сейчас и реализуем.

Чтение аудиоданных из TFRecords

После того, как вы сделали это пару раз, на самом деле очень просто получить данные из файлов TFRecord. Нам просто нужно инвертировать процедуру сохранения. Предварительно мы поставили функции, названные sr , len , y , и так далее, в коробку. Таким образом, мы используем одни и те же имена для получения данных.

Единственное замечание касается аудиоданных. Поскольку это массив, мы должны изменить его форму. Вот почему мы сохранили свойство len . Точно так же имя файла должно быть преобразовано в строку:

Мы используем следующую функцию для чтения содержимого одного или нескольких файлов TFRecord. Он возвращает набор данных объект:

Мы можем перебрать первые несколько элементов, используя цикл for, проверяя их на наличие ошибок. Каждый образец состоит из четырех компонентов: фактических аудиоданных, метки, частоты дискретизации и исходного имени файла:

Одно предостережение — неравномерная продолжительность файла. Обычная пакетная операция завершится ошибкой. Таким образом, мы должны заполнить партии. Мы можем сделать это следующим образом:

Примечание. Мы дополняем образец до 178017 записей, потому что самый длинный аудиофайл чуть больше 4 секунд, и мы не хотим усекать эти данные. Максимальное время всех остальных файлов составляет 4 секунды * 44 100 Гц = 176 400 сэмплов.

Вот оно! Теперь дело за вами.

В этом посте мы преобразовали набор данных UrbanSound8K в TFRecord. Для этого мы использовали 9Библиотека Python 0003 librosa и несколько вспомогательных функций. Затем мы перебрали заранее определенные складки и проанализировали каждую отдельно.

В конце концов, мы извлекли данные, а также заполнили пакет. Это дало нам набор данных, который мы можем повторить.

Литература

[1] Дж. Саламон, К. Джейкоби и Дж. П. Белло, « Набор данных и таксономия для исследования городского звука », 22-я Международная конференция ACM по мультимедиа, Орландо, США, ноябрь 2014 г.

Аудиоанализ С помощью машинного обучения: создание приложения для обнаружения звука на основе искусственного интеллекта

Время чтения: 15 минут

Мы живем в мире звуков: приятные и раздражающие, низкие и высокие, тихие и громкие, они влияют на наше настроение и наши решения. Наш мозг постоянно обрабатывает звуки, чтобы дать нам важную информацию об окружающей среде. Но акустические сигналы могут сказать нам еще больше, если анализировать их с помощью современных технологий.

Сегодня у нас есть искусственный интеллект и машинное обучение для извлечения информации, неслышимой для людей, из речи, голосов, храпа, музыки, промышленного и дорожного шума и других типов акустических сигналов. В этой статье мы поделимся тем, что узнали при создании решений для распознавания звука на основе ИИ для проектов в области здравоохранения.

В частности, мы объясним, как получить аудиоданные, подготовить их к анализу и выбрать правильную модель машинного обучения для достижения максимальной точности предсказания. Но сначала давайте рассмотрим основы: что такое анализ звука и что делает работу с аудиоданными такой сложной задачей.

Что такое аудиоанализ?

Аудиоанализ — это процесс преобразования, исследования и интерпретации аудиосигналов, записанных цифровыми устройствами. Стремясь понять звуковые данные, он применяет ряд технологий, в том числе современные алгоритмы глубокого обучения. Аудиоанализ уже получил широкое распространение в различных отраслях, от развлечений до здравоохранения и производства. Ниже мы приведем самые популярные варианты использования.

Распознавание речи

Распознавание речи связано со способностью компьютеров различать произносимые слова с помощью методов обработки естественного языка. Это позволяет нам управлять ПК, смартфонами и другими устройствами с помощью голосовых команд и диктовать тексты машинам вместо ручного ввода. Siri от Apple, Alexa от Amazon, Google Assistant и Cortana от Microsoft — популярные примеры того, насколько глубоко технология проникла в нашу повседневную жизнь.

Распознавание голоса

Распознавание голоса предназначено для идентификации людей по уникальным характеристикам их голоса, а не для выделения отдельных слов. Подход находит применение в системах безопасности для аутентификации пользователей. Например, биометрический движок Nuance Gatekeeper проверяет сотрудников и клиентов по их голосам в банковском секторе.

Распознавание музыки

Распознавание музыки — это популярная функция таких приложений, как Shazam, которая помогает вам идентифицировать неизвестные песни по короткому образцу. Еще одним применением музыкального аудиоанализа является классификация жанров: скажем, Spotify использует собственный алгоритм для группировки треков по категориям (их база данных содержит более 5000 жанров)9.0005

Распознавание звуков окружающей среды

Распознавание звуков окружающей среды фокусируется на идентификации окружающих нас шумов, обещая множество преимуществ для автомобильной и обрабатывающей промышленности. Это жизненно важно для понимания окружения в приложениях IoT.

Такие системы, как Audio Analytic, «прислушиваются» к событиям внутри и снаружи автомобиля, позволяя автомобилю вносить коррективы для повышения безопасности водителя. Другим примером является технология SoundSee от Bosch, которая может анализировать шумы машин и упрощает профилактическое обслуживание для контроля состояния оборудования и предотвращения дорогостоящих отказов.

Здравоохранение — еще одна область, где может пригодиться распознавание звуков окружающей среды. Он предлагает неинвазивный тип удаленного мониторинга пациента для обнаружения таких событий, как падение. Кроме того, анализ кашля, чихания, храпа и других звуков может облегчить предварительный скрининг, определение статуса пациента, оценку уровня заражения в общественных местах и ​​так далее.

Примером такого анализа в реальной жизни является Sleep.ai, который обнаруживает скрежетание зубами и звуки храпа во время сна. Решение, созданное AltexSoft для голландского стартапа в области здравоохранения, помогает стоматологам выявлять и контролировать бруксизм, чтобы в конечном итоге понять причины этой аномалии и лечить ее.

Независимо от того, какие звуки вы анализируете, все начинается с понимания аудиоданных и их специфических характеристик.

Что такое аудиоданные?

Аудиоданные представляют аналоговые звуки в цифровом виде, сохраняя основные свойства оригинала. Как мы знаем из школьных уроков физики, звук — это волна колебаний, проходящая через среду, такую ​​как воздух или вода, и достигающая в конце концов наших ушей. Он имеет три ключевые характеристики, которые необходимо учитывать при анализе аудиоданных: период времени, амплитуда и частота.

Время Период - это то, как долго длится определенный звук или, другими словами, сколько секунд требуется для завершения одного цикла колебаний.

Амплитуда — это интенсивность звука, измеряемая в децибелах (дБ), которую мы воспринимаем как громкость.

Частота , измеряемая в герцах (Гц), показывает, сколько звуковых колебаний происходит в секунду. Люди интерпретируют частоту как низкий или высокий тон .

В то время как частота является объективным параметром, высота звука субъективна. Диапазон человеческого слуха лежит между 20 и 20 000 Гц. Ученые утверждают, что большинство людей воспринимают как низкий тон все звуки ниже 500 Гц — например, рев двигателя самолета. В свою очередь, высоким тоном для нас является все, что выше 2000 Гц (например, свист.)

Форматы файлов аудиоданных

Подобно текстам и изображениям, аудио представляет собой неструктурированные данные, что означает, что они не организованы в таблицы со связанными строками и столбцами. Вместо этого вы можете хранить аудио в различных форматах файлов, таких как

• WAV или WAVE (формат аудиофайла Waveform), разработанных Microsoft и IBM. Это формат файла без потерь или необработанный, что означает, что он не сжимает исходную звуковую запись;
• AIFF (формат файла обмена аудио), разработанный Apple. Как и WAV, он работает с несжатым звуком;
• FLAC (бесплатный аудиокодек без потерь), разработанный Xiph.Org Foundation, который предлагает бесплатные мультимедийные форматы и программные инструменты. Файлы FLAC сжимаются без потери качества звука.
• MP3 (аудиослой mpeg-1 3), разработанный Обществом Фраунгофера в Германии и поддерживаемый во всем мире. Это наиболее распространенный формат файлов, поскольку он позволяет легко хранить музыку на портативных устройствах и пересылать туда и обратно через Интернет. Хотя mp3 сжимает звук, он по-прежнему обеспечивает приемлемое качество звука.

Мы рекомендуем использовать файлы aiff и wav для анализа, так как они не пропускают информацию, присутствующую в аналоговых звуках. В то же время имейте в виду, что ни те, ни другие аудиофайлы нельзя напрямую скармливать моделям машинного обучения. Чтобы сделать звук понятным для компьютеров, данные должны быть преобразованы.

Основы преобразования аудиоданных, которые нужно знать

Прежде чем углубиться в обработку аудиофайлов, нам нужно ввести определенные термины, с которыми вы столкнетесь почти на каждом этапе нашего пути от сбора звуковых данных до получения прогнозов машинного обучения. Стоит отметить, что аудиоанализ предполагает работу с изображениями, а не прослушивание.

Форма волны — это базовое визуальное представление аудиосигнала, отражающее изменение амплитуды во времени. График отображает время по горизонтальной оси (X) и амплитуду по вертикальной оси (Y), но не говорит нам, что происходит с частотами.

Пример сигнала. Источник: Обработка звуковых сигналов для машинного обучения

Спектр или спектральный график представляет собой график, на котором ось X показывает частоту звуковой волны, а ось Y представляет ее амплитуду. Этот тип визуализации звуковых данных помогает вам анализировать частотный контент, но пропускает временную составляющую.

Пример графика спектра. Источник: Analytics Vidhya

Спектрограмма представляет собой подробное представление сигнала, которое охватывает все три характеристики звука. Вы можете узнать о времени по оси x, частоте по оси y и амплитуде по цвету. Чем громче событие, тем ярче цвет, а тишина представлена ​​черным цветом. Иметь три измерения на одном графике очень удобно: это позволяет отслеживать, как меняются частоты во времени, исследовать звук во всей его полноте, на глаз выявлять различные проблемные места (например, шумы) и паттерны.

Пример спектрограммы. Источник: iZotope

Спектрограмма мела , где мел означает мелодия, представляет собой разновидность спектрограммы, основанную на шкале мела, которая описывает, как люди воспринимают звуковые характеристики. Наше ухо различает низкие частоты лучше, чем высокие. Вы можете проверить это сами: Попробуйте сыграть тоны от 500 до 1000 Гц, а затем от 10 000 до 10 500 Гц. Первый диапазон частот, казалось бы, намного шире второго, хотя на самом деле они одинаковы. Спектрограмма мела включает в себя эту уникальную особенность человеческого слуха, преобразуя значения в герцах в шкалу мела. Этот подход широко используется для классификации жанров, обнаружения инструментов в песнях и распознавания речевых эмоций.

Пример мел спектрограммы. Источник: Devopedia

Преобразование Фурье (FT) — это математическая функция, которая разбивает сигнал на пики различной амплитуды и частоты. Мы используем его для преобразования сигналов в соответствующие графики спектра, чтобы посмотреть на тот же сигнал под другим углом и выполнить частотный анализ. Это мощный инструмент для понимания сигналов и устранения ошибок в них.

Быстрое преобразование Фурье (БПФ) — это алгоритм вычисления преобразования Фурье.

Применение БПФ для просмотра того же сигнала с точки зрения времени и частоты. Источник: NTi Audio

Кратковременное преобразование Фурье (STFT) представляет собой последовательность преобразований Фурье, преобразующих сигнал в спектрограмму.

Программное обеспечение для анализа звука

Конечно, вам не нужно выполнять преобразования вручную. Вам также не нужно понимать сложную математику, лежащую в основе FT, STFT и других методов, используемых в аудиоанализе. Все эти и многие другие задачи выполняются автоматически программным обеспечением для анализа звука, которое в большинстве случаев поддерживает следующие операции:

• импорт аудиоданных
• добавить аннотации (метки),
• редактировать записи и разбивать их на части,
• удалить шум,
• преобразовывать сигналы в соответствующие визуальные представления (формы сигналов, графики спектра, спектрограммы, мел-спектрограммы),
• выполнять операции предварительной обработки,
• анализ временного и частотного содержания,
• извлечения аудиофункций и многое другое.

Самые передовые платформы также позволяют обучать модели машинного обучения и даже предоставляют предварительно обученные алгоритмы.

Вот список самых популярных инструментов, используемых для анализа звука.

Audacity — это бесплатный аудиоредактор с открытым исходным кодом, позволяющий разделять записи, удалять шумы, преобразовывать сигналы в спектрограммы и маркировать их. Audacity не требует навыков программирования. Тем не менее, его набор инструментов для анализа звука не очень сложен. Для дальнейших шагов вам необходимо загрузить свой набор данных в Python или переключиться на платформу, специально предназначенную для анализа и/или машинного обучения.

Разметка аудиоданных в Audacity. Источник: Towards Data Science

Пакет Tensorflow-io для подготовки и аугментации аудиоданных позволяет выполнять широкий спектр операций — удаление шумов, преобразование волновых форм в спектрограммы, частотную и временную маскировку для четкой слышимости звука, и более. Инструмент принадлежит экосистеме TensorFlow с открытым исходным кодом, охватывающей сквозной рабочий процесс машинного обучения. Таким образом, после предварительной обработки вы можете обучать модель машинного обучения на той же платформе.

Librosa — это библиотека Python с открытым исходным кодом, в которой есть почти все, что вам нужно для анализа звука и музыки. Он позволяет отображать характеристики аудиофайлов, создавать все типы визуализации аудиоданных и извлекать из них функции, и это лишь некоторые из возможностей.

Audio Toolbox от MathWorks предлагает множество инструментов для обработки и анализа аудиоданных, от маркировки до оценки метрик сигнала и извлечения определенных функций. Он также поставляется с предварительно обученными моделями машинного обучения и глубокого обучения, которые можно использовать для анализа речи и распознавания звука.

Этапы анализа аудиоданных

Теперь, когда у нас есть общее представление о звуковых данных, давайте взглянем на ключевые этапы сквозного проекта анализа аудио.

1. Получите аудиоданные проекта , сохраненные в стандартных форматах файлов.
2. Подготовьте данные для вашего проекта машинного обучения с помощью программных средств
3. Извлечение звуковых характеристик из визуальных представлений звуковых данных.
4. Выберите — модель машинного обучения, а — обучать аудиофункциям.

Этапы анализа звука с помощью машинного обучения

Сбор голосовых и звуковых данных

У вас есть три варианта получения данных для обучения моделей машинного обучения: использовать бесплатные звуковые библиотеки или наборы аудиоданных, приобрести их у поставщиков данных или собрать его с привлечением экспертов предметной области.

Бесплатные источники данных

В Интернете есть много таких источников. Но что мы в данном случае не контролируем, так это качество и количество данных, а также общий подход к записи.

Библиотеки звуков — это бесплатные аудиофайлы, сгруппированные по темам. Такие источники, как Freesound и BigSoundBank, предлагают голосовые записи, звуки окружающей среды, шумы и, честно говоря, всевозможные вещи. Например, вы можете найти саундскейп аплодисментов и набор со звуками скейтборда.

Самое главное, что звуковые библиотеки не готовятся специально для проектов машинного обучения. Таким образом, нам необходимо выполнить дополнительную работу по комплектованию комплектов, маркировке и контролю качества.

Наборы аудиоданных , напротив, создаются с учетом конкретных задач машинного обучения. Например, набор данных Bird Audio Detection Лаборатории машинного прослушивания содержит более 7000 отрывков, собранных в ходе проектов биоакустического мониторинга. Другим примером является набор данных ESC-50: Классификация звуков окружающей среды, содержащий 2000 помеченных аудиозаписей. Каждый файл длится 5 секунд и принадлежит к одному из 50 семантических классов, организованных в пять категорий.

Одна из крупнейших коллекций аудиоданных — AudioSet от Google. Он включает более 2 миллионов 10-секундных звуковых клипов с человеческими метками, извлеченных из видео на YouTube. Набор данных охватывает 632 класса, от музыки и речи до звуков осколков и зубной щетки.

Коммерческие наборы данных

Коммерческие аудио наборы для машинного обучения определенно более надежны с точки зрения целостности данных, чем бесплатные. Мы можем порекомендовать ProSoundEffects продавать наборы данных для обучения моделей для распознавания речи, классификации звуков окружающей среды, разделения источников звука и других приложений. Всего у компании 357 000 файлов, записанных экспертами по звуку фильмов и классифицированных по 500+ категориям.

Но что, если звуковые данные, которые вы ищете, слишком специфичны или редки? Что делать, если вам нужен полный контроль над записью и маркировкой? Что ж, тогда лучше делайте это в партнерстве с надежными специалистами из той же отрасли, что и ваш проект по машинному обучению.

Экспертные наборы данных

При работе с Sleep.ai нашей задачей было создать модель, способную идентифицировать скрежещущие звуки, которые люди с бруксизмом обычно издают во время сна. Понятно, что нужны были специальные данные, недоступные в открытых источниках. Кроме того, надежность и качество данных должны были быть самыми лучшими, чтобы мы могли получить достоверные результаты.

Чтобы получить такой набор данных, стартап сотрудничал с лабораториями сна, где ученые наблюдают за людьми, пока они спят, чтобы определить здоровый режим сна и диагностировать нарушения сна. Эксперты используют различные устройства для записи мозговой активности, движений и других событий. Для нас они подготовили размеченный набор данных, содержащий около 12 000 образцов скрежещущих и храпящих звуков.

Подготовка аудиоданных

В случае Sleep.io наша команда пропустила этот шаг, доверив специалистам по сну задачу подготовки данных для нашего проекта. То же самое относится и к тем, кто покупает аннотированные звуковые коллекции у поставщиков данных. Но если у вас есть только необработанные данные, то есть записи, сохраненные в одном из форматов аудиофайлов, вам необходимо подготовить их для машинного обучения.

Маркировка аудиоданных

Маркировка или аннотация данных — это пометка необработанных данных с правильными ответами для запуска контролируемого машинного обучения. В процессе обучения ваша модель научится распознавать закономерности в новых данных и делать правильные прогнозы на основе меток. Таким образом, их качество и точность имеют решающее значение для успеха проектов машинного обучения.

Хотя маркировка предполагает помощь программных средств и некоторую степень автоматизации, по большей части она по-прежнему выполняется вручную профессиональными аннотаторами и/или экспертами в предметной области. В нашем проекте по обнаружению бруксизма эксперты по сну прослушали аудиозаписи и пометили их ярлыками скрежета или храпа.

Узнайте больше о подходах к аннотированию из нашей статьи Как организовать маркировку данных для машинного обучения

Предварительная обработка аудиоданных

Помимо обогащения данных значимыми тегами, мы должны предварительно обработать звуковые данные, чтобы повысить точность предсказания. Вот самые основные шаги для проектов по распознаванию речи и классификации звуков.

Кадрирование означает разрезание непрерывного звукового потока на короткие фрагменты (кадры) одинаковой длины (обычно 20-40 мс) для дальнейшей посегментной обработки.

Работа с окнами — это фундаментальный метод обработки звука, позволяющий свести к минимуму спектральную утечку — распространенную ошибку, приводящую к искажению частоты и ухудшению точности амплитуды. Существует несколько оконных функций (Хемминга, Хэннинга, Плоской вершины и т. д.), применяемых к разным типам сигналов, хотя вариант Хэннинга хорошо работает в 95% случаев.

По сути, все окна делают одно и то же: уменьшают или сглаживают амплитуду в начале и конце каждого кадра, увеличивая ее в центре, чтобы сохранить среднее значение.

Форма сигнала до и после работы с окнами. Источник: National Instruments .

Метод Overlap-Add (OLA) предотвращает потерю жизненно важной информации, которая может быть вызвана работой с окнами . OLA обеспечивает 30-50-процентное перекрытие между соседними кадрами, что позволяет изменять их без риска искажения. В этом случае исходный сигнал можно точно восстановить по окнам.

Пример работы с окнами с перекрытием. Источник: Wiki Университета Аалто

Узнайте больше об этапе предварительной обработки и методах, которые он использует, из нашей статьи Подготовка ваших данных для машинного обучения и видео ниже.

https://youtu.be/P8ERBy91Y90

Аудиофункции или дескрипторы — это свойства сигналов, вычисленные на основе визуализации предварительно обработанных аудиоданных. Они могут принадлежать к одному из трех доменов

• временных доменов, представленных осциллограммами,
• частотных областей, представленных графиками спектра, и
• временных и частотных областей, представленных спектрограммами.

Визуализация аудиоданных: форма сигнала для временной области, спектр для частотной области и спектрограмма для частотно-временной области. Источник: Типы аудиофункций для машинного обучения.

Характеристики во временной области

Как мы упоминали ранее, характеристики во временной области или временные характеристики извлекаются непосредственно из исходных сигналов. Обратите внимание, что волновые формы не содержат много информации о том, как на самом деле будет звучать произведение. Они показывают только то, как амплитуда изменяется со временем. На изображении ниже мы видим, что сигналы состояния воздуха и сигналов сирены выглядят одинаково, но, конечно же, эти звуки не будут похожими.

Примеры сигналов. Источник: Towards Data Science

Теперь давайте перейдем к некоторым ключевым функциям, которые мы можем извлечь из сигналов.

Огибающая амплитуды (AE) отслеживает пики амплитуды в кадре и показывает, как они изменяются во времени. С помощью AE вы можете автоматически измерять продолжительность отдельных частей звука (как показано на рисунке ниже). AE широко используется для обнаружения начала, чтобы указать, когда начинается определенный сигнал, а также для классификации музыкальных жанров.

Амплитуда огибающей тико-тико птичьего пения. Источник: Seewave: Принципы анализа звука

Кратковременная энергия (STE) показывает изменение энергии в коротком речевом кадре.

Это мощный инструмент для разделения вокализованных и невокализованных сегментов.

Среднеквадратическая энергия (RMSE) дает вам представление о средней энергии сигнала. Его можно вычислить по форме волны или спектрограмме. В первом случае вы получите результат быстрее. Тем не менее, спектрограмма обеспечивает более точное представление энергии во времени. RMSE особенно полезен для сегментации звука и классификации музыкальных жанров.

Скорость пересечения нуля (ZCR) подсчитывает, сколько раз сигнальная волна пересекает горизонтальную ось в кадре. Это одна из наиболее важных акустических характеристик, широко используемая для обнаружения присутствия или отсутствия речи и различения шума и тишины, а музыки и речи.

Характеристики частотной области

Признаки частотной области извлечь труднее, чем временные, поскольку процесс включает преобразование сигналов в графики спектра или спектрограммы с использованием FT или STFT. Тем не менее, именно частотное содержание раскрывает многие важные звуковые характеристики, невидимые или трудноразличимые во временной области.

Наиболее распространенные характеристики частотной области включают

• среднюю или среднюю частоту,
• медианная частота при разделении спектра на две области с одинаковой амплитудой,
• отношение сигнал-шум (SNR) при сравнении силы желаемого звука с фоновым носом,
Отношение энергии полосы
• (BER), изображающее отношения между более высокими и более низкими частотными диапазонами. Другими словами. он измеряет, насколько низкие частоты преобладают над высокими.

Конечно, в этом домене есть множество других свойств, на которые стоит обратить внимание. Напомним, что он говорит нам, как звуковая энергия распространяется по частотам, а временная область показывает, как сигнал изменяется во времени.

Характеристики частотно-временной области

В этой области сочетаются временные и частотные компоненты и используются различные типы спектрограмм для визуального представления звука. Вы можете получить спектрограмму из сигнала, применяя кратковременное преобразование Фурье.

Одна из самых популярных групп характеристик частотно-временной области — мел-частотные кепстральные коэффициенты (MFCC) . Они работают в диапазоне человеческого слуха и, как таковые, основаны на мел-шкале и мел-спектрограммах, которые мы обсуждали ранее.

Неудивительно, что первоначальное применение MFCC — это распознавание речи и голоса. Но они также оказались эффективными для обработки музыки и акустической диагностики в медицинских целях, в том числе для обнаружения храпа. Например, одна из недавних моделей глубокого обучения, разработанная Инженерной школой (Университет Восточного Мичигана), была обучена на 1000 MFCC-изображениях (спектрограммах) звуков храпа.

Форма волны звука храпа (a) и ее спектрограмма MFCC (b) по сравнению с формой волны звука смыва унитаза (c) и соответствующим изображением MFCC (d). Источник: Модель глубокого обучения для обнаружения храпа ( Electronic Journal, Vol.8, Issue 9 )

временная и частотная области. В сочетании они создавали богатые профили скрежещущих и храпящих звуков.

Выбор и обучение моделей машинного обучения

Поскольку звуковые функции представлены в визуальной форме (в основном в виде спектрограмм), они становятся объектом распознавания изображений, основанного на глубоких нейронных сетях. Существует несколько популярных архитектур, показывающих хорошие результаты в обнаружении и классификации звука. Здесь мы сосредоточимся только на двух обычно используемых для выявления проблем со сном по звуку.

Сети с долговременной кратковременной памятью (LSTM)

Сети с долговременной кратковременной памятью (LSTM) известны своей способностью выявлять долгосрочные зависимости в данных и запоминать информацию из многочисленных предыдущих шагов. Согласно исследованию обнаружения апноэ во сне, LSTM могут достигать точности 87 процентов при использовании функций MFCC в качестве входных данных для отделения нормальных звуков храпа от ненормальных.

Другое исследование показывает еще лучшие результаты: LSTM классифицировал нормальный и ненормальный храп с точностью 95,3%. Нейронная сеть была обучена с использованием пяти типов функций, включая MFCC и кратковременную энергию из временной области. Вместе они представляют различные характеристики храпа.

Сверточные нейронные сети (CNN)

Сверточные нейронные сети лидируют в области компьютерного зрения в здравоохранении и других отраслях. Их часто называют , что является естественным выбором для задач распознавания изображений . Эффективность архитектуры CNN при обработке спектрограмм еще раз доказывает справедливость этого утверждения.

В вышеупомянутом проекте Инженерной школы (Университет Восточного Мичигана) модель глубокого обучения на основе CNN достигла точности 96 процентов в классификации храпящих и нехрапящих звуков.

Почти такие же результаты получены для комбинации архитектур CNN и LSTM. Группа ученых из Технологического университета Эйндховена применила модель CNN для извлечения признаков из спектрограмм, а затем запустила LSTM, чтобы классифицировать выходные данные CNN на события, связанные с храпом и без храпа. Значения точности варьируются от 94,4 до 95,9 процентов в зависимости от расположения микрофона, используемого для записи звуков храпа.

Для проекта Sleep.io команда специалистов по данным AltexSoft использовала две CNN (для обнаружения храпа и скрипа) и обучила их на платформе TensorFlow. После того, как модели достигли точности более 80 процентов, они были запущены в производство. Их результаты постоянно улучшались по мере роста числа входных данных, полученных от реальных пользователей.

Создание приложения для обнаружения храпа и скрежетания зубами

Чтобы сделать наши алгоритмы классификации звуков доступными для широкой аудитории, мы упаковали их в приложение для iOS Do I Snore or Grind, которое вы можете бесплатно загрузить из App Store. Наша команда UX создала единый поток, позволяющий пользователям записывать шумы во время сна, отслеживать свой цикл сна, отслеживать события вибрации и получать информацию о факторах, влияющих на сон, и советы о том, как они могут изменить свои привычки. Весь анализ аудиоданных выполняется на устройстве, поэтому вы получите результаты даже при отсутствии подключения к Интернету.

Интерфейс приложения Do I Snore or Grind.

Имейте в виду, однако, что никакое приложение для здоровья, каким бы умным оно ни было, не может заменить настоящего врача. Вывод, сделанный ИИ, должен быть проверен вашим стоматологом, врачом или другим медицинским экспертом.

Если вы хотите узнать еще больше подробностей, прочитайте наши тематические исследования

AltexSoft и Bruxlab: использование современного машинного обучения и науки о данных для диагностики и борьбы с бруксизмом

AltexSoft и SleepScore Labs: Building iOS-приложение для обнаружения храпа и скрежета зубов

Программные продукты - SIL Language Technology

Компания SIL разработала программное обеспечение, которое позволяет людям во всем мире использовать компьютер на своем родном языке.

Для того, чтобы иметь полный указатель, здесь охвачен весь спектр программного обеспечения SIL, от самой современной программы лингвистического анализа до древних инструментов обработки текста, которые представляют только исторический интерес. Поиск программного обеспечения по лингвистической задаче, языку интерфейса, лицензии или операционной системе можно выполнить с помощью LingTranSoft, который включает в себя все программное обеспечение SIL, а также другое программное обеспечение, используемое для поддержки языковой разработки и задач перевода.

Если у вас есть вопросы или вам нужна помощь, обратитесь в отдел языковых технологий.

На отдельной странице перечислены шрифты, производимые SIL.

Рекомендуемые продукты

top

Веб-приложения

top

Другое поддерживаемое программное обеспечение

SIL International рекомендует людям использовать это программное обеспечение для выполнения своих задач по обработке языка. Это программное обеспечение поддерживается и обновляется. Кроме того, техническую поддержку можно получить от разработчика(ов) приложения.

top

Неподдерживаемое программное обеспечение

Неподдерживаемое программное обеспечение доступно для использования на условиях «как есть». Программное обеспечение может быть полезным для выполнения задач, для которых оно было разработано. Однако из-за ограниченных ресурсов SIL не будет предоставлять поддержку или устранять ошибки для программного обеспечения.

top

Программное обеспечение, снятое с производства

Программное обеспечение, снятое с производства, доступно для использования на условиях «как есть». Программное обеспечение может быть полезным для выполнения задач, для которых оно было разработано.