Clostridium и Staphylococcus типизируют виды явлений, которые мы наблюдали после десяти испытаний каждого эксперимента, используя произвольно выбранные пары организмов из Таблицы 1. Здесь будут описаны типичные виды наблюдаемых явлений, используя наборы спектра для этих двух организмов. Мы начнем с демонстрации того, что две группы родов, Clostridium и Staphylococcus , не связаны анализом пропорций их мотивов.Из рисунков 3 и 4 мы отмечаем, что только Clostridium , имеющие сайты узнавания ATTAAT и CCCGGG , могут распознаваться наборами спектров AAATTT и CCCGGG- (у стафилококков нет сайтов рестрикции ). ). Анализируя пропорции мотивов этого набора спектров, мы видим, что оба организма имеют очень разные пропорции этих участков спектра.

Из рисунков 6 и 7 видно, что на тепловой карте было два четко контрастирующих поддерева, разделяющих два организма.Был такой же контраст между последовательностями других наших тепловых карт других организмов. В представленных двух организмах мы отметили, что тепловые карты почти противоположны друг другу: члены семейства Clostridium, как правило, имеют более теплые цвета (повышенные пропорции), а представители Staphylococcus имеют более холодные цвета (низкие пропорции) в наборе спектров AAATTT-. . Эта тенденция является обратной для набора спектров CCCGGG-.

Разделение по набору AAATTT -Spectrum.Существует четкое различие между каждым бункером; Closteridium и Staphylococcus отдела Firmacute. Данные разделены, за исключением двух средних последовательностей, образующих отдельную группу. У нас были аналогичные результаты для набора AATTCG -Spectrum. Это результат нашей предыдущей работы в [33].

Разделение по мотивам набора CCCGGG -Spectrum. Обратите внимание на четкое различие между каждым бункером. Кроме того, мы отмечаем, что больше нет цветовой картины, показывающей, что Clostridium botulinum тесно связаны, как мы видели на рисунке 6.Этот результат взят из нашей предыдущей работы в [33].

Набор спектров AATTCG- также успешно показал два разных семейных поддерева, но явный контраст между организмами был гораздо меньше, чем при использовании набора спектров AAATTT-. Мы приписываем этот высокий контраст тому явлению, что набор спектров, возможно, может быть более биологически релевантным для одного из организмов, чем для другого, в зависимости от используемой ими последовательности распознавания. Набор спектров CCGGAT-, как правило, не очень успешно демонстрировал контрасты для биннинга в наших испытаниях для этих организмов.Этот же эксперимент был проведен десять раз с разными (т. е. вновь выбранными) контигами, и мы наблюдали аналогичные результаты на тепловых картах, которые обсуждались. Мы предполагаем, что, поскольку группа Staphylococcus , по-видимому, имеет более высокую долю содержания CCCGGG , чем Clostridium , это контрастирование помогает связать чтения отношениями.

Ясно, что правильное использование правильного набора спектров может аккуратно отличить одну группу организмов от другой для бинирования.Выше мы видели, что существуют различия в количестве наборов спектров, обнаруживаемых в организмах. Это создавало высокий контраст, который помогал отличить один организм от другого. Теперь мы обсудим, как этот метод может различать только прочитанные данные или данные последовательности contig.

Пропорциональные различия в контигах по наборам спектров

Теперь мы обсудим применение разделения прочтений, происходящих от трех разных организмов, смешанных вместе в один и тот же пул.Кстати, часть этого процесса включает разделение контигов, принадлежащих двум разным организмам. Для нашего теста мы произвольно выбрали другой микроорганизм (представленный в нашей группе организмов в таблице 1) Burkholderia pseudomallei для добавления к контигам из Clostridium tetani и Staphylococcus aureus . Контиги имеют длину 5000 бит/с, которые мы выбрали для иллюстрации теста и демонстрации его производительности.

Тесты для определения гибких наборов спектров

При работе с контигами двух организмов набор спектров может быть выбран на основе сайтов рестрикции, присущих вовлеченным организмам.Однако задача секвенирования может объединять контиги трех или более организмов вместе. Контиги каждого организма должны быть отделены от контигов других организмов, чтобы сделать сборку последовательности более осуществимой. Из-за большого количества контигов во всем проекте может оказаться неудобным проводить анализ базовой композиции по всем данным последовательности, поэтому для определения набора спектров для задачи бинирования предлагается использовать тест набора спектров как показано на рисунке 8. Этот тест представляет собой анализ основного состава, проводимый только для организмов, которые, как известно, являются близкими родственниками контигов (родителей) в пуле.На рисунке 8 мы видим, что Burkholderia имеет наименьшие пропорции набора спектров AAATTT-. И наоборот, на рисунке 9, Staphylococcus и Clostridium имеют самые низкие пропорции набора спектров CCCGGG-. Когда любой из этих наборов спектров применяется к пулу всех контигов, мы отмечаем, что контиги Burkholderia , Staphylococcus и Clostridium отражают те же тенденции, наблюдаемые на уровне генома.Например, рисунки 10 и 11 отражают подчеркивающие тенденции рисунков 8 и 9, соответственно, с точки зрения охвата набора мотивов спектра.

Тест набора спектров AAATTT . Данные последовательности применяются к нашему базовому анализу состава, чтобы определить его родство.

Тест набора спектров CCCGGG . Данные о последовательности анализируют по основному составу для определения родства.

Анализ набора спектров AAATTT , выполненный для всех данных последовательности в пуле.Данные последовательности Burkholderia pseudomallei , имеющие повышенные пропорции мотивов этого набора спектров, создают контраст с таковыми для Clostridium tetani и Staphylococcus aureus . На этой тепловой карте видно, что эти организмы имеют смешанные пропорции.

Анализ набора спектров CCCGGG-, проведенный по всем контигам в пуле. Мы отмечаем, что данные последовательности Burkholderia pseudomallei , имеющие низкую долю мотивов этого набора спектров, создают контраст с таковыми Clostridium tetani и Staphylococcus aureus .На этой тепловой карте видно, что эти организмы имеют смешанные пропорции.

Удаление контрастной группы контигов

На рисунке 8 (набор спектров AAATTT ) мы отметили, что Burkholderia имели низкие доли этого набора, а также на рисунке 9 (набор спектров CCCGGG , было наоборот На рисунках 10 и 11 мы видим, что такая же картина наблюдается и у контигов Burkholderia . Таким образом, с помощью этого сильного контраста мы могли бы удалить все контиги, демонстрирующие эти сильные контрасты, и при этом мы, вероятно, разделим на группы Burkholderia. контигов.Мы отмечаем, что набор спектров AATTCG не мог показать контрасты между двумя из трех организмов (рис. 12), но Burkholderia по-прежнему представлял собой контрастирующую группу. Интересно, что без этого микроорганизма набор спектров AATTCG четко дифференцировал контиги Staphylococcus и Clostridium , как показано на рисунке 13. set может изменить параметры программного обеспечения тепловой карты.

Тест набора спектров AATTCG-: геномы или хромосомы анализируются по основному составу, чтобы определить ожидаемое кластерное поведение их контигов.

Разделение контигов Clostridium tetani и Staphylococcus aureus с помощью набора спектров AATTCG-. Мы обнаружили, что этот набор спектров хорошо подходит для разделения контигов. Набор спектров AAATTT- работал не так хорошо, как мы ожидали от нашей работы на рисунке 6.Мы предполагаем, что контиги этих конкретных организмов следовали тенденциям, показанным на рисунке 12. к инструменту таксономии NCBI [30]. В нашем примере мы произвольно выбрали хромосому из каждого из семи различных организмов, перечисленных в таблице 3. Затем мы применили нашу схему для извлечения распределения каждого набора спектров и сравнили результаты с деревом таксономии на рисунке 14 из NCBI, которое основано на классификация их базы данных таксономии и других ресурсов.

Таксономическое дерево NCBI, используемое для проверки и сравнения. Это филогенетическое дерево использовалось для сравнения результатов анализа набора спектров организмов, перечисленных в Таблице 3. Мы ранжировали результаты по шкале от наибольшего до наименьшего сходства в Таблице 4.

Напоминаем читателю, что поддеревья в этом примере содержат организмы, которые могут быть связаны основными эволюционными явлениями. Если бы у нас были контиги в пуле от каждого из этих организмов, то эти фрагменты объединились бы, чтобы сформировать более специфические семейные поддеревья.Вместо этого эти данные представляют собой материал хромосомной последовательности, который группируется по родству.

Мы проверили полученные деревья этого примера по следующим критериям: бактерия должна быть наиболее эволюционно отличным организмом. Млекопитающие (то есть собака, кролик, крыса и мышь) должны быть наиболее эволюционно похожей группой набора. Червь и плодовая мушка должны находиться в поддереве, которое эволюционно находится между бактерией и млекопитающими. Действительно, червь и плодовая мушка — достаточно разные организмы, однако для данного примера они явно больше похожи друг на друга (чем на бактерию) и не принадлежат к множеству млекопитающих.Таким образом, наша проверка включала проверку трех основных поддеревьев: одного для млекопитающих, одного для червей и плодовых мушек и поддерева, содержащего только бактерии. Другими словами, поддеревья должны были быть устроены аналогично таксономическому дереву NCBI, показанному на рисунке 14.

На рисунках с 15 по 18 мы видим филогенетические деревья из каждого набора спектров. При осмотре самые близкие к рисунку 14 деревья относятся к наборам спектров CCGGAT и AAATTT , рис. 15 и 16 соответственно.Оба этих дерева показывают, что бактерия наиболее эволюционно удалена от остальных организмов и что плодовая мушка и червь образуют поддерево, отличное от поддерева млекопитающих. Расположение поддеревьев на обоих рисунках имеет ту же конфигурацию, что и на дереве таксономии NCBI, однако дерево набора спектров AAATTT- не так точно, как дерево набора CCGGAT-, из-за отображаемого более короткого эволюционного пути. расстояния (например, более длинные ветви указывают на большее расстояние).Кроме того, расстояние между крысой и мышью ожидаемо меньше для набора спектров CCGGAT-, чем для набора AAATTT-.

Набор спектров CCGGAT-. Это дерево совершенно напоминает дерево таксономии на рис. 14 и показывает огромные эволюционные расстояния между организмами. Установлено, что крыса и мышь являются близкими родственниками. Мы отмечаем три различных поддеревья: одно, содержащее бактерию, одно для млекопитающих и одно, содержащее червя и плодовую мушку.Расположение этих поддеревьев соответствует дереву таксономии.

Набор спектров AAATTT-. Это дерево также напоминает дерево таксономии, но между мышью и крысой есть небольшое расстояние, которого нет на рисунке 15. Мы отмечаем отдельные поддеревья дерева, соответствующие дереву таксономии.

Дерево спектра AATTCG-, представленное на рис. 17, показывает, что бактерия находится между поддеревьями млекопитающих и поддеревьев червей и плодовых мушек.Дерево таксономии на рисунке 14 не соответствует действительности. Кроме того, дерево из набора спектров CCCGGG- (рисунок 18) также является неточным, поскольку оно показывает, что плодовая мушка тесно связана с кроликом. Эти результаты подтверждают наши более ранние выводы о том, что выбор правильного набора спектров имеет первостепенное значение для успешного анализа.

Набор спектров AATTCG-. Отметим, что мышь и крыса не являются близкими родственниками. Бактерия также находится эволюционно между млекопитающими и поддеревом, содержащим червя и плодовую мушку.

he CCCGGG- Набор спектров. Это дерево неточно, потому что оно указывает на то, что кролик и плодовая муха являются близкими родственниками.

Поскольку мотивы набора спектра изначально были вдохновлены палиндромными сайтами рестрикции, мы также изучили пропорции исчерпывающего списка палиндромных мотивов длиной 6 (всего 64) в данных о последовательностях. Интересно, что палиндромные мотивы успешно дифференцируют хромосомы, как показано в [14].Однако на Рисунке 19 мы видим, что палиндромы не воссоздают дерево таксономии с Рисунка 14.

Набор палиндромных спектров длины-6. Здесь мы отмечаем, что это дерево не очень хорошо соответствует дереву проверки на рисунке 14. Крыса и мышь показаны как близкие родственники, но неточно, дерево показывает, что бактерия и червь также тесно связаны.

Чтобы обобщить эти результаты, мы предлагаем таблицу 4, которая содержит максимальное и минимальное сходство с деревом на рисунке 14.Из их ранжирования мы отмечаем, что наборы спектров не ведут себя одинаково и что требуется дальнейшее изучение, чтобы понять, как их следует применять к конкретному набору данных об организме для классификации.

Введение в стилометрию с Python

Содержимое

Стилометрия — это количественное исследование литературного стиля с помощью компьютерных методов дистанционного чтения. Он основан на наблюдении, что авторы склонны писать относительно последовательными, узнаваемыми и уникальными способами.Например:

• У каждого человека свой уникальный словарный запас, иногда богатый, иногда ограниченный. Хотя больший словарный запас обычно ассоциируется с литературным качеством, это не всегда так. Эрнест Хемингуэй известен тем, что в своих произведениях использует на удивление малое количество разных слов, 90 262, что не помешало ему получить Нобелевскую премию по литературе в 1954 году. 90 263
• Одни люди пишут короткими предложениями, другие предпочитают длинные блоки текста, состоящие из множества предложений.
• Никакие два человека не используют точки с запятой, тире и другие формы пунктуации совершенно одинаково.

То, как писатели используют маленькие служебные слова, такие как артикли, предлоги и союзы, оказалось особенно показательным. В обзоре исторических и современных стилометрических методов Эфстатиос Стамататос отмечает, что служебные слова «используются авторами в значительной степени бессознательно, и они не зависят от темы». ^{Для стилометрического анализа это очень выгодно, поскольку такой бессознательный паттерн, скорее всего, будет меньше варьироваться в корпусе автора, чем его или ее общий словарный запас.(Потенциальному фальсификатору также очень трудно скопировать.) Функциональные слова также были определены как важные маркеры литературного жанра и хронологии.}

Ученые использовали стилометрию как инструмент для изучения множества культурных вопросов. Например, значительное количество исследований изучало различия между тем, как мужчины и женщины пишут ^{или о чем пишут. Другие ученые изучали, каким образом внезапное изменение стиля письма в пределах одного текста может указывать на плагиат, и даже то, как тексты, написанные музыкантами Джоном Ленноном и Полом Маккартни, становились все менее веселыми и менее активными по мере приближения «Битлз». конец их карьеры звукозаписи в 1960-х.}

Однако одним из наиболее распространенных применений стилометрии является установление авторства. По анонимному тексту иногда можно догадаться, кто его написал, измеряя определенные характеристики, такие как среднее количество слов в предложении или склонность автора использовать «пока» вместо «пока», и сравнивая измерения с другими. тексты, написанные подозреваемым автором. Это то, что мы будем делать на этом уроке, используя в качестве тестового примера, пожалуй, самый известный пример оспариваемого авторства в истории политической литературы, федералистских документов.

Результаты обучения

В конце этого урока мы изучим следующие темы:

Обратите внимание, что код в этом уроке предназначен для последовательного выполнения. Если вы хотите, например, обойти метод Менденхолла и сразу перейти к методу Килгариффа или Берроуза, обязательно скопируйте и вставьте код предварительной обработки, найденный в описании характеристических кривых Мененхолла, в свой собственный кодовый блок. В противном случае вы не сможете сопоставить результаты, представленные здесь.

Предварительное чтение

Если у вас нет опыта работы с языком программирования Python или вам сложно найти примеры в этом руководстве, автор рекомендует вам прочитать уроки по работе с текстовыми файлами в Python и по работе со строками в Python.

Необходимые материалы

В этом учебном пособии используются как наборы данных, так и программное обеспечение, которое необходимо загрузить и установить.

Набор данных

Для работы с этим уроком вам необходимо скачать и разархивировать архив документов федералиста (.zip), содержащий 85 документов, которые мы будем использовать для нашего анализа. Архив также содержит оригинальную версию электронной книги Project Gutenberg Federalist Papers , из которой были извлечены эти 85 документов. Когда вы разархивируете архив, он создаст каталог с именем data в вашем текущем рабочем каталоге. Убедитесь, что вы остаетесь в этом текущем рабочем каталоге и сохраняете всю работу здесь во время завершения урока.

Программное обеспечение

В этом уроке используются следующие версии языка и библиотеки Python:

• Питон 3.x — рекомендуется последняя стабильная версия.
• nltk — набор инструментов для естественного языка, обычно сокращенно nltk .
• матплотлиб

Некоторые из этих модулей могут быть не установлены на вашем компьютере заранее. Если вы столкнетесь с такими сообщениями об ошибках, как «Модуль не найден» или подобными, вам придется загрузить и установить отсутствующие модули. Это проще всего сделать с помощью команды pip . Полная информация доступна в уроке Programming Historian по установке модулей Python с помощью pip.

Некоторые примечания о независимости от языка

В этом руководстве стилометрический анализ применяется к набору текстов на английском языке с использованием библиотеки Python под названием nltk . Большая часть функций, предоставляемых nltk , работает с другими языками. Пока язык обеспечивает четкий способ различения границ слов внутри слова, nltk должен работать хорошо. Языки, такие как китайский, для которых нет четкого различия между словами, могут быть проблематичными.Я без проблем использовал nltk с французскими текстами; другие языки, использующие диакритические знаки, такие как испанский и немецкий, также должны хорошо работать с nltk . Подробную информацию см. в документации nltk.

Только для одной из задач в этом руководстве требуется код, зависящий от языка. Чтобы разделить текст на набор французских или испанских слов, вам нужно будет указать соответствующий язык в качестве параметра для токенизатора nltk , который по умолчанию использует английский язык.Это будет объяснено в учебнике.

Наконец, обратите внимание, что некоторые лингвистические задачи, такие как маркировка частей речи, могут не поддерживаться nltk на языках, отличных от английского. В этом руководстве не рассматриваются теги частей речи. Если вам это нужно для ваших собственных проектов, обратитесь за консультацией к документации nltk.

The Federalist Papers (также известный как Federalist Papers ) представляет собой сборник из 85 основополагающих статей по политической теории, опубликованных в период с октября 1787 по май 1788 года.Эти документы, написанные в то время, когда бушевали дебаты по поводу ратификации Конституции Соединенных Штатов, представляли доводы в пользу системы правления, которую США в конечном итоге приняли и в которой они живут по сей день. Таким образом, федералист иногда называют величайшим и наиболее прочным вкладом Америки в область политической философии.

Трое самых выдающихся людей Ранней Республики написали газеты:

• Александр Гамильтон, первый министр финансов США.
• Джеймс Мэдисон, четвертый президент Соединенных Штатов, которого иногда называют «отцом Конституции» за ключевую роль на Конституционном съезде 1787 года.
• Джон Джей, первый главный судья США, второй губернатор штата Нью-Йорк и дипломат.

Однако кто написал который статей был предметом открытых дискуссий на протяжении 150 лет, и в загадочности виновато поведение соавторов.

Сначала Федералист был опубликован анонимно под общим псевдонимом «Публий».Анонимные публикации не были редкостью в восемнадцатом веке, особенно в случае политически чувствительных материалов. Однако в случае Federalist тот факт, что три человека использовали один и тот же псевдоним, затрудняет определение того, кто какую часть текста написал. Проблема усугубляется тем фактом, что три автора писали на тесно связанные темы в одно и то же время и с использованием одних и тех же культурных и политических отсылок, из-за чего их соответствующие словари было трудно отличить друг от друга.

Во-вторых, потому что Мэдисон и Гамильтон оставили противоречивые показания относительно своей роли в проекте. В известной статье 1944 года историк Дуглас Адэр ^{объяснил, что ни один из мужчин не хотел, чтобы истинное авторство Документов стало достоянием общественности еще при их жизни, потому что они сожалели о некоторых из написанных. Однако печально известный тщеславный Гамильтон хотел убедиться, что потомков запомнят его как движущую силу Документов.В 1804 году, за два дня до того, как он должен был драться на дуэли (на которой он был убит), Гамильтон написал записку, в которой утверждал, что 63 из 85 документов являются его собственной работой, и передал ее другу на хранение. Десять лет спустя Мэдисон опроверг некоторые утверждения Гамильтона, заявив, что он был автором 12 статей из списка Гамильтона и что он проделал большую часть работы еще над тремя, за которые Гамильтон претендовал на равную честь. Поскольку Гамильтон давно умер, он не мог ответить Мэдисон.}

В-третьих, потому что, по словам Дэвида Холмса и Ричарда Форсайта, ^{Мэдисон и Гамильтон имели «необычно похожие» стили письма.Фредерик Мостеллер и Фредерик Уильямс подсчитали, что в статьях, авторство которых не вызывает сомнений, средняя длина предложений, написанных двумя мужчинами, необычно велика и практически одинакова: 34,59 и 34,55 слова соответственно. Стандартные отклонения длин предложений двух мужчин также почти идентичны. И, как пошутил Мостеллер, ни один из мужчин не использовал короткое слово вместо длинного. Таким образом, не было простого способа определить, какая именно бумага четко отмечена стилистической подписью Гамильтона или Мэдисона.}

Только в 1964 году Мостеллер и Дэвид Ли Уоллес ^{, используя статистику употребления слов, нашли относительно удовлетворительное решение этой загадки. Сравнив, как часто Мэдисон и Гамильтон использовали общие слова, такие как май , также , и , его и т. д., они пришли к выводу, что все оспариваемые документы были написаны Мэдисоном. Даже в случае с Federalist 55 , в отношении которого они назвали доказательства наименее убедительными, Мостеллер и Уоллес оценили вероятность того, что Мэдисон была автором, как 100 к 1.}

С тех пор авторство Федералист остается распространенным тестовым случаем для алгоритмов машинного обучения в англоязычном мире. ^{Стилометрический анализ также продолжал использовать Federalist для совершенствования своих методов, например, в качестве тестового примера при поиске признаков скрытого сотрудничества между несколькими авторами в одном тексте. Интересно, что некоторые результаты этого исследования показывают, что ответ на загадку Федералист может быть не таким однозначным, как думали Мостеллер и Уоллес, и что Гамильтон и Мэдисон, возможно, написали в соавторстве больше Федералист чем мы когда-либо подозревали.}

В этом уроке мы будем использовать модель Federalist в качестве примера для демонстрации трех различных стилометрических подходов.

1. Характеристические кривые состава Менденхолла
2. Метод хи-квадрат Килгариффа
3. Дельта-метод Джона Берроуза

Для этого необходимо разделить документы на шесть категорий:

1. Известно, что 51 статья была написана Александром Гамильтоном.
2. Известно, что 14 статей были написаны Джеймсом Мэдисоном.
3. Четыре из пяти статей, о которых известно, были написаны Джоном Джеем.
4. Три статьи, которые, вероятно, были написаны Мэдисоном и Гамильтоном в соавторстве и главным автором которых Мэдисон заявил.
5. 12 документов, оспариваемых между Гамильтоном и Мэдисон.
6. Федералист 64 в отдельной категории.

Это подразделение в основном следует примеру Мостеллера ^{. Единственным исключением является Federalist 64 , который, как все согласны, был написан Джоном Джеем, но который мы оставляем в отдельной категории по причинам, которые станут ясны позже.}

В наших первых двух тестах с использованием характеристических кривых композиции Т. К. Менденхолла и расстояния хи-квадрат Адама Килгариффа мы рассмотрим 12 спорных статей как группу, чтобы увидеть, похожи ли они на чье-то конкретное письмо. Затем, в нашем третьем и последнем тесте, мы применим дельта-метод Джона Берроуза, чтобы посмотреть на Federalist 64 и подтвердить, действительно ли он был написан Джоном Джеем.

Прежде чем мы сможем приступить к стилометрическому анализу, нам нужно загрузить файлы, содержащие все 85 статей, в удобные структуры данных в памяти компьютера.

Первым шагом в этом процессе является назначение каждой из 85 бумаг соответствующему набору. Поскольку мы дали каждой статье стандартные имена от Federalist_1.txt до Federalist_85.txt , можно назначить каждой статье ее автора (или ее тестовый набор, если мы хотим узнать личность ее автора) с помощью Python. словарь . Словарь — это тип данных, состоящий из произвольного числа пар ключ-значение; в этом случае имена авторов будут служить ключами, а списки номеров статей будут значениями, связанными с этими ключами.

  статьи = {
    «Мэдисон»: [10, 14, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48],
    «Гамильтон»: [1, 6, 7, 8, 9, 11, 12, 13, 15, 16, 17, 21, 22, 23, 24,
                 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 59, 60,
                 61, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77,
                 78, 79, 80, 81, 82, 83, 84, 85],
    «Джей»: [2, 3, 4, 5],
    «Общие»: [18, 19, 20],
    «Спорные»: [49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 62, 63],
    «Тестовый пример»: [64]
}
  

Словари Python очень гибкие.Например, мы можем получить доступ к значению, индексируя словарь с помощью одного из его ключей, мы можем просмотреть весь словарь, перебирая его список ключей и т. д. Мы будем широко использовать эту функциональность по мере продвижения вперед.

Далее, поскольку нас интересует словарный запас каждого автора, мы определим короткую функцию Python, которая создает длинный список слов в каждой из статей, назначенных одному автору. Это будет сохранено в виде строки. Откройте выбранную вами среду разработки Python.Если вы не знаете, как это сделать, прежде чем продолжить, прочтите статью Настройка интегрированной среды разработки (Mac), (Linux), (Windows).

  # Функция, которая компилирует все текстовые файлы, связанные с одним автором, в одну строку
def read_files_into_string (имена файлов):
    строки = []
    для имени файла в именах файлов:
        с open(f'data/federalist_{имя файла}.txt') как f:
            strings.append(f.read())
    вернуть '\n'.join (строки)
  

В-третьих, мы создаем новую структуру данных, многократно вызывая функцию read_files_into_string() , каждый раз передавая ей другой список документов.Мы будем хранить результаты в другом словаре, на этот раз с именами авторов/тестовых примеров в качестве ключей и всем текстом соответствующих статей в качестве значений. Для простоты мы будем называть строку, содержащую список статей, «авторским корпусом», даже если мы имеем дело со спорными или общими статьями, а не с известным вкладом отдельного человека.

  # Сделать словарь из корпусов авторов
федералист_by_author = {}
для автора файлы в papers.items():
    Federalist_by_author[автор] = read_files_into_string(файлы)
  

Чтобы убедиться, что файлы загружены правильно, выведите на экран первые сто символов каждой словарной статьи:

  для авторов в статьях:
    печать(федеральный_автор_по_автору[автор][:100])
  

Если эта операция печати вообще что-то дает, то операция ввода файла сработала должным образом и можно переходить к стилометрическому анализу.

Если файлы не загружаются, наиболее вероятной причиной является то, что ваш текущий рабочий каталог не является хранилищем «данных», созданным путем распаковки архива из раздела «Необходимые материалы» выше; изменение вашего рабочего каталога должно помочь. То, как вы это сделаете, зависит от вашей среды разработки Python.

Литературовед Т. К. Менденхолл однажды написал, что стилистический почерк автора можно определить, подсчитав, как часто он или она использует слова разной длины. ^{Например, если бы мы подсчитали длину слова в нескольких сегментах из 1000 или 5000 слов любого романа, а затем построили график распределения длины слова, кривые выглядели бы почти одинаково независимо от того, какие части романа у нас были. выбрал. В самом деле, Менденхолл считал, что если сосчитать достаточное количество слов, выбранных из различных частей работы писателя за всю его жизнь (скажем, 100 000 или около того), авторская «характеристическая кривая» использования длины слова станет настолько точной, что она будет постоянной на протяжении всей его жизни. ее жизни.}

По сегодняшним меркам подсчет длины слов кажется очень грубым способом измерения литературного стиля. Метод Менденхолла не принимает во внимание фактические слова из авторского словаря, что, очевидно, проблематично. Следовательно, мы не должны относиться к характеристическим кривым как к особо надежному источнику стилометрических данных. Однако свою теорию Менденхолл опубликовал более ста тридцати лет назад и все расчеты производил вручную. Понятно, что он предпочел бы работать со статистикой, пусть грубой, но по крайней мере простой для компиляции.В честь исторической ценности его ранней попытки стилометрии и поскольку характеристическая кривая дает интересные визуальные результаты, которые можно быстро реализовать, мы будем использовать метод Менденхолла в качестве первого шага в нашем исследовании методов атрибуции авторства.

Код, необходимый для расчета характеристических кривых для авторов Federalist , выглядит следующим образом:

  # Загрузка нлтк
импортировать нлтк
%matplotlib встроенный

# Сравните спорные бумаги с написанными всеми,
# включая общие.авторы = ("Гамильтон", "Мэдисон", "Спорный", "Джей", "Общий")

# Преобразование корпусов авторов в списки токенов слов
федералист_by_author_tokens = {}
федералист_by_author_length_distributions = {}
для автора в авторах:
    токены = nltk.word_tokenize (федералист_по_автору [автор])

    # Отфильтровать пунктуацию
    федералист_by_author_tokens[автор] = ([токен для токена в токенах
                                            если есть (c.isalpha() для c в токене)])

    # Получить распределение длин токенов
    token_lengths = [len(токен) для токена в Federalist_by_author_tokens[автор]]
    Federalist_by_author_length_distributions[автор] = nltk.FreqDist(токен_длины)
    Federalist_by_author_length_distributions[автор].plot(15,название=автор)
  

Объявление «%matplotlib inline» под «import nltk» требуется, если вашей средой разработки является блокнот Jupyter, как это было у меня во время написания этого руководства; в противном случае вы можете не увидеть графики на экране. Если вы работаете в Jupyter Lab, замените этот пункт на «%matplotlib ipympl».

Первая строка в приведенном выше фрагменте кода загружает модуль Natural Language Toolkit (nltk) , который содержит огромное количество полезных функций и ресурсов для обработки текста.В этом уроке мы едва коснемся его основ; если вы решите продолжить изучение анализа текста в Python, я настоятельно рекомендую вам начать с документации nltk.

Следующие несколько строк задают структуры данных, которые будут заполняться блоком кода в цикле for . Этот цикл производит одинаковые вычисления для всех наших «авторов»:

• Он вызывает метод word_tokenize() nltk word_tokenize() , чтобы разбить авторский корпус на составляющие его токены , т.е.д., слова, цифры, знаки препинания и т. д.;
• Он просматривает этот список токенов и отфильтровывает не слова;
• Создается список, содержащий длины всех оставшихся словесных токенов;
• Он создает объект частотного распределения из этого списка длин слов, в основном подсчитывая, сколько однобуквенных слов, двухбуквенных слов и т. д. есть в корпусе автора.
• Строит график распределения длины слов в корпусе для всех слов до длины 15.

nltk.word_tokenize() по умолчанию использует английские правила. Если вы хотите токенизировать тексты на другом языке, вам нужно будет изменить одну строку в приведенном выше коде, чтобы указать правильный язык для токенизатора в качестве параметра. Например: токены = nltk.word_tokenize(federalist_by_author[автор], language='французский') . Прочтите документацию nltk для более подробной информации.

Результаты должны выглядеть так:

Рисунок 1: Кривая Менденхолла для Гамильтона.

Рис. 2: Кривая Менденхолла для Мэдисона.

Рисунок 3: Кривая Менденхолла для спорных бумаг.

Рисунок 4: Кривая Менденхолла для Джея.

Рисунок 5: Кривая Менденхолла для статей, написанных Мэдисоном и Гамильтоном в соавторстве.

Как видно из графиков, характеристическая кривая, связанная с спорными бумагами, выглядит как компромисс между диаграммами Мэдисона и Гамильтона. Крайняя левая часть графика спорных статей, на которую приходится самая частая длина слова, выглядит немного больше похожей на диаграмму Мэдисона; конец графика, как у Гамильтона.Это согласуется с историческим наблюдением, что у Мэдисона и Гамильтона были схожие стили, но это не очень помогает нам в нашей задаче атрибуции авторства. Лучшее, что мы можем сказать, это то, что Джон Джей почти наверняка написал спорные документы , а не , потому что его кривая не похожа на другие; длины 6 и 7 даже перевернуты в его части корпуса по сравнению со всеми остальными.

Если бы у нас не было дополнительной информации для работы, мы бы пришли к выводу, что спорные документы, вероятно, являются работой Мэдисона, хотя и без особой уверенности.К счастью, стилометрическая наука значительно продвинулась вперед со времен Менденхолла.

В статье 2001 года Адам Килгарриф рекомендует использовать статистику хи-квадрат для определения авторства. Читатели, знакомые со статистическими методами, могут помнить, что хи-квадрат иногда используется для проверки того, соответствует ли ряд наблюдений (скажем, намерения избирателей, заявленные в опросе) определенному распределению вероятностей или шаблону. Это не то, что мы здесь после. Скорее, мы будем просто использовать статистику для измерения «расстояния» между словарями, используемыми в двух наборах текстов.Чем более похожи словари, тем вероятнее, что один и тот же автор написал тексты в обоих наборах. Это предполагает, что словарный запас человека и модели использования слов относительно постоянны.

Вот как применить статистику для атрибуции авторства:

• Возьмем корпуса, связанные с двумя авторами.
• Объедините их в один большой корпус.
• Подсчитайте жетоны для каждого из слов, которые можно найти в этом большом корпусе.
• Выберите n наиболее употребительных слов в большом корпусе.
• Подсчитайте, сколько токенов этих n наиболее распространенных слов мы ожидали бы найти в каждом из двух исходных корпусов, если бы они были написаны одним и тем же автором. Это просто означает деление количества токенов, которые мы наблюдали в объединенном корпусе, на два значения, исходя из относительных размеров вклада двух авторов в общий корпус.
• Рассчитайте расстояние хи-квадрат, просуммировав по n наиболее часто встречающихся слов квадратов разностей между фактическим количеством токенов, найденных в корпусе каждого автора, и ожидаемыми числами , разделенными на ожидаемые числа.На рисунке 6 показано уравнение для статистики хи-квадрат, где C(i) представляет собой наблюдаемое количество токенов для функции «i», а E(i) — ожидаемое количество для этой функции.

Рисунок 6: Уравнение для статистики хи-квадрат.

Чем меньше значение хи-квадрат, тем более похожи два корпуса. Поэтому мы рассчитаем хи-квадрат для разницы между корпусами Madison и Disputed, а другой — для разницы между корпусами Hamilton и Disputed; меньшее значение укажет, кто из Мэдисон и Гамильтон больше всего похож на Оспариваемый.

Примечание: независимо от того, какой стилометрический метод мы используем, выбор n , количества слов, которые необходимо принять во внимание, является чем-то вроде темного искусства. В литературе, изученной Stamatatos , ученые предложили от 100 до 1000 наиболее распространенных слов; в одном проекте каждое слово, встречающееся в корпусе, использовалось как минимум дважды. Как правило, чем больше корпус, тем большее количество слов можно использовать в качестве характеристик, не рискуя придать чрезмерное значение слову, которое встречается всего несколько раз.В этом уроке мы будем использовать относительно большое n для метода хи-квадрат и меньшее для следующего метода. Изменение значения n , безусловно, немного изменит числовые результаты; тем не менее, если небольшая модификация n приводит к изменению авторства, это является признаком того, что выполняемый вами тест не может предоставить значимых доказательств в отношении вашего тестового примера.

Следующий фрагмент кода реализует метод Килгариффа, при этом в расчетах используются частоты 500 наиболее распространенных слов в объединенном корпусе:

  # Кто авторы, которых мы анализируем?
авторы = ("Гамильтон", "Мэдисон")

# Прописывайте токены строчными буквами, чтобы одно и то же слово, с заглавной буквы или без,
# считается как одно слово
для автора в авторах:
    федералист_by_author_tokens[автор] = (
        [жетон.нижний() для токена в Federalist_by_author_tokens[автор]])
Federalist_by_author_tokens["Оспаривается"] = (
    [token.lower() для токена в Federalist_by_author_tokens["Спорный"]])

# Вычислить хи-квадрат для каждого из двух кандидатов в авторы
для автора в авторах:

    # Сначала создайте сводный корпус и определите в нем 500 наиболее часто встречающихся слов
    Joint_corpus = (federalist_by_author_tokens[автор] +
                    федералист_by_author_tokens["Спорный"])
    Joint_freq_dist = nltk.FreqDist(joint_corpus)
    most_common = list(joint_freq_dist.наиболее_обычный (500))

    # Какую долю суставного корпуса составляет
    # токенов кандидата в авторы?
    author_share = (len(federalist_by_author_tokens[автор])
                    / len(joint_corpus))

    # Теперь давайте посмотрим на 500 самых распространенных слов в кандидате
    # авторский корпус и сравните, сколько раз их можно наблюдать
    # к тому, что можно было бы ожидать, если бы статьи автора
    # и Оспариваемые статьи были случайными выборками из одного и того же дистрибутива.
    хи-квадрат = 0
    для слова,joint_count в most_common:

        # Как часто мы действительно видим это обычное слово?
        author_count = Federalist_by_author_tokens[автор].считать (слово)
        оспоренный_счет = федералист_по_автору_токенов["Спорный"].счетчик(слово)

        # Как часто мы должны это видеть?
        ожидаемое_количество_авторов = количество_совместных_сообщений * авторская_доля
        ожидаемое_оспариваемое_счетчик = совместное_счетчик * (1-авторская_доля)

        # Добавляем вклад слова в статистику хи-квадрат
        chisquared += ((author_count-expected_author_count) *
                       (количество_авторов-ожидаемое_количество_авторов) /
                       ожидаемое_количество_авторов)

        chisquared += ((disputed_count-expected_disputed_count) *
                       (спорный_счет-ожидаемый_спорный_счет)
                       /ожидаемое_оспариваемое_счетчик)

    print("Статистика хи-квадрат для кандидата", автор, "есть", хи-квадрат)
  

Результат, полученный методом хи-квадрат, должен выглядеть следующим образом:

  Хи-квадрат для кандидата Гамильтона равен 3434.6850314768426
Статистика хи-квадрат для кандидата Мэдисон составляет 1907,59926838.
  

В приведенном выше фрагменте мы преобразуем все в нижний регистр, чтобы не учитывать токены слов, начинающиеся с заглавной буквы, потому что они появляются в начале предложения, а строчные токены одного и того же слова — как два разных слова. Иногда это может привести к некоторым ошибкам, например, когда имя собственное и имя нарицательное пишутся одинаково, за исключением заглавных букв, но обычно это повышает точность.

Как видно из приведенных выше результатов, расстояние хи-квадрат между спорным и гамильтоновым корпусами значительно больше, чем расстояние между мэдисонским и спорным корпусами. Это убедительный признак того, что если один автор отвечает за 12 статей в корпусе Disputed, то этим автором является Мэдисон, а не Гамильтон.

Однако хи-квадрат по-прежнему является грубым методом. Во-первых, слова, которые появляются очень часто, как правило, имеют непропорционально большой вес в окончательных расчетах.Иногда это нормально; в других случаях тонкие различия в стиле, представленные тем, как авторы используют более необычные слова, останутся незамеченными.

Примечание о частях речи

В некоторых языках может быть полезно применять теги частей речи к токенам слов перед их подсчетом, чтобы одно и то же слово, используемое как две разные части речи, могло считаться двумя разными функциями. Например, во французском языке очень распространенные слова, такие как «la» и «le», служат как артиклями (в этом случае они переводятся на английский как «the»), так и местоимениями («it»).В этом уроке не используются теги частей речи, потому что они редко бывают полезны для стилометрического анализа в современном английском языке и потому что тегировщик по умолчанию nltk не очень хорошо поддерживает другие языки.

Если вам нужно применить тегирование частей речи к вашим собственным данным, вы можете загрузить тегировщики для других языков, работать со сторонним инструментом, таким как Tree Tagger, или даже обучить свой собственный тегировщик, но эти приемы выходят далеко за рамки текущего урока.

Первые два стилометрических метода были просты в реализации. Следующий, основанный на Дельта статистике Джона Берроуза, значительно сложнее, как концептуально (математика сложнее), так и вычислительно (требуется больше кода). Однако это один из самых известных стилометрических методов, используемых сегодня.

Подобно хи-квадрату Килгариффа, дельта Берроуза является мерой «расстояния» между текстом, авторство которого мы хотим установить, и некоторым другим корпусом.Однако, в отличие от хи-квадрата, дельта-метод предназначен для одновременного сравнения анонимного текста (или набора текстов) с подписями многих разных авторов. Точнее, дельта измеряет, насколько анонимный текст и наборы текстов, написанных произвольным числом известных авторов , расходятся со средним значением всех их вместе взятых. Кроме того, дельта-метод придает равный вес каждой функции, которую он измеряет, что позволяет избежать проблемы, связанной с тем, что общеупотребительные слова подавляют результаты, что было проблемой с тестами хи-квадрат.По всем этим причинам дельта-метод Джона Берроуза обычно является более эффективным решением проблемы авторства.

Первоначальный алгоритм Берроуза можно резюмировать следующим образом:

• Собрать большой корпус из текстов, написанных произвольным числом авторов; допустим, что количество авторов x .
• Найдите n наиболее часто встречающихся слов в корпусе для использования в качестве признаков.
• Для каждой из этих n функций подсчитайте долю каждого из x авторских подкорпусов, представленных этой функцией, в процентах от общего количества слов.Например, слово «the» может представлять 4,72% слов в подкорпусе автора А.
• Затем вычислите среднее значение и стандартное отклонение этих значений x и используйте их в качестве официального среднего значения и стандартного отклонения для этой функции по всему корпусу. Другими словами, мы будем использовать 90 279 средних средних 90 280 вместо вычисления одного значения, представляющего долю всего корпуса, представленного каждым словом. Это потому, что мы хотим избежать более крупного подкорпуса, как у Гамильтона в нашем случае, чрезмерно влияющего на результаты в его пользу и определяющего норму корпуса таким образом, чтобы все выглядело как это.
• Для каждой из n функций и x подкорпусов вычислить z-показатель , описывающий, насколько далеко от нормы корпуса использование этой конкретной функции в этом конкретном подкорпусе. Для этого вычтите «среднее значение» для признака из частоты признака в подкорпусе и разделите результат на стандартное отклонение признака. На рисунке 7 показано уравнение z-показателя для признака «i», где C(i) представляет наблюдаемую частоту, греческая буква мю представляет собой среднее значение, а греческая буква сигма — стандартное отклонение.

Рис. 7: Уравнение для статистики z-значения.

• Затем вычислите те же z-значения для каждого признака в тексте, для которого мы хотим определить авторство.
• Наконец, подсчитайте дельта-балл , сравнивая анонимную статью с подкорпусом каждого кандидата. Для этого возьмем среднее абсолютных значений различий между z-показателями для каждого признака между анонимной статьей и подкорпусом кандидата .(Прочитайте это дважды!) Это придает равный вес каждому признаку, независимо от того, как часто слова встречаются в текстах; в противном случае 3 или 4 основные функции превзойдут все остальные. На рис. 8 показано уравнение для дельты, где Z(c,i) — это z-оценка признака «i» в кандидате «c», а Z(t,i) — это z-оценка признака «i» в прецедент.

Рис. 8: Уравнение для дельта-статистики Джона Берроуза.

• «Победивший» кандидат — это автор, для которого дельта-балл между авторским подкорпусом и тестовым набором наименьший.

Стефан Эверт и др. . содержат подробное обсуждение вариантов, усовершенствований и тонкостей метода, но мы остановимся на самом важном для целей этого урока. Другое объяснение Дельты, написанное на испанском языке, и приложение к корпусу испанских романов также можно найти в недавней статье Хосе Кальво Тельо.

Наш тестовый пример

В качестве тестового примера мы будем использовать Federalist 64 . Александр Хэмтилтон в своем письме утверждал, что является автором этой статьи; однако черновик Federalist 64 позже был обнаружен в личных бумагах Джона Джея, и все пришли к выводу, что на самом деле автором был Джей.Между прочим, никаких подозрений в нечестной игре нет: в том же письме Гамильтон приписал Джею авторство другой статьи с таким же номером, которую явно написал сам Гамильтон. Возможно, Гамильтон отвлекся на предстоящую дуэль и просто забыл.

Поскольку дельта-метод Джона Берроуза работает с произвольным количеством авторов-кандидатов (в исходной статье Берроуза используется около 25), мы сравним стилистическую подпись Federalist 64 со стилистической подписью пяти корпусов: статей Гамильтона, статей Мэдисона, других работ Джея. документы, документы, написанные Мэдисоном и Гамильтоном в соавторстве, и документы, оспариваемые между Гамильтоном и Мэдисоном.Мы ожидаем, что дельта-метод скажет нам, что Джей является наиболее вероятным автором; любой другой результат поставил бы под вопрос либо метод, либо историографию, либо и то, и другое.

Выбор функции

Давайте объединим все подкорпуса в единый корпус, чтобы Delta вычислила «стандарт» для работы. Затем давайте выберем несколько слов для использования в качестве функций. Помните, что мы использовали 500 слов для вычисления хи-квадрата Килгариффа; на этот раз мы будем использовать меньший набор из 30 слов, большинство из которых, если не все, являются функциональными словами и общеупотребительными глаголами, в качестве наших признаков.

  # С кем мы имеем дело на этот раз?
авторы = ("Гамильтон", "Мэдисон", "Джей", "Спорный", "Общий")

# Преобразование букв в нижний регистр для подсчета всех токенов одного и того же слова вместе
# независимо от регистра
для автора в авторах:
    федералист_by_author_tokens[автор] = (
        [tok.lower() для токена в Federalist_by_author_tokens[автор]])

# Объединить все статьи, кроме нашего тестового примера, в единый корпус
весь_корпус = []
для автора в авторах:
    весь_корпус += федералист_по_автору_токены[автор]

# Получить частотное распределение
whole_corpus_freq_dist = список (nltk.ЧастотаРасст(весь_корпус).самая_общая(30))
full_corpus_freq_dist[ :10 ]
  

Пример наиболее часто встречающихся слов с указанием их частотности выглядит следующим образом:

  [(', 17846),
("из", 11796),
("к", 7012),
("и", 5016),
(«в», 4408),
(«а», 3967),
("быть", 3370),
(«это», 2747),
(«оно», 2520),
(«есть», 2178)]

  

Вычисление признаков для каждого подкорпуса

Давайте посмотрим на частоты каждой функции в подкорпусе каждого кандидата как долю от общего количества токенов в подкорпусе.Мы вычислим эти значения и сохраним их в словаре словарей — удобный способ построения двумерного массива в Python.

  # Основная структура данных
характеристики = [дословно, частота в целом_корпусе_freq_dist]
feature_freqs = {}

для автора в авторах:
    # Словарь характеристик каждого кандидата
    feature_freqs[автор] = {}

    # Вспомогательное значение, содержащее количество токенов в подкорпусе автора
    в целом = len(federalist_by_author_tokens[автор])

    # Подсчитать наличие каждого признака в подкорпусе
    для функции в функциях:
        присутствие = Federalist_by_author_tokens[автор].количество (функция)
        feature_freqs[автор][feature] = наличие / общее
  

Расчет средних значений признаков и стандартных отклонений

Учитывая частоты признаков для всех четырех подкорпусов, которые мы только что вычислили, мы можем найти «среднее значение» и стандартное отклонение для каждого признака. Сохраним эти значения в другом «словаре словарей».

  импорт математики

# Структура данных, в которой мы будем хранить стандартную статистику корпуса
corpus_features = {}

# Для каждой функции...
для функции в функциях:
    # Создайте подсловарь, который будет содержать среднее значение функции
    # и стандартное отклонение
    corpus_features[функция] = {}

    # Рассчитать среднее значение частот, выраженных в субкорпусах
    функция_среднее = 0
    для автора в авторах:
        feature_average += feature_freqs[автор][функция]
    feature_average /= len(авторы)
    corpus_features[feature]["Mean"] = feature_average

    # Рассчитайте стандартное отклонение, используя основную формулу для выборки
    feature_stdev = 0
    для автора в авторах:
        diff = feature_freqs[автор][функция] - corpus_features[функция]["Среднее значение"]
        feature_stdev += diff*diff
    feature_stdev /= (len(авторы) - 1)
    feature_stdev = математика.sqrt (feature_stdev)
    corpus_features[feature]["StdDev"] = feature_stdev
  

Расчет z-показателей

Затем мы преобразуем наблюдаемые частоты признаков в подкорпусах пяти кандидатов в z-показателей , описывающих, насколько далеки от «нормы корпуса» эти наблюдения. Здесь нет ничего особенного: мы просто применяем определение z-показателя к каждому признаку и сохраняем результаты в еще одном двумерном массиве.

  feature_zscores = {}
для автора в авторах:
    feature_zscores[автор] = {}
    для функции в функциях:

        # Определение Z-показателя = (значение - среднее) / стандартное отклонение
        # Мы используем промежуточные переменные, чтобы код было легче читать
        feature_val = feature_freqs[автор][функция]
        feature_mean = corpus_features[feature]["Среднее"]
        feature_stdev = corpus_features[feature]["StdDev"]
        feature_zscores[автор][feature] = ((feature_val-feature_mean) /
                                            feature_stdev)
  

Расчет признаков и z-показателей для нашего тестового примера

Далее нам нужно сравнить Федералист 64 с корпусом.Следующий фрагмент кода, который, по сути, резюмирует все, что мы сделали до сих пор, подсчитывает частоты каждой из наших 30 функций в Федералист 64 и вычисляет z-значения соответственно:

  # Токенизировать тестовый пример
testcase_tokens = nltk.word_tokenize(federalist_by_author["TestCase"])

# Отфильтровать знаки препинания и строчные буквы
testcase_tokens = [token.lower() для токена в testcase_tokens
                   если есть (c.isalpha() для c в токене)]

# Рассчитать особенности тестового примера
в целом = len (testcase_tokens)
testcase_freqs = {}
для функции в функциях:
    присутствие = testcase_tokens.количество (функция)
    testcase_freqs[feature] = наличие/всего

# Рассчитать z-показатели функции тестового примера
testcase_zscores = {}
для функции в функциях:
    feature_val = testcase_freqs[функция]
    feature_mean = corpus_features[feature]["Среднее"]
    feature_stdev = corpus_features[feature]["StdDev"]
    testcase_zscores[feature] = (feature_val - feature_mean) / feature_stdev
    print("Тестовый z-показатель для функции", функция, "есть", testcase_zscores[функция])
  

Результаты z-показателей некоторых функций для Federalist 64 должны выглядеть следующим образом (пример):

  Z-оценка тестового примера для функции равна -0.7692828380408238
Z-оценка тестового примера для функции равна -1,8167784558461264.
Z-оценка тестового примера для функции равна 1,032705844508835.
Z-оценка тестового случая для функции и составляет 1,0268752924746058.
Z-оценка тестового примера для функции составляет 0,6085448501260903.
Z-оценка тестового примера для функции a равна -0,93412895
886.
Z-оценка тестового примера для функции be равна 1,0279650702511498.

  

Расчет дельты

И, наконец, мы используем формулу для дельты, определенную Берроузом, для получения единого балла, сравнивающего Федералист 64 с каждым из пяти «кандидатов в авторы».Напоминание: чем меньше показатель Delta, тем больше стилометрическая подпись Federalist 64 похожа на подпись кандидата.

  для автора в авторах:
    дельта = 0
    для функции в функциях:
        delta += math.fabs((testcase_zscores[feature] -
                            feature_zscores[автор][функция]))
    дельта /= длина (функции)
    print("Дельта-оценка кандидата", автор, "есть", дельта)
  

Результаты: Дельта-баллы предполагают, что Джон Джей действительно написал Федералист 64 :

  Дельта-показатель для кандидата Гамильтона равен 1.768470453004334
Дельта-показатель для кандидата Мэдисона составляет 1,6089724119682816.
Дельта-показатель для кандидата Джея составляет 1,5345768956569326.
Дельта-показатель для оспариваемого кандидата составляет 1,5371768107570636.
Дельта-показатель для кандидата Shared составляет 1,846113566619675.

  

Как и ожидалось, Дельта идентифицирует Джона Джея как наиболее вероятного автора Федералист 64 . Интересно отметить, что, согласно Delta, Federalist 64 больше похож на оспариваемые документы, чем на те, которые, как известно, были написаны Гамильтоном или Мэдисоном; почему это может быть, однако, это вопрос для другого дня.

Интересные тематические исследования

Стилометрия и/или указание авторства использовались во многих контекстах с использованием многих методов. Вот лишь несколько интересных тематических исследований:

• Хавьер де ла Роса и Хуан Луис Суарес ищут автора знаменитого испанского романа XVI века из значительного списка кандидатов.
• Мария Слаутина и Михаил Марусенко используют распознавание образов по набору синтаксических, грамматических и лексических признаков, от простого подсчета слов (с маркировкой частей речи) до различных типов фраз, чтобы установить стилистическое сходство между средневековыми текстами.
• Эллен Джордан, Хью Крейг и Алексис Антония рассматривают случай с британскими периодическими изданиями 19-го века, в которых статьи обычно не подписывались, чтобы определить автора четырех рецензий на произведения сестер Бронте или о них. В этом тематическом исследовании применяется ранняя версия другого метода, разработанного Джоном Берроузом, метода Зетов, который фокусируется на любимых словах автора, а не на общих служебных словах.
• Валери Бодуан и Франсуа Ивон анализируют 58 пьес в стихах французских драматургов Корнеля, Расина и Мольера и обнаруживают, что первые две были гораздо более последовательными в том, как они структурировали свое произведение, чем последний.
• Марсело Луис Брокардо, Исса Траоре, Шериф Саад и Исаак Вунганг применяют контролируемое обучение и модели n-грамм для определения авторства коротких сообщений с большим количеством потенциальных авторов, таких как электронные письма и твиты.
• Моше Коппель и Винтер Ярон предлагают «метод самозванца», который пытается определить, были ли два текста написаны одним и тем же автором, вставляя их в набор текстов, написанных ложными кандидатами. Джастин Энтони Стовер и др. недавно применили этот метод для определения авторства недавно обнаруженной рукописи II века.
• Наконец, группа под руководством Дэвида И. Холмса изучает особый случай документов, написанных либо солдатом Гражданской войны, либо его вдовой, которые, возможно, намеренно скопировали его стиль письма.

Дополнительные ссылки на авторство и стилометрию

Наиболее исчерпывающий справочник по всем вопросам, связанным с установлением авторства, включая историю этой области, ее математические и лингвистические основы и различные методы, был написан Патриком Джуолой в 2007 году. Глава 7, в частности, показывает, как атрибуция авторства может служить маркером для различных групповых идентичностей (пола, национальности, диалекта и т. д.), для изменения языка с течением времени и даже для личности и психического здоровья.

Более короткий обзор можно найти в Moshe Koppel et al. , которые обсуждают случаи, когда имеется единственный кандидат-автор, чье авторство должно быть подтверждено, большое количество кандидатов, для которых доступны только небольшие образцы написания для обучения алгоритма машинного обучения, или вообще нет известного кандидата.

Упомянутая выше статья Stamatatos также содержит качественный обзор области.

Вариа

Историки программирования, желающие глубже изучить стилометрию, могут загрузить пакет Stylo , который стал стандартом де-факто . Помимо прочего, Stylo обеспечивает реализацию дельта-метода, функции извлечения признаков и удобные графические пользовательские интерфейсы как для обработки данных, так и для получения визуально привлекательных результатов.Обратите внимание, что Stylo написан на R, а это означает, что для его запуска вам понадобится R, установленный на вашем компьютере, но между графическим пользовательским интерфейсом и учебными пособиями не требуется никаких предварительных знаний в области программирования R.

Читатели, свободно владеющие французским языком и заинтересованные в изучении эпистемологических последствий взаимодействий между количественными и качественными методами в анализе стиля письма, должны прочитать Клеманс Жако.

Как ни странно, данные, полученные с помощью оптического распознавания символов (OCR), оказались подходящими для целей атрибуции авторства, даже если данные подвержены высокому уровню ошибок OCR.

Читатели, заинтересованные в дальнейшем обсуждении истории Federalist Papers и различных теорий, выдвинутых относительно их авторства, могут начать с чтения статей Ирвинга Бранта и Пола Форда и Эдварда Борна. Тема, однако, почти безгранична.

Наконец, есть группа Zotero, посвященная стилометрии, где вы можете найти еще много ссылок на методы и исследования.

Спасибо Стефану Синклеру и Эндрю Пайперу, на чьих семинарах в Университете Макгилла начался этот проект.Также спасибо моему научному руководителю Сьюзен Далтон, чье наставничество всегда бесценно.

English Composition Vocabulary List - Словарь

AP Tests: AP English Language and Composition: темп написания эссе | Test Prep

Купите эту книгу CliffsNotes здесь!

       odcomp - Определить белки с указанным составом слова последовательности

 

         oddcomp   -sequence   seqall   -infile   infile   -fullwindow   toggle   -window   integer
                 -ignorebz   логическое значение   -outfile   outfile 

         нечетный комп   -помощь 

 

         oddcomp  — это программа командной строки от EMBOSS («Европейское открытое
       Программный комплекс»).Он является частью группы (групп) команд «Белок: Состав».

 

     Вход   Секция 
         -последовательность   последовательность 

         -профиль   профайл 
           Это файл в формате вывода, созданного 'compseq', который используется для установки
           минимальные частоты слов в этом анализе.

     Обязательно   Секция 
         -полное окно   переключение 
           Установите этот параметр на (Y), если вы хотите, чтобы размер окна был равен длине окна.
           текущий белок.В противном случае оставьте этот параметр не установленным, и в этом случае вам будет предложено
           для используемого размера окна. Значение по умолчанию: Н

         -окно   целое число 
           Это размер окна, в котором производится подсчет. Таким образом, если вы хотите посчитать частоты в
           40 аа вы должны ввести 40 здесь. Значение по умолчанию: 30

     Расширенный   Раздел 
         -игнорировать   логическое значение 
           Код аминокислоты B представляет собой аспарагин или аспарагиновую кислоту, а код Z представляет собой
           Глютамин или глутаминовая кислота.Это не часто используемые коды, и вы можете не захотеть
           подсчитайте слова, содержащие их, просто отметив их в подсчете «Другие» слова. Дефолт
           значение: Д

     Выход   Секция 
         -выходной файл   внешний файл 
           Это файл результатов.

 

       Об ошибках можно сообщать в систему отслеживания ошибок Debian (http://bugs.debian.org/emboss) или
       непосредственно разработчикам EMBOSS
       (http://исходников.net/tracker/?group_id=93650&atid=605031).

 

       Oddcomp полностью задокументирован через систему  tfm  (1).

 

         Debian   Med   Упаковка   Команда  
           Написал сценарий, используемый для автоматического создания этой страницы руководства.

 

       Эта страница руководства была автоматически сгенерирована из определения управления Ajax пакета EMBOSS.Его можно распространять на тех же условиях, что и сам EMBOSS.