Прототип обрабатывает множество различных типов ошибок. Он исправляет предлоги, опечатки, замененные слова и факты. Тем не менее, у него есть несколько недостатков. Время вычисления для процесса анализа, даже при сложной структуре индекса, может составлять от нескольких секунд до более чем минуты.

Также становится ясно, что репозитории маловаты. Это особенно верно для норвежской базы данных объемом один гигабайт. Например, он исправляет «Jeg bor på Oslo» (я живу в Осло), но не «Vi bor på Oslo» («Мы живем в Осло»), поскольку не может найти достаточных данных по этому варианту. Но даже 2,5-гигабайтная английская база данных слишком мала. Есть конструкции, которые вообще не встречаются, а в других частота слишком низкая, чтобы дать значимые результаты. Мы также считаем, что Интернет — не лучший источник для поиска качественного текста.Даже если мы удалим все слова с частотой встречаемости меньше десяти, мы получим множество орфографических ошибок и опечаток.

Продуктовая версия корректора должна использовать большой кластер машин, где каждый отдельный компьютер может анализировать только часть базы данных, возможно, только один файл [12–14]. Работая непосредственно с репозиторием, индексов можно избежать. Чтобы улучшить качество репозиториев, лучше начать с качественных документов, например, источников ООН и ЕС, которые использует Google.Кроме того, могут быть полезны библиографические базы данных с книгами, отчетами, научными статьями и т. Д. Однако проблема в том, что нам нужны действительно огромные репозитории.

Мы можем представить себе такой инструмент, как сайт, куда мы можем загружать документы для корректуры. Лучше, если инструмент должен быть интегрирован с текстовым процессором и предлагать параллельные советы, как современные средства проверки орфографии и грамматики.

4. Семантика по большинству

Статистически мы делаем «вставку» всех примеров в репозиторий после большинства голосов.Мы этого хотим? Ответ будет зависеть от целей и знаний пользователя. Если мы опытные писатели, такая система может помочь нам найти некоторые опечатки, но помимо этого она может раздражать — подчеркивать подозрительные предложения и указывать на ошибки, которых может и не быть. Однако, когда мы пишем на иностранном языке, идея следовать за большинством будет полезна для большинства из нас, особенно если это поможет избежать грубых ошибок. Судя по простым тестам, которые мы выполнили на прототипе, он явно поможет неродным писателям, обнаружив ошибки, аналогичные примерам, которые были представлены здесь, то есть, если у кого-то есть терпение в отношении ограничений обработки и репозитория прототипа.

Что действительно делают все современные системы корректуры, включая систему, которую мы здесь представили, так это перенос опыта письма в опыт чтения, то есть переход от отзыва к распознаванию [15]. Поскольку большинство из нас лучше читают, чем писатели, мы можем определить, каким предложениям следовать. Если предложение, предоставленное пользователем, имеет нулевую или низкую частоту в репозитории, система может предложить другой выбор для альтернатив, которые встречаются чаще, особенно если слова имеют похожее написание.Например, «Я посетил Нью-Форк» (город-призрак в Вайоминге, США) может быть предложено изменить на «Я был в Нью-Йорке». Таким образом, мы должны полагаться на то, что пользователь проигнорирует эти ложные показания, сравнимо с поездом, который везет болельщиков на футбольный матч, но у нас другой пункт назначения. Это, конечно, важно для всех языковых средств. Мы полагаемся на то, что пользователь сделает правильный выбор.

Чтобы понять правильное значение предложения пользователя, мы должны использовать как можно большую часть предложения.Если мы изучаем только одно слово за раз, каждое слово может интерпретироваться по-разному. С большим количеством слов, особенно полных предложений, контекст становится хорошо определенным, и становится легче как находить ошибки, так и предлагать ценные предложения. Поскольку ни у кого (в репозитории) нет «красной дальности», мы можем предложить «автомобиль». Но фраза «мы живем на западном побережье» может выглядеть ошибкой, пока мы не укажем следующее слово в предложении пользователя, которое может быть «отели», то есть «мы живем в отелях западного побережья».Проблема, конечно, в том, что если мы анализируем длинные предложения, в репозитории может не оказаться ни одного вхождения полного предложения. Затем мы должны смотреть по частям, но с опасностью потерять контекст.

Прототип анализирует предложение за раз. Он может быть рассмотрен по частям, если репозиторий не может предоставить данные о полном предложении. Однако в версии продукта также может потребоваться анализировать более одного предложения за раз. Например, это будет необходимо, чтобы отловить здесь ошибку ссылки: «Дом продан.Он пошел на миллион ». Могут быть типы ошибок, требующие, чтобы система корректуры просматривала целые абзацы, возможно, весь текст, чтобы сделать ценные предложения. Например, как мы видели, человек, не являющийся носителем английского языка, может легко поменять «пустыню» или «десерт». Хотя рассматриваемое предложение может быть «Пустыня произвела впечатление», нам, возможно, придется проанализировать больше текста, чтобы увидеть, находимся ли мы в контексте «пустыни» или «десерта». Эти случаи также могут быть решены статистически, например, путем изучения того, как другие слова в тексте сочетаются с каждой из этих альтернатив.Будем надеяться, что пользователь пишет о десертах или , а не о обоих одновременно.

5. Дальнейшая работа

Ограничением текущей версии прототипа является то, что она пытается заменить одно слово другими. Однако часто проблема может заключаться в том, что в предложенном пользователем предложении есть ненужные слова. В качестве примера рассмотрим «Вся информация отправляется в PayPal, и они управляют сбором». Сокращенная версия лучше: «Информация отправляется в PayPal, который управляет сбором.Эта функциональность — удаление слов или замена набора слов одним словом — была бы громоздкой для прототипа из-за ограниченного репозитория, но ее довольно легко реализовать в версии продукта.

Ожидается, что пользователь предоставит предложение с разумной правильно построенной структурой. Система может предлагать альтернативные слова и удалять слова с помощью функций, описанных выше, но не может изменять структуру с помощью простого метода сравнения, который мы здесь предложили.Это может ограничить ценность системы для неродных писателей, которые часто нарушают правильный порядок слов. Вследствие этого мы также можем обнаружить, что в репозитории могут отсутствовать данные для неправильно структурированного предложения, что даже ограничивает возможности системы по исправлению отдельных слов.

В качестве примера рассмотрим «На рисунке мы видим диаграмму классов для веб-сайта», написанную студентом, использующим английский в качестве второго языка. Очевидно, что лучшей альтернативой было бы «На рисунке показана диаграмма классов для веб-сайта» или «Диаграмма классов для веб-сайта показана на рисунке.Однако в обоих этих улучшенных предложениях лишнее слово «мы» было удалено в дополнение к новой последовательности слов. Поиск решений этой проблемы выходит за рамки данной статьи, и поэтому предлагается как интересная тема для будущих исследований. Возможным вариантом может быть предоставление альтернативных предложений из репозитория, которые содержат большую часть слов из исходного предложения. Однако лишние слова, такие как «мы» выше, могут быть препятствием.

6.Заключение

Мы представили идею и прототип реализации системы корректуры, которая может находить и предлагать исправления для многих типов ошибок, в том числе семантических ошибок. Идея состоит в том, чтобы сравнить текст пользователя с большим репозиторием, в идеале пытаясь найти лучшие варианты для каждого слова, если исходное предложение не найдено в репозитории. Таким образом, можно уловить правильный контекст.

В то время как прототип работает в ограниченных репозиториях и работает слишком медленно с установкой на одном компьютере, производственной системе требуются большие высококачественные репозитории и установка на нескольких компьютерах.Чтобы иметь возможность улучшить также структуру предложения, предоставляемого пользователем, необходимо усовершенствовать базовый метод.

Trevoke / SGFParser: библиотека Ruby для синтаксического анализа файлов SGF (Smart Game Format), наиболее известная тем, что хранит игровые записи weiqi / go

Я надеюсь, что это самый быстрый парсер SGF в Ruby. На моем рабочем столе загрузка библиотеки SGF и анализ словаря Кого Джосеки занимает чуть менее шести секунд. Это файл размером 3 МБ, а средний размер SGF может составлять около 10 КБ, так что в среднем это довольно быстро.

Вы используете этот драгоценный камень? Есть ли функциональность, которую вы хотели бы иметь? Что-то сложно сделать? Разве документация не имеет смысла, и вы знаете, как сделать ее более полезной? Дайте мне знать, и я сделаю это возможным или проще!

SGF: FF4 — может поддерживать и более ранние версии, но не проверенные. Рубин:> = 2,1

Согласно стандарту, файл SGF содержит коллекцию из одного или нескольких объектов Gametree . Каждый из них состоит из дерева из объектов Node .

Другими словами: ФАЙЛ (1 ↔ 1) Коллекция (1 ↔ ∞) Gametree (1 ↔ ∞) Узел

Внесение кода

Сама простота:

Основы нашей структуры данных

В этой реализации, когда вы анализируете файл, вы получаете Collection обратно. Этот объект имеет корневой узел , узел , используемый в качестве узла верхнего уровня для всех игровых деревьев. Дочерние узлы этого узла являются корневыми узлами реальных игр.

Предполагая общий файл SGF с одной игрой, вы можете перейти к игре, выполнив следующие действия:

 SGF.parse (имя файла) .gametrees.first # =>  

Если у вас есть строка, то:

 SGF :: Parser.new.parse sgf_string 

Основные свойства

Некоторые свойства относятся только к корневому узлу игры, например, личности игроков. Для удобства некоторые удобочитаемые методы определены в самом объекте игрового дерева для получения этой информации, например

 gametree.black_player # => "tartrate" 

Вызов свойства, не определенного в текущем дереве, приведет к ошибке.Например, свойство, которого нет в игре Go:

 gametree.black_octisquares # => SGF :: NoIdentityError 

Основы навигации

Поскольку игра представляет собой дерево (каждый узел может быть источником множества вариаций), определен удобный метод, который поможет вам пройти основную ветвь по одному узлу за раз.

 gametree.current_node # => запускается как корневой узел, например # 
gametree.next_node # => # 
Gametree.current_node # => #  

Поскольку легко потеряться, когда вы смотрите на вещи по одному узлу за раз (или потому, что иногда вы не хотите выполнять итерацию с индексом), мы также предоставляем удобный метод depth для данного узла, чтобы сказать как далеко вы от дерева.

И поскольку это Ruby, все объекты ( Collection , Gametree и Node ) обеспечивают итерацию через каждый .Обратите внимание, что в этом примере мы используем дерево игры, и итерация по дереву игры начинается с корня дерева игры, поэтому глубина равна 1. Итерация в коллекции начинается с корня коллекции, и глубина этого узла будет равна 0. Итерация для любого узел начинается с этого узла и проходит через все его дочерние элементы.

ПРИМЕЧАНИЕ: итерация выполняется как обход дерева предварительного заказа. Вы не должны об этом заботиться, но можете.

 gametree.each do | node |
  помещает "Узел на глубине # {node.depth} имеет # {node.properties.count} properties "
конец
= начать
Узел на глубине 1 имеет 16 свойств
Узел на глубине 2 имеет 4 свойства
Узел на глубине 3 имеет 3 свойства
Узел на глубине 4 имеет 4 свойства
Узел на глубине 5 имеет 3 свойства
Узел на глубине 6 имеет 3 свойства
Узел на глубине 7 имеет 3 свойства
Узел на глубине 8 имеет 4 свойства
... И так далее
= конец 

Основы экономии

Существует SGF :: Writer , который можно использовать, начиная с любого узла. Также существует удобный способ инкассации:

.save (filename) # => Новый блестящий текстовый файл
SGF :: Writer.new.stringify_tree_from (node) # => Блестящая строка
SGF :: Writer.new.save (узел, имя файла) # => Файл с деревом, начинающимся с узла 

Если вам нужна необработанная версия данных SGF, вы можете использовать to_s :

 node.to_s
gametree.to_s
collection.to_s 

ПРЕДУПРЕЖДЕНИЕ. Требование к реализации — убедиться, что любая закрывающая скобка ‘]’ внутри комментария экранирована: ‘\]’. Если этого не сделать, из вас будет одна грустная панда! Эта библиотека сделает это за вас при сохранении, но, скорее всего, ужасно умрет при анализе всего, что не соответствует этому правилу.

Дополнения

Название филиала

Ветвь, используемая для публикации драгоценного камня, — это ветвь congruence . Мы выбрали это слово, потому что оно имеет сильную коннотацию для правильной интеграции. Эта ветвь конгруэнтна. Это означает, что все изменения, внесенные в эту ветку, совпадают.

компьютеров учатся читать — но они все еще не так умны

Задача предварительного обучения в стиле Mad-Libs, которую использует BERT, называемая моделированием на языке масок, не нова. Фактически, он использовался в качестве инструмента для оценки понимания языка людьми на протяжении десятилетий.Для Google он также предложил практический способ включения двунаправленности в нейронных сетях в отличие от методов однонаправленного предварительного обучения, которые ранее доминировали в этой области. «До BERT однонаправленное языковое моделирование было стандартом, даже несмотря на то, что это излишне ограничивающее ограничение», — сказал Кентон Ли, научный сотрудник Google.

Каждый из этих трех компонентов — глубоко подготовленная языковая модель, внимание и двунаправленность — существовал независимо до BERT.Но до тех пор, пока Google не выпустил свой рецепт в конце 2018 года, никто не смог объединить их так мощно.

Улучшение рецепта

Как и любой хороший рецепт, BERT вскоре был адаптирован поварами к своим вкусам. Весной 2019 года был период, «когда Microsoft и Alibaba обходили друг друга неделя за неделей, продолжая настраивать свои модели и занимая первое место в таблице лидеров», — вспоминал Боумен. Когда в августе впервые появилась улучшенная версия BERT под названием RoBERTa, исследователь DeepMind Себастьян Рудер сухо отметил это событие в своем широко читаемом информационном бюллетене по НЛП: «Еще один месяц, еще одна современная предварительно обученная языковая модель.

«Пирожковая корка» BERT включает в себя ряд конструктивных решений, которые влияют на то, насколько хорошо она работает. К ним относятся размер запекаемой нейронной сети, объем данных предварительного обучения, способ маскировки этих данных предварительного обучения и продолжительность обучения нейронной сети на нем. Последующие рецепты, такие как RoBERTa, являются результатом того, что исследователи меняют эти дизайнерские решения, так же как повара готовят блюдо.

В случае RoBERTa исследователи из Facebook и Вашингтонского университета увеличили некоторые ингредиенты (больше данных предварительного обучения, более длинные входные последовательности, больше времени обучения), убрали один (задача «предсказания следующего предложения», изначально включенная в BERT, которая на самом деле снизили производительность) и модифицировали другой (они усложнили задачу предварительного обучения языку-маске).Результат? Первое место по КЛЕЮ — кратко. Шесть недель спустя исследователи из Microsoft и Университета Мэриленда добавили свои собственные настройки в RoBERTa и добились новой победы. На момент написания этой статьи еще одна модель под названием ALBERT, сокращенно от «A Lite BERT», заняла первое место в GLUE, дополнив базовый дизайн BERT.

«Мы все еще выясняем, какие рецепты работают, а какие нет», — сказал Отт из Facebook, работавший над RoBERTa.

Тем не менее, точно так же, как совершенствование техники выпечки пирогов вряд ли научит вас принципам химии, постепенная оптимизация BERT не обязательно дает много теоретических знаний о продвижении НЛП.«Я буду с вами совершенно честен: я не слежу за этими статьями, потому что они мне очень скучны», — сказал Линзен, специалист по компьютерной лингвистике из Johns Hopkins. «Здесь есть научная загадка», — соглашается он, но она не заключается в том, чтобы выяснить, как сделать BERT и все его порождения умнее, или даже в том, чтобы выяснить, как они вообще стали умнее. Вместо этого «мы пытаемся понять, в какой степени эти модели действительно понимают язык», — сказал он, а не «подбираем странные уловки, которые работают с наборами данных, на которых мы обычно оцениваем наши модели.”

Другими словами: BERT что-то делает правильно. Но что, если причина неправильная?

Умно, но не умно

В июле 2019 года два исследователя из Тайваньского национального университета Ченг Кунг использовали BERT для достижения впечатляющих результатов в сравнительно малоизвестном тесте на понимание естественного языка, который называется задачей понимания аргументов. Выполнение задачи требует выбора соответствующей неявной предпосылки (называемой ордером), которая подкрепляет причину для аргументации некоторого утверждения.Например, чтобы утверждать, что «курение вызывает рак» (утверждение), потому что «научные исследования показали связь между курением и раком» (причина), вы должны предположить, что «научные исследования заслуживают доверия» (ордер), поскольку в отличие от «научные исследования дороги» (что может быть правдой, но не имеет смысла в контексте аргументации). Получил все это?

Рабочая группа по синтаксическому анализу слов, то есть

Когда студент, изучающий немецкий язык, предлагает вам ein Gift , можно с уверенностью сказать, что он не собирался угрожать вам ядом.Новичок в итальянском может задаться вопросом, почему овечья шерсть считается morbido , в то время как на испанском новичок, который ошибся, теперь признается, что он embarazada — беременная.

Эти ложные родственники — falsche Freunde, faux amis, или «ложные друзья» — изобилуют любыми двумя языками, особенно теми, которые тесно связаны между собой. Однако проклятие для изучающих язык — это золотая жила для лингвистов, культурологов-эволюционистов и компьютерных ученых, группа которых соберется на SFI в августе.27–28, 2018 г. Они спрашивают, можно ли количественно закодировать «значение» независимо от какого-либо конкретного языка, учитывая беспорядочное состояние лингвистических дел?

«Если я расскажу вам обо всех контекстах, в которых подходит данное слово, вы, вероятно, получите довольно хорошее представление о его« значении »», — объясняет внешний профессор SFI Танмой Бхаттачарья (Национальная лаборатория Лос-Аламоса), соорганизатор рабочей группы. Но до количественной оценки лингвистически значимых мер расстояния между значениями еще далеко.Тем не менее: «Кажется, что во всем мире люди имеют схожие представления о [лингвистической] дистанции. Например, если у вас не было слова для обозначения «соль» и вы хотели использовать это слово, вы говорите, что «соль» получается в результате «высыхания морской воды». И оказывается, что независимо от того, какой язык вы выберете, соль близка к морской воде . Что это может сказать нам о том, как мы делим мир на части? »

Перевод может быть одним местом для начала. Вместо того чтобы идти по пути языкового класса, ученые заинтересованы в устранении любых культурных предубеждений: просто загружая большие наборы лингвистических данных в компьютер, сообщая ему только то, что переводится, и тестируя то, что машина узнает.Компьютер берет, скажем, немецкое предложение, превращает его в промежуточное представление в виде нулей и единиц и переводит его на другой язык, например английский.

Что происходит, когда перевод с немецкого на английский останавливается на полпути и перенаправляется на французский?

«Может оказаться, что это довольно хороший перевод с немецкого на французский», — отмечает Бхаттачарья. «Нули и единицы могут быть достаточно мощными, чтобы перейти с на любом языке на на любом другом языке .Фактически, недавняя работа ученых Google нашла доказательства такого интерлингваума.

Среди организаторов рабочей группы — внешний профессор Георгий Старостин (Высшая школа экономики, Москва), куратор проекта «Эволюция человеческих языков» (EHL), давнего проекта SFI по исследованию глубоких исторических связей между многими странами. языковые семьи мира. «Изучение семантических сдвигов — тонких, постепенных изменений значений слов, которые накапливаются с течением времени — так же важно для разгадки истории языка, как и изучение изменения звука, которое традиционно доминировало в исторической лингвистике», — говорит Старостин.«Кроме того, исторические банки данных о семантических сдвигах, созданные в процессе нашего исследования далекого прошлого современных языков, могут помочь пролить ценный свет на определенные универсальные или культурно обусловленные свойства человеческого разума, позволяя нам понять, какие типы значений чаще связаны в мозгу, что еще больше приближает нас к построению универсального семантического метаязыка ». В промежутках между элементами исторического и синхронного исследования рабочая группа будет использовать семантические сети и аспекты культурной эволюции, среди прочего, для предсказания истинных родственников и определения того, как значения меняются с течением времени.

Есть ли цель усовершенствовать Google Translate? Не совсем так: цель выходит далеко за пределы. «Этот внутренний набор нулей и единиц, вероятно, представляет собой представление , означающего », — говорит Бхаттачарья. « Этот — идея, которой мы хотим следовать».

Внешние профессора Эрик Смит (Токийский институт наук о Земле) и Питер Стадлер (Лейпцигский университет) также организуют рабочую группу.

Подробнее о рабочей группе «Лексическая семантика, изменение языка и универсальные переводчики.»

SmartHanzi

SmartHanzi для канзи

SmartHanzi for Kanjis — это бесплатный, но профессиональный инструмент для чтения и запоминания японских канджи.

Включает японские словари для английского, французского и немецкого языков, а также DDB (цифровой словарь буддизма, только короткие определения) и CJKV-E (китайский, японский, корейский, вьетнамский — английский словарь конфуцианских, даосских и интеллектуальных исторических терминов, краткий определения).

Анализ и поиск

Полный текст может быть скопирован с немедленным доступом к неизвестным словам.Встреча слов и символов в контексте вместе со связанными друг с другом очень помогает запоминанию.

SmartHanzi для канджи распознает эквивалентные варианты символов. Например, поиск / синтаксический анализ both покажет как both, так и 眞, в зависимости от того, что присутствует в выбранных словарях. Или он одинаково хорошо распознает 為 / 爲 или 眾 / 衆.

Персонажи

• Этимологический словарь ханьских и китайских иероглифов Лоуренса Дж.Хауэлл и Хикару Моримото.
• КИТАЙСКИЕ ПЕРСОНАЖИ доктора Вигера: на основе китайского Shuowen jiezi, с этимологическими уроками и фонетическими рядами. Приложение включает в себя полный текст (французский) первых уроков и будет заполняться постепенно.

Здесь этимология имеет очень практическую цель: сэкономить время, показывая обычные компоненты, еще более или менее видимые. На первый взгляд китайские / японские иероглифы выглядят ужасно странно и недосягаемыми. Оглядываясь на истоки с помощью хорошо продуманных уроков, можно обнаружить заблудший путь и предложить иногда игривый выход.Дело не в том, чтобы учиться, а в постепенном знакомстве с другим письмом и культурой.

Английский текст этимологических уроков можно найти в имеющейся в продаже книге (ссылка в приложении).