кд лс
./ls /дом/андреа
 

Попробуйте сделать программу ls более надежной, обрабатывая отсутствующие аргументы командной строки и несуществующие аргументы или аргументы, не относящиеся к каталогу.

Многопоточность

Как мы уже говорили, среда выполнения Factor является однопоточной, как и Node. Тем не менее, можно эмулировать параллелизм в однопоточной настройке, используя сопрограмм . По сути, это взаимодействующие потоки, которые периодически освобождают управление с помощью слова , возвращающего , так что планировщик может решить, какую сопрограмму запустить следующей.

Хотя совместные потоки не позволяют использовать несколько ядер, они все же имеют некоторые преимущества:

• операции ввода-вывода позволяют избежать блокировки всей среды выполнения, что позволяет реализовать достаточно производительные приложения, если узким местом является ввод-вывод;
Пользовательские интерфейсы
• , естественно, являются многопоточной конструкцией, и они могут быть реализованы в этой модели, как показывает сам слушатель;
• , наконец, некоторые задачи, возможно, проще написать, используя многопоточные конструкции.

Для случаев, когда нужно использовать несколько ядер, Factor предлагает возможность порождать другие процессы и обмениваться данными между ними с использованием каналов , как мы увидим в следующем разделе.

Темы в Факторах создаются из цитаты и имени, с порождением слова. Давайте воспользуемся этим для печати первых нескольких строк «Звездных войн» по одной в секунду, причем каждая строка печатается внутри своего собственного потока. Во-первых, давайте запишем эти строки внутри динамической переменной:

 СИМВОЛ: звездные войны
"Давным-давно, в далекой-далекой галактике...
Это период гражданской войны. Бунтарь
космические корабли, наносящие удар из скрытого
базу, одержали первую победу
против злой Галактической Империи.
В ходе боя повстанческим шпионам удалось
украсть секретные планы Империи
совершенное оружие, ЗВЕЗДА СМЕРТИ,
бронированная космическая станция с достаточным
способность уничтожить целую планету.
Преследуемый зловещими агентами Империи,
Принцесса Лея мчится домой на своем борту
звездолет, хранитель украденных планов
что может спасти свой народ и восстановить
свободу галактике. .."
"\n" разделенный набор звездных войн
 

Мы создадим 18 потоков, каждый из которых будет печатать строку. Операция, которую должен выполнить поток, составляет

 Звездные войны получают ?-й оттиск
 

Обратите внимание, что динамические переменные являются общими для потоков, поэтому каждый из них имеет доступ к звездным войнам. Это нормально, так как он доступен только для чтения, но применяются обычные предостережения относительно общей памяти в многопоточных настройках.

Определим слово для рабочей нагрузки потока

 : print-a-line ( i -- ) star-wars get ?nth print ;
 

Если мы дадим i-му потоку имя "i", наш пример составит

 18 [0,б) [
  [ [ распечатать строку ] карри ]
  [число>строка]
  би спавн
] каждый
 

Обратите внимание на использование curry для отправки i в котировку, которая печатает i-ю строку. Это почти то, что мы хотим, но это работает слишком быстро. Нам нужно усыпить нить на некоторое время. Итак, мы очищаем стек, который теперь содержит множество объектов потока, и ищем в справке слово sleep .

Получается, что sleep делает именно то, что нам нужно, но принимает на вход объект duration . Мы можем создать продолжительность i секунд с... хорошо i секунд . Итак, мы определяем

 : ожидание и печать ( i -- ) dup секунд сон печать строки ;
 

Попробуем

 18 [0,б) [
  [ [ ждать и печатать ] карри ]
  [число>строка]
  би спавн
] каждый
 

Вместо spawn мы также можем использовать в потоке , который использует фиктивное имя потока и отбрасывает возвращенный поток, упрощая вышеприведенное до

 18 [0,б) [
  [ ждать и печатать ] карри в треде
] каждый
 

Этого достаточно для нашей простой цели. В серьезных приложениях объявления будут работать долго. Чтобы заставить их сотрудничать, можно использовать слово yield , чтобы сигнализировать о том, что поток выполнил единицу работы, и другие потоки могут получить управление. Вы также можете взглянуть на другие слова остановить , приостановить или возобновить потоков.

Серверы и печь

Очень распространенный случай использования более одного потока — при написании серверных приложений. При написании сетевых приложений принято запускать поток для каждого входящего соединения (помните, что это зеленые потоки, поэтому они намного легче, чем потоки ОС).

Чтобы упростить это, Factor имеет слово spawn-server , которое работает так же, как spawn , но вдобавок многократно порождает цитату, пока не вернет f . Это все еще очень низкоуровневое слово: на самом деле нужно делать гораздо больше: прослушивать TCP-соединения на заданном порту, обрабатывать лимиты соединений и так далее.

Словарь io.servers позволяет писать и настраивать TCP-серверы. Сервер создается со словом , для которого требуется кодировка в качестве параметра. Затем его слоты можно настроить для настройки ведения журнала, ограничений на количество подключений, портов и т. д. Наиболее важным слотом для заполнения является обработчик , который содержит котировку, которая выполняется для каждого входящего соединения. Вы можете увидеть очень простой пример сервера с

 "resource:extra/time-server/time-server.factor" редактировать файл
 

Мы еще больше поднимем уровень абстракции и покажем, как запустить простой HTTP-сервер. Во-первых, USE: http.server .

HTTP-приложение создано из ответчика . Ответчик — это, по сути, функция от пути и HTTP-запроса до HTTP-ответа, но, более конкретно, это все, что реализует метод call-responder* . Ответы являются экземплярами кортежа response , поэтому обычно генерируются вызовом и настроить несколько слотов. Давайте напишем простой эхо-ответчик:

 TUPLE: эхо-ответчик ;
: <эхо-ответчик> ( -- ответчик ) эхо-ответчик новый ;
M: эхо-ответчик*
  уронить
  <ответ>
    200 >>код
    "Документ следует" >>сообщение
    "текст/обычный" >> тип контента
    поменять местами concat >>тело ;
 

обычно объединяются для формирования более сложных ответчиков для реализации маршрутизации и других функций. В нашем упрощенном примере мы будем использовать только этот ответчик и установим его глобально с помощью

  main-responder set-global
 

После этого вы можете запустить сервер с 8080 httpd . Затем вы можете посетить http://localhost:8080/hello/%20/from/%20/factor в своем браузере, чтобы увидеть своего первого ответчика в действии. Затем вы можете остановить сервер с помощью stop-server .

Теперь, если бы это было все, что Factor предлагает для написания веб-приложений, это все равно было бы довольно низким уровнем. На самом деле веб-приложения обычно пишутся с использованием веб-фреймворка под названием 9.0127 Печь .

Furnace позволяет нам, среди прочего, писать более сложные действия, используя язык шаблонов. На самом деле, по умолчанию поставляются два языка шаблонов, и мы будем использовать Chloe . Furnace позволяет нам использовать действия create page из шаблонов Chloe, а для создания ответчика нам нужно будет добавить маршрутизацию.

Сначала рассмотрим простой пример маршрутизации. Для этого мы создаем специальный тип ответчика, называемый диспетчер , который отправляет запросы на основе параметров пути. Давайте создадим простой диспетчер, который будет выбирать между нашим эхо-ответчиком и ответчиком по умолчанию, используемым для обслуживания статических файлов.

 диспетчер новый диспетчер
   "echo" дополнительный ответчик
  "/home/andrea"  "home" ответ на добавление
  основной ответчик set-global
 

Конечно, замените путь /home/andrea на любую папку, которая вам нравится. Если вы снова запустите сервер с 8080 httpd , вы сможете увидеть как наш простой эхо-ответчик (под /echo ), так и содержимое ваших файлов (под /home ). Обратите внимание, что список каталогов по умолчанию отключен, вы можете получить доступ только к содержимому файлов.

Теперь, когда вы знаете, как выполнять маршрутизацию, мы можем написать действия страницы в Chloe. Ситуация начинает усложняться, поэтому мы формируем словарь с помощью "привет-печь" скаффолд-работа . Сделайте так:

 ! Copyright (C) 2014 Андреа Ферретти.
! См. http://factorcode.org/license.txt для лицензии BSD.
ИСПОЛЬЗОВАНИЕ: аксессуары печи.действия http http.server
  http.server.dispatchers http.server.static последовательности ядра ;
IN: привет-печь
TUPLE: эхо-ответчик ;
: <эхо-ответчик> ( -- ответчик ) эхо-ответчик новый ;
M: эхо-ответчик*
  уронить
  <ответ>
    200 >>код
    "Документ следует" >>сообщение
    "текст/обычный" >> тип контента
    поменять местами concat >>тело ;
TUPLE: привет-диспетчер < диспетчер ;
: <пример-ответчик> ( -- ответчик )
  привет-диспетчер новый-диспетчер
     "echo" дополнительный ответчик
    "/home/andrea"  "home" ответ на добавление
    <действие страницы>
      { привет-диспетчер "привет" } >>шаблон
    "Хлоя" добавить ответчик;
 

Большинство вещей такие же, как мы сделали в слушателе. Единственная разница в том, что мы добавили в диспетчере третьего респондента под номером chloe . Этот ответчик создается с действием страницы. Действие страницы имеет много слотов — скажем, для объявления поведения получения результата формы — но мы задаем только его шаблон. Это пара с классом диспетчера и относительным путем к файлу шаблона.

Для того, чтобы все это работало, создайте файл work/hello-furnace/greetings.xml с содержимым типа

 

  
Привет от Хлои

 

Перезагрузите словарь hello-furnace и main-responder set-global . Вы должны увидеть результаты своих усилий по адресу http://localhost:8080/chloe . Обратите внимание, что нет необходимости перезапускать сервер, мы можем динамически менять основной ответчик.

На этом наша очень краткая экскурсия по Печи заканчивается. На самом деле он делает гораздо больше: проверка и обработка форм, аутентификация, ведение журнала и многое другое. Но этот раздел уже становится слишком длинным, и вам придется узнать больше в документации.

Процессы и каналы

Как я уже сказал, Factor является однопоточным с точки зрения ОС. Если мы хотим использовать несколько ядер, нам нужен способ запуска процессов Factor и взаимодействия между ними. Factor реализует две разные модели параллелизма при передаче сообщений: акторную модель, основанную на идее асинхронной отправки сообщений между потоками, и модель CSP, основанную на использовании каналов .

В качестве разминки мы сделаем простой пример взаимодействия между потоками в одном процессе.

 ОТ: concurrency.messaging => отправить получить ;
 

Мы можем запустить поток, который будет получать сообщение и многократно его печатать:

 : печатать-повторно ( -- ) получать . печатать-повторно ;
[ печать-неоднократно ] "принтер" спавн
 

Поток, котировка которого начинается с , получает и рекурсивно вызывает себя, ведет себя как актор в Erlang или Akka. Тогда мы можем использовать отправьте , чтобы отправить ему сообщения. Попробуйте "hello" вместо send , а затем "threading" вместо send .

Каналы — это немного разные абстракции, используемые, например, в Go и в Clojure core.async. Они разделяют отправителя и получателя и обычно используются синхронно. Например, одна сторона может получить из канала до того, как какая-то другая сторона отправит что-то в него. Это просто означает, что принимающая сторона передает управление планировщику, который ожидает отправки сообщения, прежде чем снова передать управление получателю. Эта функция иногда упрощает синхронизацию многопоточных приложений.

Опять же, сначала мы используем канал для связи между потоками одного и того же процесса. Как и ожидалось, USE: каналы . Вы можете создать канал с , писать в него с по и читать из него с с . Обратите внимание, что обе операции являются блокирующими: от до будут блокироваться до тех пор, пока значение не будет прочитано в другом потоке, а из будут блокироваться до тех пор, пока значение не будет доступно.

Мы создаем канал и даем ему имя с

 СИМВОЛ: ч
 набор каналов
 

Потом пишем в него в отдельном потоке, чтобы не блокировать UI

 [ "привет" ch добраться до ] в теме
 

Затем мы можем прочитать значение в пользовательском интерфейсе с помощью

 ч получить от
 

Мы также можем инвертировать порядок:

 [ ch получить от . ] в потоке
"привет" ch добраться до
 

Это прекрасно работает, так как мы сначала установили считыватель.

Теперь самое интересное: мы запустим второй экземпляр Factor и будем общаться через отправку сообщений. Factor прозрачно поддерживает отправку сообщений по сети, сериализуя значения с помощью сериализовать словарь .

Запустите еще один экземпляр Factor и запустите на нем узел-сервер. Мы будем использовать слово , которое создает IPv4-адрес из хоста и порта, и конструктор

 ПРИМЕНЕНИЕ: concurrency. distributed
f 9000  <узел-сервер> начальный-сервер
 

Здесь мы использовали f в качестве хоста, который просто означает локальный хост. Мы также запустим поток, который ведет текущий подсчет полученных им чисел.

 ОТ: concurrency.messaging => отправить получить ;
: добавить ( x -- y ) получить + дублировать . добавлять ;
[ 0 добавить ] спавн "гадюка"
 

Как только мы запустили сервер, мы можем сделать поток доступным с помощью register-remote-thread :

 имя дубликата >> регистр-удаленный-поток
 

Теперь переходим к другому экземпляру Factor. Здесь мы получим ссылку на удаленный поток и начнем отправлять ему числа. Адрес потока — это просто адрес его сервера и имя, под которым мы зарегистрировали поток, поэтому мы получаем ссылку на наш поток-сумматор с

 f 9000  "сумматор" <удаленный-поток>
 

Теперь мы повторно импортируем и отправляем просто для уверенности (импортировано слово с таким же именем в io. sockets , которое мы импортировали)

 ОТ: concurrency.messaging => отправить получить ;
 

и мы можем начать отправлять на него номера. Попробуйте 3 вместо отправки , а затем 8 вместо отправки - вы должны увидеть промежуточную сумму, напечатанную в другом экземпляре Factor.

Что насчет каналов? Возвращаемся на наш сервер и запускаем там канал, как и выше. Однако на этот раз мы публикуем его, чтобы сделать его доступным удаленно:

 ИСПОЛЬЗОВАНИЕ: каналы channels.remote ;
<канал> дублировать публикацию
 

Взамен вы получаете идентификатор, который можно использовать для удаленного общения. Например, я только что получил 725813726152747188779788

2312843084896785643440870335

58956 (да, они действительно хотят быть уверены, что это уникально!).

Будем ждать на этом канале, тем самым заблокируем UI:

 своп из .
 

В другом экземпляре Factor мы используем идентификатор, чтобы получить ссылку на удаленный канал и записать в него

 f 9000  725813726152747188779788
2312843084896785643440870335
58956 <удаленный-канал>
"Привет, каналы"
 

В экземпляре сервера сообщение должно быть напечатано.

Удаленные каналы и потоки полезны для реализации распределенных приложений и эффективного использования многоядерных серверов. Конечно, остается вопрос, как запускать рабочие узлы в первую очередь. Здесь мы сделали это вручную - если набор узлов фиксированный, то это вообще вариант.

В противном случае можно использовать словарь io.launcher для запуска других экземпляров Factor программным путем.

Куда пойти отсюда?

Мы многое рассмотрели, и я надеюсь, что теперь у вас есть ощущение, подходит ли вам Фактор. Теперь вы можете работать с документацией и, надеюсь, внести свой вклад в Factor.

Позвольте мне закончить несколько советов:

• когда вы начинаете писать Factor, это очень легко справляться с перетасовкой стека. Хорошо изучите комбинаторы и не бойтесь выбросить свои первые примеры;
• никакое определение не слишком короткое: цельтесь в одну линию;
• справочная система и инспектор - ваши лучшие друзья.

Справедливости ради нужно отметить и некоторые недостатки Factor:

• Во-первых, сообщество очень маленькое. То, что они сделали, впечатляет, но не надейтесь найти много информации в Интернете;
• конкатенативная модель очень мощная, но ее очень трудно понять правильно;
• Factor не хватает потоков: хотя распределенные процессы компенсируют это, они несут некоторые затраты на сериализацию;
• , наконец, у Factor в настоящее время нет менеджера пакетов, и это, вероятно, мешает вкладу.

Мы должны сбалансировать последнее наблюдение с удобством наличия всего исходного дерева Factor, доступного в образе, что, безусловно, облегчает изучение библиотек. Позвольте мне предложить несколько словарей, на которые вы, возможно, захотите взглянуть:

• во-первых, я мало говорил об ошибках и исключениях. Узнайте больше с помощью «ошибки» ;
• макросов словарь реализует форму метапрограммирования времени компиляции, менее общую, чем синтаксический анализ слов, но все же довольно удобную;
• словарь моделей позволяет реализовать форму программирования потока данных с использованием объектов с наблюдаемыми слотами;
• словарь match реализует форму сопоставления с образцом;
• словарь монад реализует монады в стиле Haskell.

Я думаю, что эти словари являются свидетельством силы и выразительности Factor. Удачного взлома!

 ИСПОЛЬЗОВАНИЕ: images.http
"http://factorcode.org/logo.png" http-изображение.
 

COCACOLA: биннинг метагеномных контигов с использованием компоновки последовательности, считывания CoverAge, выравнивания СО и считывания парных концов LinkAge | Биоинформатика

Реферат

Мотивация

Появление технологий секвенирования следующего поколения позволяет исследователям секвенировать сложные микробные сообщества непосредственно из окружающей среды. Поскольку сборка обычно производит только фрагменты генома, также известные как контиги, вместо всего генома, крайне важно сгруппировать их в операционные таксономические единицы (OTU) для дальнейшего таксономического профилирования и последующего функционального анализа. Кластеризация OTU также называется биннингом. Мы представляем COCACOLA, общую структуру, которая автоматически объединяет контиги в OTU на основе состава последовательностей и охвата нескольких образцов.

Результаты

Эффективность COCACOLA продемонстрирована как в смоделированных, так и в реальных наборах данных по сравнению с современными подходами к биннингу, такими как CONCOCT, GroopM, MaxBin и MetaBAT. Превосходная производительность COCACOLA зависит от двух аспектов. Один использует расстояние L ₁ вместо евклидова расстояния для лучшей таксономической идентификации во время инициализации. Что еще более важно, COCACOLA использует преимущества как жесткой, так и мягкой кластеризации за счет регуляризации разреженности. Кроме того, инфраструктура COCACOLA легко включает индивидуальные знания для обеспечения точности бинирования. В нашем исследовании мы изучили два типа дополнительных знаний: совместное выравнивание с референсными геномами и сцепление контигов, обеспечиваемое считываниями с парными концами, а также совокупность обоих. Мы обнаружили, что как информация о совместном выравнивании, так и информация о связи еще больше улучшают биннинг в большинстве случаев. COCACOLA масштабируется и работает быстрее, чем CONCOCT, GroopM, MaxBin и MetaBAT.

Наличие и внедрение

Программное обеспечение доступно по адресу https://github.com/younglululu/COCACOLA.

Дополнительная информация

Дополнительные данные доступны по адресу Биоинформатика онлайн.

1 Введение

Метагеномные исследования направлены на изучение микробных сообществ непосредственно из образцов окружающей среды без культивирования видов-членов (Riesenfeld et al. , 2004). Технологии секвенирования следующего поколения позволяют биологам извлекать геномные данные с беспрецедентно высоким разрешением и достаточной глубиной секвенирования, предлагая понимание сложных микробных сообществ, даже включая виды с низкой численностью (Albertsen 9).0029 и др. , 2013). Для дальнейшего изучения таксономической структуры микробных образцов собранные фрагменты последовательности, также известные как контиги, необходимо сгруппировать в операционные таксономические единицы (OTU), которые в конечном итоге представляют геномы или значительные части геномов. Кластеризация OTU также называется биннингом (или геномным биннингом), что служит ключевым шагом к таксономическому профилированию и последующему функциональному анализу. Таким образом, точное бинирование контигов является существенной проблемой в метагеномных исследованиях.

Несмотря на обширные исследования, точное бинирование контигов остается сложной задачей по нескольким основным причинам, включая химерные сборки из-за повторяющихся участков последовательности внутри или между геномами, ошибки секвенирования или артефакты, вариации уровня штамма в пределах одного и того же вида и т. д. (Alneberg et и др. , 2014; Mande и др. , 2012) Доступные в настоящее время методы биннинга можно в целом разделить на подходы классификации и кластеризации. Подходы к классификации «зависят от таксономии», то есть для отнесения контигов или прочтений к значимым таксонам необходимы справочные базы данных. Классификация основана либо на гомологии из-за идентичности последовательностей, либо на геномных сигнатурах, таких как образцы состава олигонуклеотидов и таксономические клады. Методы на основе гомологии включают MEGAN (Huson и др. , 2007), который присваивает чтения низшему общему таксономическому предку. Примеры методов на основе геномных сигнатур включают PhyloPythia (McHardy et al. , 2007) и Kraken (Wood and Salzberg, 2014), которые представляют собой классификаторы на основе композиции и наивный байесовский классификатор (Rosen et al. , 2011). подход, специфичный для клады. Кроме того, доступны гибридные методы, учитывающие стратегии как выравнивания, так и композиции, такие как PhymmBL (Brady and Salzberg, 2009).) и СФИНКС (Мохаммед и др. , 2011).

Для сравнения, подходы к кластеризации «независимы от таксономии», то есть не требуются дополнительные справочные базы данных или таксономическая информация. Эти подходы требуют измерения подобия по содержанию GC, составу тетрамера (Albertsen et al. , 2013; Chatterji et al. , 2008; Yang et al. , 2010) или интерполированным марковским моделям (Kelley and Salzberg, 2010), к профилю охвата контигов (Baran and Halperin, 2012; Wu and Ye, 2011).

Недавно было разработано несколько методов группировки контигов с использованием профилей охвата контигов в нескольких метагеномных образцах (Albertsen et al. , 2013; Alneberg et al. , 2014; Carr et al. , 2013). ; Imelfort и др. , 2014; Kang и др. , 2015; Nielsen и др. , 2014; Wu и др. , 2015). Здесь покрытие контига определяется как доля прочтений, сопоставленных с контигом в выборке. Идея состоит в том, что если два контига происходят из одного и того же генома, их профили покрытия в нескольких образцах должны сильно коррелировать. Эти методы могут быть дополнительно улучшены путем интеграции профилей покрытия с композицией тетрамеров последовательностей контигов (Alneberg и др. , 2014; Имельфорт и др. , 2014; Канг и др. , 2015). Среди этих методов GroopM (Imelfort et al. , 2014 г.) имеет преимущество в его визуализированном и интерактивном конвейере. С одной стороны, он гибкий, позволяя пользователям объединять и разделять бины под вмешательством эксперта. С другой стороны, при отсутствии вмешательства экспертов результаты автоматического группирования GroopM не столь удовлетворительны, как CONCOCT (Alneberg et al. , 2014). КОНКОКТ (Альнеберг и др. , 2014) использует смешанную модель Гаусса (GMM) для группировки контигов в ячейки. Кроме того, CONCOCT предоставляет механизм для автоматического определения оптимального числа OTU путем выбора вариационной байесовской модели (Corduneanu and Bishop, 2001). MetaBAT (Kang et al. , 2015) вычисляет интегрированное расстояние для парных контигов, а затем итеративно группирует контиги в кластеры с помощью модифицированного алгоритма K-medoids. А MaxBin (Wu et al. , 2015) сравнивает распределения расстояний между и внутри одних и тех же геномов.

В этой статье мы представляем COCACOLA, общую структуру для группирования контигов, включающую компоновку последовательности, CoverAge, выравнивание CO и считывание парных концов LinkAge для нескольких образцов. По умолчанию COCACOLA использует состав последовательностей и охват нескольких образцов для бинирования. По сравнению с недавними подходами, такими как CONCOCT, GroopM, MaxBin и MetaBAT, COCACOLA работает лучше по трем аспектам. Во-первых, COCACOLA демонстрирует превосходство в отношении точности, полноты и скорректированного индекса Рэнда (ARI). Во-вторых, COCACOLA показывает лучшую надежность в случае различного количества образцов. COCACOLA масштабируется и работает быстрее, чем CONCOCT, GroopM, MaxBin и MetaBAT.

Кроме того, инфраструктура COCACOLA легко объединяет индивидуальные знания для повышения точности бинирования. В нашем исследовании мы исследовали два типа знаний, в частности, совместное выравнивание с эталонными геномами и связь между контигами, обеспечиваемыми считываниями с парными концами. Мы обнаружили, что как информация о совместном выравнивании, так и информация о связи способствуют лучшей производительности биннинга в большинстве случаев.

2 Материалы и методы

2.

1 Формулировка задачи

Микробное сообщество состоит из набора OTU с разным уровнем численности, и наша цель состоит в том, чтобы поместить контиги в геномные ячейки OTU, из которых они были первоначально получены. Ожидается, что OTU будут распутаны на основе контигов, включающих либо дискриминационную распространенность, либо несходство между последовательностями с точки зрения l -мерный состав. Обоснование объединения контигов в OTU основано на основном предположении, что контиги, происходящие из одной и той же OTU, имеют схожую относительную численность, а также состав последовательностей.

Формально мы кодируем численность и состав k -й OTU с помощью (M+V) размерного вектора признаков, W·k, k=1,2,⋯,K⁠, где M – это число образцов, V — количество различных l -меров, а K — общее количество OTU. В частности, Wmk представляет обилие к -й ОТЕ в м -й пробе, m=1,2,⋯,M⁠ соответственно. А WM+v,k обозначает относительную частотную композицию l -mer k -ой OTU, v=1,2,⋯,V⁠. Точно так же вектор признаков n -го контига обозначается как X·n⁠. Пусть Hkn – индикаторная функция, описывающая принадлежность n -го контига к k -ому OTU, т. е. Hkn=1 означает, что n -ый контиг исходит из k -го OTU, а Hkn=0 в противном случае. Следовательно, X·n можно представить в виде:

X·n= h2nW·1+ h3nW·2+⋯+HknW·K,  n=1,2,⋯,N

(1)

, где N — количество контигов. Уравнение (1) можно дополнительно записать в матричной форме:

X≈WH     s.t. W≥0,   H∈{0,1}K×N,‖H·n‖0=1

(2)

, где W=(W·1,W·2,⋯,W·K) (M+V)×K неотрицательная матрица, в которой каждый столбец кодирует вектор признаков соответствующей OTU. И H=( H·1,H·2,⋯,H·N) представляет собой двоичную матрицу размера K×N, в которой каждый столбец кодирует индикаторную функцию соответствующего контига. ‖H·n‖0=∑k=1K Hkn=1 обеспечивает n -th contig принадлежит исключительно только одному конкретному OTU.

Матрицы W и H получаются путем минимизации некоторой целевой функции. В этой статье мы используем норму Фробениуса, обычно известную как сумма квадратов ошибок:

arg⁡min⁡W,H≥0‖X−WH‖F2   s.t. H∈{0,1}K×N,‖H·n‖0=1

(3)

Обратите внимание, что уравнение (3) является NP-трудным по формулировке как задача целочисленного программирования с экспоненциальным числом допустимых решений (Цзян и др. , 2014). Обычная процедура для решения уравнения (3) ослабляет бинарное ограничение H с числовыми значениями. Следовательно, уравнение (3) переформулируется как следующая задача минимизации: W,H≥0

(4)

где H служит матрицей коэффициентов вместо матрицы индикатора. В сценарии уравнения (4), W·k⁠, вектор признаков k -й OTU представляет собой центр тяжести k -го кластера. При этом каждый контиг X·n аппроксимируется взвешенной смесью кластеров, где веса закодированы в H·n⁠. Другими словами, ослабление бинарного ограничения переводит интерпретацию с жесткой кластеризации на мягкую кластеризацию, где жесткая кластеризация означает, что контиг может быть назначен только одному OTU, а мягкая кластеризация позволяет назначать контиг нескольким OTU. Было замечено, что при наложении разреженности на каждый столбец из H может быть облегчено жесткое кластерное поведение (Kim and Park, 2008). Следовательно, уравнение (4) дополнительно модифицируется с помощью формы разреженной неотрицательной матричной факторизации (Kim and Park, 2008):

arg⁡min⁡W,H≥0‖X−WH‖F2+α∑n=1N‖ H·n‖12

(5)

где ‖·‖1 означает L ₁ -норм. Из-за неотрицательности H , ‖H·n‖1 обозначает сумму столбцов n -го вектора-столбца H . Параметр α>0 управляет компромиссом между точностью аппроксимации и разреженностью Н . А именно, большее значение α подразумевает большую разреженность, а меньшее значение обеспечивает лучшую точность аппроксимации.

2.2 Матричное представление контигов

Подобно CONCOCT (Alneberg et al. , 2014), каждый контиг длиной более 1000 п.н. V размерная тетрамерная композиция. Покрытие обозначает среднее количество картированных прочтений на пару оснований из каждого из M различных образцов. В то время как состав тетрамера обозначает частоту тетрамера самого контига плюс его обратный комплемент. Благодаря палиндромным тетрамерам V  =   136.

Приняв обозначение CONCOCT (Alneberg et al. , 2014), покрытие всех контигов N представлено матрица Y , где N - количество интересующих контигов, а Y _нм указывает охват n -го контига из m -го образца. В то время как тетрамерный состав контигов N представлен матрицей N  ×  V Z , где Z _nv указывает количество v , обнаруженное в тетрамере 2 n -й контиг. Перед нормализацией к каждой записи матрицы покрытия Y и матрицы композиции Z 9 добавляется псевдосчетчик.0030 соответственно. Что касается покрытия, добавляется небольшое значение, то есть Y′nm=Ynm+100/Ln⁠, аналогично одному чтению, выровненному по каждому контигу, как и ранее, где L _n — длина n -й контиг. Что касается состава, то просто добавляется один счет, то есть Z′nv=Znv+1⁠.

Матрица покрытия Y сначала нормализуется по столбцам (т.0029 M образцов) для получения профиля покрытия p . Построчная нормализация направлена ​​на смягчение неоднородности эффективности секвенирования среди контигов.

Y′′nm=Y′nm∑n=1NY′nm         pnm=Y′′nm∑m=1MY′′nm

(6)

Композиционная матрица Z нормирована по строкам для каждой (т. е. нормализация по количеству тетрамеров M ) для получения профиля состава q :

qnv=Z′nv∑v=1VZ′nv

(7)

Матрица признаков контигов обозначается как X= [p q]T⁠, как комбинация профиля покрытия p и составной профиль q . Чтобы быть конкретным, X представляет собой неотрицательную матрицу (M + V) × N, каждый столбец которой представляет вектор признаков определенного контига.

2.3 Включение дополнительных знаний в биннинг

Мы рассматриваем два типа дополнительных знаний, которые могут повысить точность биннинга (Basu et al. , 2008). Одним из вариантов является связывание парных чтений. В частности, большое количество каналов, соединяющих два контига, предполагает высокую вероятность того, что они принадлежат одному OTU. Поскольку связь может быть ошибочной из-за существования химерных последовательностей, мы сохраняем связи, о которых сообщается в нескольких образцах. Другой вариант — совместное выравнивание по референсным геномам. То есть два контига, сопоставленные с одним и тем же эталонным геномом, подтверждают принадлежность к одной и той же OTU.

Мы кодируем дополнительные знания с помощью ненаправленной сети в виде матрицы неотрицательных весов A , где Ann' определяет уровень достоверности, который, как мы полагаем, n -й контиг и n'-й контиг кластеризуются вместе. На основе вышеупомянутой матрицы A вводится элемент регуляризации сети для измерения когерентности бинирования (Cai и др. , 2011):

Rg=12∑n,n′=1N‖H·n−H ·n′‖2Ann′=Tr(HLHT)

(8)

, где Tr(·) указывает след матрицы, сумму элементов по диагонали. D обозначает диагональную матрицу, элементами которой являются суммы столбцов (или суммы строк в силу симметрии) A , т. е. Dnn=∑n′=1NNn′⁠. Матрица Лапласа (Chung, 1997) определяется как L=D-A⁠. По соглашению вместо этого мы используем нормализованную матрицу Лапласа, то есть L=D-1/2LD-1/2=I-D-1/2AD-1/2≜I-A⁠. Включив регуляризацию сети в уравнение (8), целевая функция в уравнении (5) изменится на следующую форму:

arg⁡min⁡W,H≥0‖X−WH‖F2+α∑n=1N‖H·n‖12+β Tr(HLHT)

(9)

где параметр β>0 управляет компромисс веры между неконтролируемым биннингом и дополнительным знанием. А именно, большое β указывает на сильную уверенность в дополнительных знаниях. И наоборот, маленькие β придают данным больший вес.

Для одновременного использования нескольких дополнительных источников знаний комбинированная матрица Лапласа строится как средневзвешенное значение отдельных матриц Лапласа L¯=(∑dαdLd)/(∑dαd), где каждый положительный вес равен α _d отражает вклад соответствующей информации. Для простоты веса рассматриваются в статье одинаково.

2.

4 Оптимизация путем чередования неотрицательных наименьших квадратов

Среди комплексных алгоритмов для решения уравнения (9) наиболее широко используется метод мультипликативного обновления (Lee and Seung, 1999). Несмотря на простоту реализации, медленная сходимость вызывает большие опасения. В этой статье используется более эффективный алгоритм с доказуемой сходимостью, называемый чередующимся неотрицательным методом наименьших квадратов (ANLS) (Ким и Парк, 2008). ANLS итеративно обрабатывает две неотрицательные подзадачи наименьших квадратов в уравнении (10) до сходимости. Алгоритм ANLS кратко описан в алгоритме 1.9.0003

H ←arg⁡min⁡H≥0‖X−WH‖F2+α∑n=1N‖H·n‖12+β Tr(HLHT)

(10a)

W ←arg⁡min⁡W≥ 0‖XT−HTWT‖F2

(10b)

Алгоритм 1

Оптимизация с помощью ANLS

Вход: матрица признаков X∈R(M+V)×N⁠, исходная базисная матрица W∈R(M+ V)×K и матрица коэффициентов H∈RK×N⁠, порог допуска ε , максимальный порог итерации T

1: повторение

2:  Получение оптимального H уравнения (109a) путем фиксации0029 W

3:  Obtain optimal W of Equation (10b) by fixing H

4: until A particular stopping criterion involving ε is satisfied or iteration number exceeds T

Output : W , H

Решаем уравнение (10а) по блочному спуску по координатам, то есть делим уравнение (10а) на N подзадач и минимизируем целевую функцию по каждой подзадаче за раз, при этом оставляя остальные фиксированными:

arg⁡min⁡H·n≥0‖X·n−WH·n‖22+α‖H·n‖12+β H·nTLH·n, n=1,⋯,N

=arg⁡min ⁡H·n≥0‖X·n−WH·n‖22+α‖H·n‖12+β H·nT(H·n−2∑n′=1NNn′H·n′old)

= arg⁡min⁡H·n≥0‖X·n−WH·n‖22+α‖H·n‖12+β ‖H·n−∑n′=1NNn′H·n′old‖22 

( 11)

, где матрица H ^old обозначает значение H , полученное на предыдущей итерации. Следуя правилу обновления Якоби, мы объединяем N подзадач в уравнении (11) в матричную форму:

arg⁡min⁡H≥0‖(X01×NβHoldA)−(Wαe1×KβIK)H‖F2

(12)

, где 01×N — N размерный вектор-строка всех 0, e1×K — K размерный вектор-строка всех 1.

2.5 Инициализация

W и H

Обратите внимание, что нам нужно инициализировать W и H в качестве исходных данных не только для алгоритма 1. повышает точность решения, но также способствует быстрой сходимости к лучшим локальным минимумам (Langville и др. , 2006 г.). Мы инициализируем W и H с помощью кластеризации K-средних, а именно, W устанавливается как центр тяжести K-средних X , где каждый столбец W·k соответствует вектору признаков k - й центроид. Между тем, H устанавливается как индикаторная матрица, кодирующая назначение кластера.

Измерение расстояния имеет решающее значение для успеха биннинга. В идеале правильное измерение расстояния демонстрирует более различимую таксономическую разницу. Традиционный подход K-средних использует евклидово расстояние в качестве измерения по умолчанию для количественной оценки близости. Однако, что касается профиля покрытия, Су и др. (2012) показывает, что расстояние L ₁ дает более разумные результаты бинирования, чем евклидовы и основанные на корреляции расстояния. Что касается композиционного профиля, то расстояние L ₁ также демонстрирует превосходство над евклидовым и косинусным расстояниями (Liao et al. , 2014). Поэтому наш метод использует кластеризацию K-средних с расстоянием L ₁ . Как только достигнута предварительная кластеризация K-средних, мы удаляем подозрительные кластеры с небольшим количеством контигов, используя восходящий L-метод (Salvador and Chan, 2004). Сравнение производительности по отношению к L ₁ и Евклидово расстояние приведены в дополнительном материале.

2.6 Настройка параметров

У нас есть два параметра (α,β), которые необходимо настроить в нашем алгоритме. Традиционная стратегия, подобная перекрестной проверке, требует поиска в двумерной сетке значений-кандидатов, что невозможно с точки зрения вычислений в случае больших наборов данных. Вместо этого мы сначала ищем хорошее маргинальное значение α , фиксируя β =   0. После этого выполняется одномерный поиск в диапазоне кандидатов β , сохраняя α фиксированными.

В нашей реализации, когда β   =  0, α аппроксимируется регрессией соответствующих множителей Лагранжа из N задач с ограничениями arg⁡min⁡H·n≥0‖X−WH·n‖F2 с ограничение (‖H·n‖1−1)2=0⁠, где n=1,⋯,N⁠. Полученное α обозначается α∗⁠. Затем мы запускаем алгоритм для каждого кандидата β и фиксированного α=α∗⁠, что приводит к соответствующим результатам биннинга с различным номером кластера. Обратите внимание, что традиционные внутренние индексы достоверности кластера применимы только на основе сценария с фиксированным номером кластера (Wwiie 9).0029 и др. , 2015), такие как сумма квадратов ошибок и индекс Дэвиса-Булдина (Davies and Bouldin, 1979). Чтобы быть конкретным, индексы имеют тенденцию к монотонному увеличению или уменьшению по мере увеличения номера кластера (Liu et al. , 2013). Мы устраняем влияние монотонности, принимая индекс минимизации TSS (Tang-Sun-Sun) (Tang et al. , 2005), то есть мы выбираем кандидата β с минимальным значением TSS, записанным как β∗⁠. Тогда мы можем решить уравнение (9) с использованием (α∗,β∗) в качестве выбранных параметров регуляризации.

2.7 Постобработка

Результирующий биннинг, полученный с помощью Алгоритма 1, может содержать кластеры, тесно перемешанные друг с другом. Поэтому мы определяем разделимую проводимость как эффективное измерение для диагностики близости связи парных кластеров, чтобы определить, следует ли их объединять. А именно, мы рассматриваем каждый кластер как имеющий сферическую сферу с центром в его центроиде. Чтобы быть устойчивым к выбросам, радиус выбирается как третий квартиль среди внутрикластерных расстояний. сепарабельная проводимость между c ₁ -м кластером и c ₂ -м кластером, sep(c1,c2)⁠, определяется как количество контигов из c

1 1 -ое скопление также входит в сферический охват c ₂ -го скопления, разделенного меньшим размером скопления на два. Интуитивно понятно, что разделяемая проводимость использует перекрытие между двумя кластерами. Процедура постобработки работает следующим образом: мы продолжаем выбирать пару кластеров с максимальным числом разделим проводимость и объединяем их до тех пор, пока она не превысит определенный порог. В этом исследовании порог установлен равным 1.

2.8 Наборы данных

Alneberg et al. (2014) смоделировал набор данных «вид» и другой набор данных «штамм». Оба смоделированных набора данных были созданы на основе образцов 16S рРНК, полученных в рамках Проекта микробиома человека (HMP) (Consortium et al. , 2012). Профили относительной численности различных видов/штаммов для моделирования также были основаны на образцах HMP.

Смоделированный набор данных о «видах» состоял из 101 различных видов в 96 образцах. Он был направлен на проверку способности CONCOCT объединять контиги в сложные популяции (Alneberg et al. , 2014). Виды были аппроксимированы OTU из HMP с различиями в последовательностях >3%. Каждый вид гарантированно присутствовал не менее чем в 20 образцах. В общей сложности 37 628 контигов остаются для биннинга после совместной сборки и фильтрации.

Смоделированный набор данных «штамм» предназначен для проверки способности CONCOCT группировать контиги на разных уровнях таксономического разрешения (Alneberg и др. , 2014). Чтобы быть более конкретным, смоделированный набор данных о «штаммах» состоял из 20 различных видов или штаммов одного и того же вида в 64 образцах, включая пять разных штаммов Escherichia coli , пять разных видов Bacteroides , пять разных видов разных Clostridium . родов и пять различных кишечных бактерий. Компании CONCOCT было сложно разделить пять различных штаммов E.coli (Alneberg и др. , 2014). Всего для биннинга после совместной сборки и фильтрации остается 9417 контигов.

В дополнение к двум смоделированным наборам данных мы используем исследование временных рядов 11 образцов фекального микробиома недоношенного ребенка (Sharon et al. , 2013), обозначенное как набор данных «Sharon». Поскольку истинные виды, к которым принадлежат контиги, неизвестны, мы присваиваем метки классов, аннотируя контиги с помощью скрипта TAXAassign (Ijaz and Quince, 2013). В результате 2614 из 5579 контигов однозначно помечены для оценки на видовом уровне. Еще один реальный набор данных включает 264 семпла из консорциума MetaHIT (Qin и др. , 2010) (SRA:ERP000108), тот же набор данных, который используется в MetaBAT (Kang et al. , 2015), обозначенный как набор данных «MetaHIT». В целом 17 136 из 192 673 совместно собранных контигов однозначно помечены на уровне видов для оценки.

2.9 Критерии оценки

Мы используем стандартные меры, включая точность, полноту и ARI, для оценки результатов кластеризации. Их определения даны в дополнительном материале.

3 Результаты

Учитывая одни и те же входные данные, т. е. состав последовательности и охват нескольких образцов, мы показываем эффективность COCACOLA на смоделированных наборах данных «видов» и «штаммов» в сравнении с тремя современными, методологически различными методами. для биннинга контигов: CONCOCT (Alneberg и др. , 2014), GroopM (Imelfort и др. , 2014), MaxBin (Wu и др. , 2015) и MetaBAT (Kang и др. , 2015). Сравнение не включает Canopy (Nielsen et al. , 2014), который основан на объединении групп генов, а не объединении контигов. Кроме того, мы исследуем улучшение производительности COCACOLA после включения двух дополнительных знаний, совместного выравнивания с эталонными геномами и связи между контигами, обеспечиваемыми считываниями с парными концами, а также совокупностью обоих. Результаты показывают, что обе информации способствуют повышению производительности в большинстве случаев. Наконец, мы сообщаем о производительности COCACOLA на двух реальных наборах данных.

3.1 Производительность на смоделированных наборах данных

Несмотря на то, что и COCACOLA, и CONCOCT способны автоматически определять номер OTU, для начала требуется первоначальная оценка номера OTU K . Поскольку номер OTU обычно неизвестен, мы изучаем эффективность бинирования по отношению к значению K , выбранному эмпирически. Всесторонние исследования производительности биннинга для различных K приведены в дополнительном материале.

Мы заметили, что кластеризация K-средних имеет тенденцию генерировать пустые кластеры при больших K . Наша стратегия состоит в том, чтобы увеличивать K до тех пор, пока не останется более K/2 пустых кластеров, и мы выбираем соответствующие K в качестве входных данных. На данном этапе мы больше акцентируем внимание на избыточности номера OTU, чем на точности. Таким образом, мы получаем K  =  192 и K  =  48 в качестве входных данных для смоделированного набора данных «виды» и «штаммы» соответственно.

Для смоделированного набора данных «виды» на рис. 1(a) COCACOLA сравнивается с CONCOCT, GroopM, MaxBin и MetaBAT с точки зрения точности, полноты и ARI. Точность COCACOLA составляет 0,9.978, предполагая, что почти все контиги внутри каждого кластера происходят от одного и того же вида. Для сравнения, точность CONCOCT, GroopM, MaxBin и MetaBAT составляет 0,9343, 0,9324, 0,9973 и 0,9958 соответственно. Отзыв, полученный COCACOLA, составляет 0,9993, что означает, что почти все контиги, происходящие от одного и того же вида, сгруппированы в одни и те же кластеры. Напротив, отзыв CONCOCT, GroopM, MaxBin и MetaBAT составляет 0,996, 0,881, 0,9973 и 0,9174 соответственно. Что касается ARI, COCACOLA достигает 0,997, в то время как CONCOCT, GroopM, MaxBin и MetaBAT получают 0,9296, 0,7922, 0,9961 и 0,9308 соответственно.

Рис. 1.

Открыть в новой вкладкеСкачать слайд

Производительность COCACOLA, CONCOCT, GroopM, MaxBin и MetaBAT как на смоделированных наборах данных ( a и b ), так и на реальных наборах данных ( c и ) (Цветная версия этой фигуры доступна по адресу Bioinformatics онлайн.)

Для смоделированного набора данных «штамм» результаты показаны на рисунке 1 (b). Точность, полнота и ARI COCACOLA достигают 0,9.766, 0,9747 и 0,9512 соответственно. Для сравнения, CONCOCT, GroopM, MaxBin и MetaBAT достигают 0,8733, 0,9525, 0,8151 и 0,8730 с точки зрения точности, 0,9552, 0,7805, 0,9167 и 0,8009 с точки зрения полноты, 0,8809, 0,7529, 0,757 и 0,5858 с точки зрения ARI соответственно.

Мы пришли к выводу, что COCACOLA хорошо справляется с построением видов из очень сложных образцов окружающей среды. Кроме того, COCACOLA хорошо справляется с изменениями уровня деформации, которые не могут быть полностью устранены из-за ограничений сборки (Alneberg 9).0029 и др. , 2014).

3.2 Влияние включения дополнительных знаний на биннинг

Мы исследуем улучшение производительности COCACOLA после включения двух дополнительных знаний, предложенных в разделе «Методы», в частности, совместного выравнивания с референсными геномами и связи между контигами, обеспечиваемыми парными - конец читает. Более того, мы изучаем ансамбль того и другого. Сравнение проводится между результатом биннинга COCACOLA, включающим дополнительные знания, и результатом без него. Сравнение основано на подвыборках смоделированного набора данных о «видах». Мы выбираем подвыборки размером от 10 до 90, с 10 в качестве приращения. Чтобы избежать дублирования вклада конкретной выборки, мы выбираем подвыборки без перекрытия. Следовательно, количество подвыборок равно 9, 4, 3, 2, 1, 1, 1, 1, 1 соответственно. Поскольку вклад дополнительных знаний почти уменьшается, когда размер выборки превышает K  =  30, поэтому мы сосредоточимся на 16 случаях от K  =  10 до K  =  30. матрица симметричных весов Ann′=1, если contig n и contig n' выровнены по одному и тому же виду с помощью скрипта TAXAassign (Ijaz and Quince, 2013). Как показано на рисунке 2(a–c), точность заметно улучшилась в 7 случаях и снизилась в 3 случаях, отзыв заметно улучшился в 11 случаях и немного снизился в 1 случае, ARI заметно улучшился в 10 случаях и снизился. незначительно в 2 случаях.

Рис. 2.

Открыть в новой вкладкеСкачать слайд

Оценка влияния включения двух дополнительных знаний (раздел 2.3) на подвыборки смоделированного набора данных о «видах». Первый вариант — это информация о совместном выравнивании с эталонными геномами, обозначенная ( а – в ). Второй вариант — это соединение парных считываний, обозначенное ( d — f ). Ансамбль обоих изображается как ( g - i )

С точки зрения сцепления мы разрабатываем симметричную взвешенную матрицу Ann' как количество выборок, поддерживающих сцепление, соединяющее контиг n и контиг n ⁠. Как показано на рисунке 2 (d–f), точность заметно улучшилась в семи случаях и снизилась в двух случаях, отзыв заметно улучшился в семи случаях и немного уменьшился в четырех случаях, ARI заметно улучшился в пяти случаях и уменьшился. в трех случаях.

С точки зрения ансамбля совместного выравнивания и сцепления, как показано на рисунке 2(g-i), точность заметно улучшилась в 10 случаях и уменьшилась в 3 случаях, отзыв заметно улучшился в 13 случаях и ни в одном случае снижается, ОРЗ заметно улучшился в 11 случаях и уменьшился в 1 случае.

У нас есть следующие выводы: (i) Когда имеется достаточное количество образцов, вклад дополнительных знаний уменьшается. (ii) Дополнительные знания, такие как информация о согласовании и увязке, в большинстве случаев способствуют повышению общей эффективности. (iii) Ансамбль обеих данных работает более стабильно, чем индивидуальная информация.

3.3 Производительность на реальных наборах данных

Применение COCACOLA к набору данных «Sharon» (рис. 1(c)), при первоначальном выборе K   =  30, точность, полнота и ARI достигают 0,9889, 0,9759 ​​и 0,9670 соответственно. Для сравнения, CONCOCT, GroopM, MaxBin и MetaBAT достигают 0,9801, 0,9820, 0,7077 и 0,9705 с точки зрения точности, 0,9606, 0,9147, 0,9767 и 0,8344 с точки зрения полноты, 0,9600, 0,9126, 0,5639 и 0,8634 с точки зрения ARI соответственно. COCACOLA идентифицирует шесть OTU, соответствующих шести зарегистрированным геномам. Для сравнения, CONCOCT, GroopM, MaxBin и MetaBAT идентифицируют 14, 24, 5 и 11 OTU соответственно.

Далее мы исследуем улучшение производительности COCACOLA после включения дополнительных знаний. Мы используем информацию о связях только потому, что использовать скрипт TAXAassign (Ijaz and Quince, 2013) как для выравнивания, так и для маркировки — циклично. COCACOLA по-прежнему идентифицирует шесть OTU с точностью, отзывом и ARI, достигающими 0,9923, 0,9797 и 0,9743, что немного превосходит случай без дополнительных знаний.

Применение COCACOLA к набору данных «MetaHIT» (рис. 1(d)), при первоначальном выборе K  =  100 точность, полнота и ARI достигают 0,9082, 0,8272 и 0,7717 соответственно. Для сравнения, CONCOCT, GroopM, MaxBin и MetaBAT достигают 0,8933, 0,5247, 0,6655 и 0,5738 с точки зрения точности, 0,7901, 0,6843, 0,8228 и 0,7397 с точки зрения полноты, 0,7518, 0,3757, 0,5866 и 0,1088 с точки зрения ARI соответственно.

Далее мы исследуем улучшение производительности COCACOLA после включения информации о связях. Производительность немного улучшилась по сравнению с 0,9с 082 до 0,9084 по точности, с 0,8272 до 0,8350 по полноте и с 0,7717 до 0,7844 по ARI соответственно.

3.4 Время работы COCACOLA, CONCOCT, GroopM, MaxBin и MetaBAT

COCACOLA использует тот же конвейер синтаксического анализа данных, что и CONCOCT, и отличается только этапом группирования, тогда как GroopM использует собственный рабочий процесс. Разумно сравнить время работы биннинга непосредственно между COCACOLA и CONCOCT. Чтобы представить GroopM в контексте, мы учитываем этапы, связанные с биннингом, и поэтому исключаем этап анализа данных. Что касается MaxBin и MetaBAT, мы просто предварительно вычисляем информацию об изобилии и глубине. MaxBin включает параметр многопоточности, который задается как количество ядер. Все пять методов выполняются на вычислительной платформе с 12 ядрами и 60 ГБ ОЗУ, предоставляемой кластером высокопроизводительных вычислений USC. Сравнение проводится как на смоделированных наборах данных, так и на реальных наборах данных (таблица 1). Мы пришли к выводу, что COCACOLA работает быстрее, чем CONCOCT, GroopM, MaxBin и MetaBAT.

Таблица 1.

Время работы COCACOLA, CONCOCT, GroopM, MaxBin и MetaBAT

Набор данных .

Набор данных .	КОКАКОЛА .		КОНКОКТ .		ГрупМ .		МаксБин .		MetaBAT .
	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .
‘species’	1m41.50s	1×	17m14.71s	10.2×	1h57m28s	69.4×	49m48.52s	29. 4×	4m16.14s	2.5×
'strain'	10.94s	1×	1m10.99s	6.5×	17m00.46s	93.3×	9m54.80s	54.4×	2m31.52s	13.9×
'Sharon'	13.22s	1×	25.11s	1.9×	4m45.85s	21.6×	1 мин 36,09 с	7.3×	24.66s	1.9×
'MetaHIT'	2m39.12s	1×	20m20.90s	7.7×	12m47.68s	4.8×	2h30m52s	КОКАКОЛА .		КОНКОКТ .		ГрупМ .		МаксБин .		MetaBAT .
Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .
'species'	1m41.50s	1×	17m14.71s	10.2×	1h57m28s	69.4×	49m48.52s	29.4×	4m16.14s	2.5×
'strain'	10.94s	1×	1m10.99s	6.5×	17m00.46s	93.3×	9m54.80s	54.4×	2m31.52s	13.9×
'Sharon'	13.22s	1×	25.11s	1.9×	4m45.85s	21.6×	1m36.09s	7.3×	24. 66s	1.9×
'MetaHIT'	2m39.12s	1×	20m20.90s	7.7×	12m47.68s	4.8×	2h30m52s	53.1×	7 мин 25,07 с	2,8×

Открыть в новой вкладке

Таблица 1.

Время работы COCACOLA, CONCOCT, GroopM, MaxBin и MetaBAT

Набор данных .	КОКАКОЛА .		КОНКОКТ .		ГрупМ .		МаксБин .		MetaBAT .
	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .
«виды»	1 м 41,50 с	1×	17m14.71s	10.2×	1h57m28s	69.4×	49m48.52s	29.4×	4m16.14s	2.5×
'strain'	10.94s	1×	1m10.99s	6.5×	17m00.46s	93.3×	9m54.80s	54.4×	2m31.52s	13.9×
'Sharon'	13.22s	1×	25.11s	1.9×	4m45.85s	21.6×	1m36.09s	7.3×	24.66s	1.9×
'MetaHIT'	2m39.12s	1×	20m20.90s	7.7×	12m47.68s	4.8×	2h30m52s	53. 1×	7m25.07s	2.8×

Dataset .	КОКАКОЛА .		КОНКОКТ .		ГрупМ .		МаксБин .		MetaBAT .
	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .	Время .	Ускорение .
'species'	1m41.50s	1×	17m14.71s	10.2×	1h57m28s	69.4×	49m48.52s	29.4×	4m16.14s	2,5×
«деформация»	10,94 с	1×	1 м 10,99 с	6,5×	17m00. 46s	93.3×	9m54.80s	54.4×	2m31.52s	13.9×
'Sharon'	13.22s	1×	25.11s	1.9×	4m45.85s	21.6×	1m36.09s	7.3×	24.66s	1.9×
'MetaHIT'	2m39.12s	1×	20m20.90s	7.7 ×	12 м 47,68 с	4,8×	2 ч 30 м 52 с	53,1×	7 мин 25,07 с	2,8× 902 7 009 2 8 4 9 9 9 2 4 9 Открыть в новой вкладке 4 Обсуждение В этой статье мы разрабатываем общую структуру для группировки метагеномных контигов, используя состав последовательностей и охват нескольких образцов. Наш подход COCACOLA превосходит современные подходы к биннингу CONCOCT (Alneberg et al. , 2014), GroopM (Imelfort и др. , 2014), MaxBin (Wu и др. , 2015) и MetaBAT (Kang и др. , 2015) как на смоделированных, так и на реальных наборах данных. Превосходные характеристики COCACOLA зависят от нескольких аспектов. Во-первых, инициализация играет важную роль в точности бинирования. Во-вторых, COCACOLA использует расстояние L 1 вместо евклидова расстояния для лучшей таксономической идентификации. В-третьих, COCACOLA использует преимущества как жесткой, так и мягкой кластеризации. В частности, мягкая кластеризация (такая как GMM, используемая CONCOCT) позволяет вероятностно назначать контиг нескольким OTU, следовательно, в целом дает более надежные результаты по сравнению с жесткой кластеризацией (такой как разбиение Хафа, используемое в GroopM). Однако в сложных образцах окружающей среды с вариациями уровня деформации соответствующие OTU тесно переплетаются. Тогда как мягкая кластеризация, в свою очередь, еще больше смешивает OTU и, таким образом, ухудшает производительность кластеризации. COCACOLA обеспечивает лучший компромисс между жесткой и мягкой кластеризацией, используя разреженность. Однако мы заметили, что объединение метагеномных контигов остается сложной задачей, когда количество образцов невелико, независимо от использования COCACOLA, CONCOCT, GroopM, MaxBin или MetaBAT. При небольшом количестве метагеномных образцов взаимосвязь между контигами не может быть точно выведена на основе взаимосвязи между профилями численности. Таким образом, будущие исследования должны изучить, как повторно взвесить вклад профилей численности и профилей состава в неконтролируемых (Cai и др. , 2010) или частично контролируемый (Zhao and Liu, 2007) сценарий. Более того, недавние исследования показывают, что евклидово или L 1 расстояние между частотами l -mer не работает так же хорошо, как альтернативные измерения несходства, такие как d2* и d2(shepp) (Wan et al. , 2010). при сравнении последовательности генома. Однако использование таких измерений связано с вычислительными трудностями, что требует дальнейшего изучения. Платформа COCACOLA легко объединяет индивидуальные знания для обеспечения точности бинирования. В нашем исследовании мы исследовали два типа знаний, в частности, совместное выравнивание с эталонными геномами и сцепление контигов, обеспечиваемое считываниями с парными концами. Несмотря на то, что вклад дополнительных знаний уменьшается при наличии достаточного количества выборок, они играют важную роль в результатах бинирования, когда количество выборок невелико. В будущих исследованиях мы намерены изучить более индивидуальные предварительные знания. один из вариантов — использование филогенетической информации в таксономической аннотации (Purdom, 2011). Другой вариант основан на идентификации функциональной аннотации контигов, включая открытые рамки считывания, которые, вероятно, кодируют белки (Ye and Tang, 2009).), или группы генов совместного изобилия (Nielsen et al. , 2014) и т. д. Мы также исследовали ансамбль знаний как о совместном выравнивании, так и о сцеплении, и он показывает более стабильную работу, чем индивидуальная информация. В будущих исследованиях мы стремимся найти оптимальные веса (Tsuda et al. , 2005) вместо одинаковых весов. Благодарности Авторы благодарят анонимных рецензентов за полезные комментарии к этой работе. Исследование частично поддерживается NSF DMS-1518001 и OCE 1136818. Конфликт интересов : не объявлено. Ссылки Albertsen M. и др. ( 2013 ) Последовательности геномов редких некультивируемых бактерий, полученные путем дифференцированного объединения нескольких метагеномов . Нац. Биотехнолог ., 31 , 533 – 538 . Альнеберг J. и др. ( 2014 ) Бинирование метагеномных контигов по покрытию и составу . Нац. Методы , 11 , 1144 – 1146 . Баран Ю. , Гальперин Э. ( 2012 ) Совместный анализ нескольких метагеномных образцов . Вычисл. PLoS. Биол ., 8 , е1002373. Басу С. и др. ( 2008 ). Ограниченная кластеризация: достижения в области алгоритмов, теории и приложений . Серия Data Mining and Knowledge Discovery. Chapman & Hall/CRC Press, Бока-Ратон, Флорида, США . Брейди А. , Зальцберг С.Л. ( 2009 ) Phymm и PhymmBL: метагеномная филогенетическая классификация с интерполированными марковскими моделями . Нац. Методы , 6 , 673 – 676 . Cai D. и др. ( 2010 ). Неконтролируемый выбор признаков для мультикластерных данных. В: Материалы 16-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, Вашингтон, округ Колумбия, США, стр. 333–342. Cai D. и др. ( 2011 ) Факторизация регуляризованной неотрицательной матрицы графа для представления данных . IEEE Trans. Анальный узор. Мах. Интел ., 33 , 1548 – 1560 . Карр Р. и др. ( 2013 ) Реконструкция геномного содержимого таксонов микробиома с помощью дробовой метагеномной деконволюции . Вычисл. PLoS. Биол . , 9 , е1003292. Чаттерджи С. и др. ( 2008 ) Компостная корзина: основанный на составе ДНК алгоритм для сбора экологического дробовика читает . Рез. вычисл. Мол. Биол ., 17 – 28 . Чанг Ф.Р. ( 1997 ). Теория спектральных графов , Vol. 92 . Американское математическое общество . Консорциум HMP . и другие. ( 2012 ) Структура, функции и разнообразие микробиома здорового человека . Природа , 486 , 207 – 214 . Кордуняну А. , Бишоп К.М. ( 2001 ) Выбор вариационной байесовской модели для распределения смесей . В: Искусственный интеллект и статистика 2001 , Ки-Уэст, Флорида, США , стр. 27 – 34 . Дэвис Д.Л. , Боулдин Д.В. ( 1979 ) Мера разделения кластеров . IEEE Trans. Анальный узор. Мах. Интел ., 1 , 224 – 227 . Huson D.H. и др. ( 2007 ) МЕГАН анализ метагеномных данных . Рез. генома ., 17 , 377 – 386 . Иджаз У , Айва С. ( 2013 ). TAXAassign v0.4. https://github.com/umerijaz/taxaassign. Имельфорт М. и др. ( 2014 ) GroopM: автоматизированный инструмент для восстановления популяционных геномов из родственных метагеномов . PeerJ , 2 , e603. Jiang P. и др. ( 2014 ) Кластерный подход к факторизации бинарных матриц с ограничениями . В: Интеллектуальный анализ данных и обнаружение знаний для больших данных , Springer-Verlag, Berlin Heidelberg , стр. 281 – 303 . Кан Д.Д. и др. ( 2015 ) MetaBAT, эффективный инструмент для точной реконструкции отдельных геномов из сложных микробных сообществ . PeerJ , 3 , e1165. Келли Д.Р. , Зальцберг С.Л. ( 2010 ) Кластеризация метагеномных последовательностей с помощью интерполированных марковских моделей . BMC BioInformatics , 11 , 544. KIM J. , Park H. ( 9000 2008 H. ( 9000 2008 888898). Технический отчет GT-CSE-08-01, Технологический институт Джорджии, Атланта, Джорджия, США. Лангвиль А.Н. и др. ( 2006 ) Инициализации для факторизации неотрицательной матрицы. В материалах двенадцатой Международной конференции ACM по обнаружению знаний и интеллектуальному анализу данных (SIGKDD), Филадельфия, Пенсильвания, США, стр. 23–26. Ли Д.Д. , Сын Х.С. ( 1999 ) Изучение частей объектов методом неотрицательной матричной факторизации . . Ляо Р. и др. ( 2014 ) Новый неконтролируемый подход к биннингу метагеномных последовательностей на основе n-грамм и автоматического взвешивания признаков . IEEE/ACM Trans. вычисл. биол. Биоинформ . , 11 , 42 – 54 . Лю Ю. и др. ( 2013 ) Понимание и улучшение внутренних мер проверки кластеризации . IEEE Trans. Cybern ., 43 , 982 – 994 . Mande S.S. и др. ( 2012 ) Классификация метагеномных последовательностей: методы и задачи . Краткая информация. Биоинформ ., 13 , 669 – 681 . McHardy AC и др. ( 2007 ) Точная филогенетическая классификация фрагментов ДНК переменной длины . Нац. Методы , 4 , 63 – 72 . Мохаммед М.Х. и др. ( 2011 ) Алгоритм SPHINX для таксономического бинирования метагеномных последовательностей . Биоинформатика , 27 , 22 – 30 . Нильсен Х. Б. и др. ( 2014 ) Идентификация и сборка геномов и генетических элементов в сложных метагеномных образцах без использования эталонных геномов . Нац. Биотехнолог ., 32 , 822 – 828 . Пурдом Э. ( 2011 ) Анализ матрицы данных и графа: метагеномные данные и филогенетическое дерево . Энн. заявл. Стат ., 2326 – 2358 . Цинь Дж. и др. ( 2010 ) Каталог микробных генов кишечника человека, составленный с помощью метагеномного секвенирования . Природа , 464 , 59 – 65 . Ризенфельд CS и др. ( 2004 ) Метагеномика: геномный анализ микробных сообществ . год. Rev. Genet ., 38 , 525 – 552 . Rosen G.L. и др. ( 2011 ) NBC: веб-сервер инструмента наивной байесовской классификации для таксономической классификации метагеномных прочтений . Биоинформатика , 27 , 127 – 129 . Сальвадор S , Чан P. ( 2004 ). Определение количества кластеров/сегментов в алгоритмах иерархической кластеризации/сегментации. В: Материалы 16-й Международной конференции IEEEE по инструментам с искусственным интеллектом (ICTAI), Бока-Ратон, Флорида, США, стр. 576–584. Шарон I. и др. ( 2013 ) Анализ геномики сообщества временных рядов показывает быстрые изменения в бактериальных видах, штаммах и фагах во время колонизации кишечника младенцев . Геном Res . , 23 , 111 – 120 . Вс К.Ч. и др. ( 2012 ) Влияние нормализации и филогенетической информации на оценку расстояния для метагеномов . IEEE/ACM Trans. вычисл. биол. Биоинформ ., 9 , 619 – 628 . Tang Y. и др. ( 2005 ). Улучшенный индекс проверки для нечеткой кластеризации. В: Американская конференция по контролю, стр. 1120–1125. Цуда К. и др. ( 2005 ) Классификация быстрых белков с несколькими сетями . Биоинформатика , 21 , II59 – II65 . Wan L. и др. ( 2010 ) Сравнение последовательностей без выравнивания (ii): теоретическая мощность статистики сравнения . Дж. Вычисл. Биол ., 17 , 1467 – 1490 . Wiwie C. и др. ( 2015 ) Сравнение эффективности биомедицинских методов кластеризации . Нац. Методы , страница (epub перед печатью). Древесина Д.Е. , Зальцберг С.Л. ( 2014 ) Kraken: сверхбыстрая классификация метагеномных последовательностей с использованием точного выравнивания . Геном Биол ., 15 , Р46. Ву Ю.В. , Е И. ( 2011 ) Новый алгоритм на основе распространенности для объединения метагеномных последовательностей с использованием L-кортежей . Дж. Вычисл. Биол . , 18 , 523 – 534 . Ву Ю.В. и др. ( 2016 ) MaxBin 2.0: автоматизированный алгоритм биннинга для восстановления геномов из нескольких наборов метагеномных данных . Биоинформатика , 32 , 605 – 607 . Ян В. и др. ( 2010 ) Неконтролируемое объединение фрагментов генома из окружающей среды на основе устойчивой к ошибкам селекции l-меров . Биоинформатика BMC , 11 , S5. Е Ю. , Тан Х. ( 2009 ) Подход сборки ORFome к анализу метагеномных последовательностей . Ж. Биоинформ. вычисл. Биол ., 7 , 455 – 471 . Чжао Z. , Лю H. ( 2007 ) Полуконтролируемый выбор признаков с помощью спектрального анализа. В: Труды Международной конференции SIAM по интеллектуальному анализу данных, стр. 641–646. © Автор, 2016 г. Опубликовано Oxford University Press. Все права защищены. Для разрешений, пожалуйста, по электронной почте: journals. [email protected] © The Author, 2016. Опубликовано Oxford University Press. Все права защищены. Для получения разрешений обращайтесь по электронной почте: [email protected] Написание рассказов | English Composition 1 Цели обучения Описать приемы написания эффективных нарративов Написание повествования Какие чувства и мысли вызывает у вас эта цитата Маргарет Мид, когда вы ее читаете? Почему она включает это личное замечание в свое предисловие к 1949 издание Совершеннолетие на Самоа ? Я решил стать антропологом — в мае 1923 года — потому что Франц Боас и Рут Бенедикт представили задачи антропологии как более неотложные, чем любая другая задача, которую может решить исследователь человеческого поведения. Используя даже короткую личную историю, Мид помогает своим читателям понять ее и открыться для ее точки зрения. Ее наставники и учителя внушили ей чувство цели — неотложной, для Мид в мае 1923 — изучать человеческое поведение так, как оно происходит естественным образом в самых разных обществах и культурах. Мы все можем относиться к ощущению стремления к ощущению цели, даже если мы можем не интересоваться конкретно антропологией. Большинство из нас со знанием дела кивнет в ответ на ее решение, потому что мы можем понять ее историю о чувстве в определенный момент времени и под руководством могущественных учителей, чувстве цели и направления. Повествовательное эссе Повествование — это риторический стиль, который в основном просто рассказывает историю. Способность передавать события в четком описательном хронологическом порядке важна во многих областях. Много раз в колледже ваши преподаватели просили вас написать абзацы или целые эссе, используя повествовательный стиль. Рисунок 1 . Вспомните одну из ваших любимых известных историй или сказок. Соответствует ли это последовательности, показанной выше? Большую часть времени на вводных занятиях по письму студенты пишут сочинения-повествования, в которых обсуждаются личные истории; однако в различных дисциплинах вас могут попросить рассказать историю об опыте или событии другого человека. Причина, по которой мы используем повествование, заключается в том, что рассказывание историй является для нас, людей, наиболее естественным способом общения. В отличие от этнографии, это и способ, которым мы находим отношения друг с другом, и способ, которым мы учимся понимать наши различия. Рассказ истории Рассказывая историю, вы хотите выделить самое важное. Подумайте, например, как бы вы отреагировали, если бы ваш друг спросил, что вы делали на прошлых выходных. Если бы вы начали с «Я проснулся в субботу утром, перевернулся, проверил телефон, снова заснул, проснулся, вытащил ноги из-под одеяла, поставил ноги на пол, встал, потянулся…», то ваш друг, возможно, перестанет слушать к тому времени, когда вы доберетесь до действительно хороших вещей. Ваша сфера охвата слишком широка, поэтому вы включаете детали, которые отвлекают или утомляют вашего читателя. Вместо того, чтобы перечислять все детали по порядку, например: Рисунок 2 . История не обязательно должна включать каждую деталь по порядку. … вам следует подумать о сужении сферы охвата, сосредоточившись вместо этого на важных, интересных и уникальных сюжетных точках (событиях), например: Рисунок 3 . Выберите самые интересные и актуальные фрагменты истории, чтобы она оставалась интересной. Вы можете думать об этом как о разнице между серией снимков и рулоном пленки: вместо видео с двадцатью четырьмя кадрами в секунду вся ваша история может состоять из нескольких фотографий, совмещенных вместе. Это может показаться нелогичным, но зачастую мы можем оказать большее влияние, копаясь в нескольких моментах или событиях, а не пытаясь связать каждую идею или событие. Последовательность историй Порядок событий и количество времени, которое вы уделяете каждому событию, соответственно, определяют опыт вашего читателя. Существует бесконечное количество способов, которыми вы можете структурировать свою историю, и форма вашей истории заслуживает тщательного рассмотрения. Хотя традиционные формы повествовательной последовательности — не единственные варианты, давайте рассмотрим несколько проверенных форм, которые может принять ваш сюжет. Вы можете узнать Пирамиду Фрейтага по другим предметам, которые вы посещали: Рисунок 4 . Пирамида Фрейтага показывает традиционную сюжетную линию. Типичные компоненты включают: Экспозиция: Здесь вы устанавливаете сцену, представляете персонажей и готовите читателя к путешествию. Нарастающее действие: В этой части все начинает происходить. Вы (или ваши персонажи) сталкиваетесь с конфликтом, отправляетесь в путешествие, встречаетесь с людьми и т. д. Кульминация: Это пик действия, главное противостояние, центральное событие, к которому строится ваша история. Падение действия: Теперь все начинает сходить на нет. Вы (или ваши персонажи) выходите из кульминации измененными — по крайней мере, вы становитесь мудрее, потому что пережили этот опыт. Решение : Также известное как развязка, именно здесь сводятся все концы с концами. Центральный конфликт был разрешен, и все вернулось на круги своя, но, возможно, немного по-другому. Эта форма повествования, безусловно, знакома. Многие фильмы, телешоу, пьесы, романы и рассказы следуют этому пути. Но не без недостатков. На какие предположения он опирается? Как это может ограничить рассказчика? Иногда писатели хотят начать рассказ там, где начинается рассказ — часто шаги А и Б на диаграмме выше просто задерживают наиболее описательные, активные или значимые части рассказа. По крайней мере, мы должны отметить, что пирамида Фрейтага — не обязательно лучший способ рассказать свою историю, и уж точно не единственный. Еще одна классическая техника повествовательной последовательности известна как in medias res — буквально «в центре событий». Когда вы планируете свой сюжет перед написанием или экспериментируете с ним в процессе наброска и редактирования, вы можете найти этот метод более активным и захватывающим способом начать рассказ. В предыдущем примере сюжет является хронологическим, линейным и непрерывным: история движется плавно от начала до конца без перерывов. В СМИ рез  вместо этого предлагает вам начать свой рассказ с действия, а не с экспозиции, сосредоточившись на захватывающей, образной или важной сцене. Затем вы можете вернуться к более ранней части истории, чтобы заполнить пробелы для вашего читателя. Используя ранее обсуждавшуюся форму графика, вы можете визуализировать ее следующим образом: Рисунок 5 . Истории также могут начинаться посреди действия. Вы можете поэкспериментировать со своей последовательностью различными способами, которые могут включать в себя также изменение области действия: вместо непрерывной истории у вас может быть серия фрагментов с определенным объемом (например, фотографии вместо видео). Вместо хронологического порядка вы можете перемещаться во времени, пространстве или наоборот. Некоторые нарративы полностью отвергают традиционные повествовательные последовательности. Например, посмотрите, как начинается эта история: Погрузившись в свои мысли, я вздрогнул, когда поезд остановился посреди перекрестка. Я был удивлен, потрясен необъявленным и резким рывком машины. Я искал ключи к нашей остановке за окном. Все, что я видел, были голуби, такие же испуганные и невежественные, как я. Использование повествования Вы найдете повествование полезным в эссе, когда хотите, чтобы читатель отождествлял себя с вашей точкой зрения или с точкой зрения одного из ваших персонажей или субъектов. Документальное кино изобилует нарративными примерами: люди рассказывают нам историю происшедшего так, как если бы они были свидетелями, даже если событие произошло за много лет до их рождения. Это эффективная техника, потому что режиссер сплетает для нас историю через каждого рассказчика. Аналогичный подход можно использовать и в письменной форме, излагая факты истории вперемежку с точками зрения от первого лица. Или вы могли бы, как это сделала Мид, предложить вашему читателю взглянуть на свой собственный мыслительный процесс, когда вы пришли к пониманию концепции или события. Сатира может быть особенно эффективной формой повествования, примером чему служат романы Скотный двор и Путешествия Гулливера. Сатира работает, чтобы разоблачить недостатки идеи или общества, рассказывая вымышленную историю о другой социальной группе. Вымышленные персонажи заменяют реальных людей или разыгрывают социальные идеи, обычно политического характера. Рассказы могут быть фактическими или вымышленными, в зависимости от цели автора. Авторы реальных историй пытаются рассказать о событиях так, как они происходили на самом деле, но авторы вымышленных историй могут отходить от реальных людей и событий, потому что намерения писателей не состоят в том, чтобы пересказывать события из реальной жизни. Биографии и мемуары являются примерами реальных историй, тогда как романы и рассказы являются примерами вымышленных историй. И грань между фактом и вымыслом часто намеренно размыта, опять же в зависимости от цели автора. Эссе-повествование Эссе-повествование можно рассматривать как короткий рассказ. Это называется эссе, но многие повествовательные эссе на самом деле представляют собой просто рассказы. Если вы используете повествование в качестве основной стратегии при написании статьи, вы будете использовать что-то вроде следующего формата: Начало Ваше начало повествовательного эссе не обязательно должно быть описанием события, которое вы будете обсуждать, или четкое описание причин, по которым вы его изучаете. Вместо этого попытайтесь зацепить своих читателей и подумать, почему они должны быть заинтересованы. Абзацы повествования Вы разделите событие на более мелкие события и дайте каждому из этих более мелких инцидентов абзац. Это будут простые объяснения того, что и когда произошло, хотя в более сложном эссе вы можете указать причины каждого события и сравнения с другими, более актуальными обстоятельствами. Рассказы историков, свидетелей или идейных лидеров могут быть вплетены в повествование, чтобы усилить точку зрения, которую вы предлагаете, или предложить возможность другой точки зрения, чтобы предоставить объективный отчет. Вы хотите, чтобы каждая часть повествования была интересна читателю, поэтому используйте такие литературные приемы, как интрига, образность, правдоподобие и удивление, возможно, вместе с небольшим количеством юмора, если это уместно, чтобы поддерживать интерес аудитории. Закрытие Вам не нужно сбивать читателя с толку кратким изложением события и причинами его изучения. Вы можете или не можете решить закончить с некоторыми явными идеями о том, какое отношение это событие имеет к читателю и к миру в это время. Контрольный список для описательного эссе: Имейте четкую цель. Расскажите историю ясно. Сделайте повествование интересным. Свяжите его с чем-то большим, чем он сам, явно или тайно. Key Takeaways Каковы основные составляющие повествования? Повествование содержит сюжет, персонажей, конфликт и тему. может быть как реальным, так и вымышленным. следует временной шкале, но не обязательно писать в хронологическом порядке. имеет сильное открытие, чтобы заинтересовать читателя. разрешает конфликт и повторяет тему с заключением. имеет подразумеваемый тезис. НАЧНИТЕ С РАССКАЗА Иногда учащимся проще написать рассказ, а затем вернуться и убедиться, что эссе соответствует правильному формату эссе. После того, как вы закончите свой рассказ, прочитайте его про себя. Есть ли какая-то особая мораль или идея, которую демонстрирует история? Если это так, вы можете решить использовать эту идею в своем тезисе. Например, рассмотрим тему возвращения в школу. Вы можете подойти к этому следующим образом: Напишите историю (это станет вашим основным абзацем) Прочтите вслух и посмотрите, есть ли мораль или основная идея Напишите тезис, основанный на этой идее или морали Продолжайте писать введение После того, как вы записали эту историю, вы читаете абзацы о возвращении в школу и понимаете, насколько высшее образование улучшит ваше финансовое положение. Это позволяет вам создать свой тезис и вернуться к форме введения. В этом случае вы решаете, что ваш тезис звучит так: «После тщательного рассмотрения я решил, что возвращение в школу — это важный шаг к улучшению моего финансового положения». Включите ли вы этот явный тезис в свое повествование или нет, зависит от требований задания и ваших писательских навыков. Часто в повествовательном письме наша цель состоит в том, чтобы показать, а не рассказать читателю суть истории! Ссылка на обучение Здесь вы можете увидеть традиционный или типичный образец рассказа сочинения из начального класса письма. В этом задании учащегося попросили написать краткое повествование о грамотности , повествовательное эссе, в котором основное внимание уделяется опыту автора в чтении и/или письме. В этом повествовательном эссе автор фокусируется на чтении книг и следует принципам MLA. Попробуйте Внесите свой вклад! У вас есть идеи по улучшению этого контента? Мы будем признательны за ваш вклад. Улучшить эту страницуПодробнее Google Ngram Viewer Что делает Ngram Viewer? Когда вы вводите фразы в Google Books Ngram Viewer, он отображает график, показывающий, как эти фразы встречались в корпусе книг (например, «Британский английский», «Английская художественная литература», «Французский») над выбранным годы. Давайте посмотрим на образец графика: Это показывает тенденции в трех ngrams с 1960 по 2015 год: «питомник школа» ( 2-грамм или биграмма ), «детский сад» ( 1-грамм или униграмм ) и "уход за детьми" (другой биграмма). Ось Y показывает следующее: из всех содержащихся биграмм в нашей выборке книг, написанных на английском языке и опубликованных в Соединенных Государства, какой процент из них составляют «детские сады» или «присмотр за детьми»? Какой процент из всех униграмм относится к «детским садам»? Здесь вы можете видеть, что использование фразы «уход за детьми» начало расти. в конце 1960-х, обогнав «детский сад» примерно в 1970-х, а затем "детский сад" примерно в 1973 году. Он достиг своего пика вскоре после 1990 года и был неуклонно падает с тех пор. (Интересно, что результаты заметно отличаются, когда корпус переведен на британский английский.) Вы можете навести курсор на линейный график для ngram, который подсветит его. С щелчок левой кнопкой мыши по линейному графику позволяет сфокусироваться на конкретной энграмме, затемнение других энграмм на диаграмме, если таковые имеются. На последующем слева щелчки по другим линейным графикам на диаграмме, несколько энграмм могут быть сосредоточенным. Вы можете дважды щелкнуть любую область диаграммы, чтобы восстановить все энграммы в запросе. Вы также можете указывать подстановочные знаки в запросах, искать перегибы, выполнять поиск без учета регистра, искать определенные части речи или складывать, вычитать и делить энграммы. Подробнее о тех, кто находится в разделе «Расширенное использование». Расширенное использование Некоторые функции Ngram Viewer могут понравиться пользователям, которые хотят копать немного глубже в использование фразы: поиск по подстановочным знакам , поиск с перегибом , поиск без учета регистра , тегов частей речи и нграм композиции . Поиск по шаблону Когда вы ставите * вместо слова, Ngram Viewer отобразит десять первых замен. Например, чтобы найти самые популярные слова после «Университет», выполните поиск «Университет *». Вы можете щелкнуть правой кнопкой мыши любую из замещающих энграмм, чтобы свернуть их все в исходный запрос с подстановочными знаками, в результате чего будет получена сумма замен за год. Последующий щелчок правой кнопкой мыши расширяет запрос с подстановочными знаками до всех замен. Обратите внимание, что Ngram Viewer поддерживает только один * на ngram. Обратите внимание, что первые десять замен вычисляются для указанного диапазона времени. Поэтому вы можете получить разные замены для разных диапазонов лет. Мы отфильтровали знаки пунктуации из списка первых десяти, но для слов, которые часто начинают или заканчивают предложения, вы можете увидеть один из символов границы предложения (_START_ или _END_) в качестве одной из замен. Поиск флексии Инфекция — это модификация слова для представления различных грамматических категорий, таких как вид, падеж, род, наклонение, число, лицо, время и залог. Вы можете искать их, добавляя _INF к ngram. Например, поиск «book_INF a hotel» отобразит результаты для «book», «booked», «books» и «booking»: Щелчок правой кнопкой мыши по любому изгибу сворачивает все формы в их сумму. Обратите внимание, что Ngram Viewer поддерживает только одно ключевое слово _INF для каждого запроса. Предупреждение: Вы не можете свободно смешивать поиск по подстановочным знакам, перегибы и поиск без учета регистра для одной конкретной энграммы. Однако вы можете искать с помощью любой из этих функций отдельные ngram в запросе: «book_INF a hotel, book * hotel» — это нормально, а «book_INF * hotel» — нет. Поиск без учета регистра По умолчанию Ngram Viewer выполняет с учетом регистра поисковых запросов: использование заглавных букв имеет значение. Вы можете выполнить поиск без учета регистра, установив флажок «без учета регистра» справа от поля запроса. Затем Ngram Viewer отобразит годовую сумму наиболее распространенных вариантов без учета регистра. входного запроса. Вот две нечувствительные к регистру энграммы, "Fitzgerald" и "Dupont": Щелчок правой кнопкой мыши по любой сумме за год приводит к расширению до наиболее распространенных вариантов, нечувствительных к регистру. Например, щелчок правой кнопкой мыши на «Dupont (All)» приводит к появлению следующих четырех вариантов: «DuPont», «Dupont», «duPont» и «DUPONT». Теги части речи Рассмотрим слово браться за , которое может быть глаголом («решать проблема") или существительное ("рыболовная снасть"). Можно различать эти разные формы, добавив _VERB или _NOUN: Полный список тегов выглядит следующим образом: частица _NOUN_ Эти теги могут быть либо отдельными (_PRON_) , либо добавляться к слову (she_PRON) _VERB_ _ADJ_ adjective _ADV_ adverb _PRON_ pronoun _DET_ determiner or article _ADP_ an adposition: either a preposition or a postposition _NUM_ число _CONJ_ соединение _PRT_ 9246622 _ROOT_ корень дерева разбора Эти теги должны быть автономными (например, _START_) _START_ начало предложения _END_ конец предложения вы можете использовать тег DET для поиска прочитать книгу , прочитать книгу , прочитать эту книгу , прочитать эту книгу , и так далее: Если вы хотите узнать, каковы наиболее распространенные определители в этом контексте, вы можете комбинировать подстановочные знаки и теги частей речи для read * _DET book : Чтобы получить все различные варианты словосочетания книга , за которой последовали СУЩЕСТВИТЕЛЬНОЕ в корпусе, вы можете выполнить запрос book_ INF _NOUN_: Наиболее часто встречающиеся теги части речи для слова могут быть получены с помощью функции подстановочных знаков. Рассмотрим запрос cook_* : Ключевое слово склонения также можно комбинировать с тегами части речи. Например, рассмотрим запрос cook _INF, cook _VERB_INF ниже, который отделяет интонации словесного значения слова «готовить»: Средство просмотра Ngram помечает границы предложений, позволяя вам идентифицировать ngrams в начале и конце предложений с помощью тегов START и END: Иногда полезно подумать о словах с точки зрения зависимостей а не узоры. Допустим, вы хотите знать, как часто вкусное модифицирует десертное . То есть вы хотите количество упоминаний о вкусных замороженных десертах , хрустящих, вкусных десерт , вкусный, но дорогой десерт и все остальные случаи, когда слово вкусный применяется к десерт . Для этого Ngram Viewer предоставляет отношения зависимости с оператор =>: Каждое проанализированное предложение имеет _ROOT_. в отличие от других теги, _ROOT_ не обозначает конкретное слово или позицию в предложении. Это корень дерева синтаксического анализа, построенного анализ синтаксиса; вы можете думать об этом как о заполнителе для того, что основной глагол предложения является изменением. Итак, как определить как часто will был главным глаголом предложения: Приведенный выше график включал бы предложение Larry will решать. а не Ларри сказал что он решит , поскольку will не является основным глаголом в этом предложении. Зависимости можно комбинировать с подстановочными знаками. Например, рассмотрим запрос drink=>*_ NOUN ниже: "Чистые" части речи можно свободно смешивать с обычными словами в 1, 2, 3, 4 и 5 граммах (например, тосты _ADJ_ или _DET_ _ADJ_ тост). Композиции Ngram Средство просмотра Ngram предоставляет пять операторов, которые можно использовать для объединения ngrams: +, -, /, * и :. + Суммирует выражения с обеих сторон, позволяя объединить несколько временных рядов ngram в один. - Вычитает выражение справа из выражения слева, давая вам возможность измерить один ngram относительно другого. Поскольку пользователям часто нужно искать фразы, написанные через дефис, ставьте пробелы по обе стороны от знака -. / Делит выражение слева на выражение справа, что полезно для выделения поведения одной энграммы по отношению к другой. * Умножает выражение слева на число справа, что упрощает сравнение энграмм с очень разными частотами. (Обязательно заключайте всю ngram в круглые скобки, чтобы * не интерпретировался как подстановочный знак.) : Применяет ngram слева к корпусу справа, позволяя сравнивать ngram в разных корпусах. . Средство просмотра Ngram попытается угадать, применять ли эти поведение. Вы можете использовать круглые скобки, чтобы принудительно включить их, и возвести в квадрат скобы, чтобы принудительно их снять. Пример: и/или будет разделить и на или ; для измерения использования фраза и/или , используйте [и/или]. И из лучших побуждений будет искать фраза благонамеренная ; если вы хотите вычесть смысл из колодца, использовать (в хорошем смысле). Чтобы продемонстрировать оператор +, вот как можно найти сумму game , sport и play : лет, ты мог сравнить выбор , выбор , вариант , и альтернатива , указав формы существительных, чтобы избежать формы прилагательных (например, выбор лакомства , альтернатива music ): Вычитание Ngram дает вам простой способ сравнить один набор ngram с другим: Вот как вы можете комбинировать + и /, чтобы показать, как слово яблочное пюре расцвело за счет яблочного соуса : Оператор * полезен, когда вы хотите сравнить энграммы с широким диапазоном частот, например скрипка и более эзотерический терменвокс : Оператор выбора :corpus позволяет сравнивать энграммы в разные языки, или американский против британского английского (или художественная литература), или между версиями сканов наших книг 2009, 2012 и 2019 годов. Вот чатов на английском и такая же униграмма на французском: Когда мы создали исходный корпус Ngram Viewer в 2009 году, наш OCR не был так хорош, как сегодня. Особенно это было заметно в английский язык до 19 века, где удлиненная медиальная буква s (ſ) была часто интерпретируется как f , поэтому часто читается лучший как перед . Вот свидетельство улучшений, которые мы сделали с тех пор затем, используя оператор корпуса для сравнения версий 2009, 2012 и 2019 годов: Сравнивая художественную литературу со всем английским, мы видим, что используется из визард вообще английский набирают в последнее время по сравнению с использованием в художественной литературе: Корпуса Ниже приведены описания корпусов, которые можно искать с помощью Средство просмотра Ngram для Google Книг. Все корпуса созданы в июле 2009 г., июль 2012 г. и февраль 2020 г.; мы будем обновлять эти корпуса как нашу книгу сканирование продолжается, и обновленные версии будут иметь четкие постоянные идентификаторы. Книги с низким качеством OCR и сериалы были исключены. Неформальное название корпуса Стенография Постоянный идентификатор Описание Американский английский 2019 eng_us_2019 googlebooks-eng-us-20200217 книг преимущественно на английском языке, изданных в США. Американский английский 2012 eng_us_2012 googlebooks-eng-us-all-20120701 Американский английский 2009 eng_us_2009 googlebooks-eng-us-all-200 Британский английский 2019 eng_ru_2019 googlebooks-eng-gb-20200217 книг преимущественно на английском языке, изданных в Великобритании. Британский английский 2012 eng_gb_2012 googlebooks-eng-gb-all-20120701 Британский английский 2009 г. eng_gb_2009 googlebooks-eng-gb-all-200 Английский 2019 eng_2019 googlebooks-eng-20200217 Книг преимущественно на английском языке, изданных в любой стране. Английский 2012 eng_2012 googlebooks-eng-all-20120701 Английский 2009 eng_2009 googlebooks-eng-all-200 Английская художественная литература 2019 eng_fiction_2019 googlebooks-eng-fiction-20200217 Книги преимущественно на английском языке, которые библиотека или издатель определили как художественную литературу. Английская художественная литература 2012 eng_fiction_2012 googlebooks-eng-fiction-all-20120701 Английская художественная литература 2009 г. eng_fiction_2009 googlebooks-eng-fiction-all-200 Английский Один миллион eng_1m_2009 googlebooks-eng-1M-200 "Гугл Миллион". Все на английском языке с датами от с 1500 по 2008 год. Было отобрано не более 6000 книг из год, что означает, что все отсканированные книги ранних лет настоящее время, а книги более поздних лет выбираются случайным образом. Случайный выборки отражают предметные распределения за год (поэтому есть больше компьютерных книг в 2000 г., чем в 1980 г.). Китайский 2019 chi_sim_2019 гуглбукс-чи-сим-20200217 Книги, написанные преимущественно упрощенным китайским шрифтом. Китайский 2012 chi_sim_2012 гуглбукс-чи-сим-все-20120701 Китайский 2009 chi_sim_2009 googlebooks-chi-sim-all-200 Французский 2019 fre_2019 googlebooks-fre-20200217 Книги преимущественно на французском языке. Французский 2012 fre_2012 googlebooks-fre-all-20120701 Французский 2009 fre_2009 googlebooks-fre-all-200 Немецкий 2019 ger_2019 googlebooks-ger-20200217 Книг преимущественно на немецком языке. Немецкий 2012 ger_2012 googlebooks-ger-all-20120701 Немецкий 2009 г. ger_2009 googlebooks-ger-all-200 Иврит 2019 heb_2019 googlebooks-heb-20200217 Книги преимущественно на иврите. Иврит 2012 heb_2012 googlebooks-heb-all-20120701 Иврит 2009 heb_2009 googlebooks-heb-all-200 Испанский 2019 spa_2019 googlebooks-spa-20200217 Книги преимущественно на испанском языке. Испанский 2012 spa_2012 googlebooks-spa-all-20120701 Испанский 2009 spa_2009 googlebooks-spa-all-200 Русский 2019 рус_2019 googlebooks-rus-20200217 Книг преимущественно на русском языке. Русский 2012 рус_2012 гуглбукс-рус-все-20120701 Русский 2009 rus_2009 googlebooks-rus-all-200 итальянский 2019 ита_2019 googlebooks-ita-20200217 Книги преимущественно на итальянском языке. Итальянский 2012 ита_2012 googlebooks-ita-all-20120701 По сравнению с версиями 2009 г., модели 2012 и 2019 гг.версии имеют больше книг, улучшенное распознавание текста, улучшенная библиотека и издатель метаданные. Версии 2012 и 2019 годов также не образуют энграммы, которые перекрещивают предложения. границы, и формируют ngrams через границы страницы, в отличие от версии 2009 года. В корпусах 2012 и 2019 токенизация также улучшилась с использованием набор правил, придуманных вручную (за исключением китайского, где статистическая система используется для сегментации). В корпусах 2009 г. токенизация основывалась просто на пробелах. Поиск в Google Книгах Под графиком мы показываем «интересные» диапазоны лет для вашего запроса. условия. При нажатии на них ваш запрос будет отправлен непосредственно в Google. Книги. Обратите внимание, что Ngram Viewer чувствителен к регистру, но Google Книги результаты поиска , а не . Эти поиски дадут фразы на языке любого выбранный вами корпус, но результаты возвращаются из полного Google Корпус книг. Поэтому, если вы используете Ngram Viewer для поиска французского фразу во французском корпусе, а затем перейдите в Google Книги, этот поиск будет вестись по той же французской фразе, которая может встречаться в книга преимущественно на другом языке. Часто задаваемые вопросы Почему я не вижу ожидаемых результатов? Возможно по одной из следующих причин: Средство просмотра Ngram чувствительно к регистру. Попробуйте написать запрос с заглавной буквы или установите флажок "без учета регистра". поле справа от окна поиска. Вы ищете в неожиданном корпусе. Например, Франкенштейн не встречается в русских книгах, поэтому, если вы выполните поиск в русском корпусе, вы увидите прямую линию. Вы можете выбрать корпус через раскрывающееся меню под окном поиска или через оператор выбора корпуса, например, Frankenstein:eng_2019.. Ваша фраза содержит запятую, плюс, дефис, звездочку, двоеточие, или косая черта в нем. Они имеют особое значение для Ngram Зритель; см. Расширенное использование. Попробуйте заключить фразу в квадратные скобки (хотя это не поможет с запятыми). Как средство просмотра Ngram обрабатывает пунктуацию? Мы применяем набор правил токенизации, характерных для конкретного язык. В английском языке сокращения становятся двумя словами (они становится биграммой они, мы будем мы буду и так далее). Притяжательный 's также отделяется, но R'n'B остается одним токеном. Отрицания (n't) нормализовано так, что не становится не. На русском, диакритическое ё нормализуется к е и т.д. Такие же правила применяется для разбора как ngrams, введенных пользователями, так и ngrams извлечены из корпусов, а это значит, что если вы ищете ибо не пугайтесь того факта, что Ngram Viewer переписывает его, чтобы этого не делать; это точно изображает обычаи как нет, так и нет в корпусе. Однако это означает, что нет возможности явно искать конкретный формы не могут (или не могут): вы получаете не может и не может и не может все сразу. Как просмотреть примеры использования в контексте? Под диаграммой Ngram Viewer мы предоставляем таблицу предопределенных Поиски в Google Книгах, каждый из которых сужен до определенного диапазона лет. Мы выбрали диапазоны в зависимости от интереса: если ngram имеет огромный пик в определенный год, который появится сам по себе как поиск, с другие поиски, охватывающие более длительные периоды. В отличие от корпуса Ngram Viewer 2019 года, корпус Google Книг не помечены частью речи. Нельзя искать, скажем, форму глагола из приветствие в Google Книгах. Таким образом, любые ngrams с частью речи теги (например, cheer_VERB) исключаются из таблицы Google Поиски книг. В Ngram Viewer есть корпуса 2009, 2012 и 2019 годов, но Google Книги так не работает. Когда вы ищете в Google Книгах, вы поиск всех доступных в настоящее время книг, так что могут быть некоторые различия между тем, что вы видите в Google Книгах, и тем, что вы ожидайте увидеть данную диаграмму Ngram Viewer. Почему в первые годы я вижу больше всплесков и плато? Издание было относительно редким событием в 16 и 17 вв. веков. (Есть издано всего около 500 000 книг на английском языке до 19 века.) Поэтому, если фраза встречается в одной книге в одной году, но не в предыдущие или последующие годы, что создает более высокий шип, чем в последующие годы. Плато обычно представляют собой просто сглаженные шипы. Изменить сглаживание до 0. Что означает "сглаживание"? Часто тенденции становятся более очевидными, когда данные рассматриваются как движущиеся средний. Сглаживание 1 означает, что данные, показанные для 1950 будет среднее значение необработанного счета за 1950 год плюс 1 значение с каждой стороны: («счет за 1949 год» + «счет за 1950 год» + «счет за 1951 год»), деленное на 3. Таким образом, сглаживание 10 означает, что будет усреднено 21 значение: 10 на с обеих сторон плюс целевое значение в центре. На левом и правом краях графика меньше значений. усредненный. При сглаживании 3 самое левое значение (представьте, это 1950 год) будет рассчитываться как ("количество за 1950" + "количество на 1951 год" + "считайте до 19"52" + "счет за 1953"), разделить на 4. Сглаживание, равное 0, означает полное отсутствие сглаживания: только необработанные данные. В наши дни издается гораздо больше книг. Разве это не перекос результаты, достижения? Было бы, если бы мы не нормализовали количество книг, изданных в каждый год. Почему вы показываете плоскую линию 0%, когда я знаю фразу в моем запрос возник хотя бы в одной книге? При большой нагрузке Ngram Viewer иногда возвращает плоская линия; перезагрузите, чтобы подтвердить, что на самом деле нет хитов для фраза. Кроме того, мы учитываем только те энграммы, которые встречаются не менее чем в 40 книги. В противном случае набор данных раздулся бы в размерах, и мы бы не в состоянии предложить их все. Насколько точна маркировка частей речи? Прогнозируются частичные теги и отношения зависимости автоматически. Оценка точности этих прогнозов сложно, но для современного английского языка мы ожидаем точности теги части речи должны быть около 95%, а точность зависимости отношения около 85%. На старом английском тексте и для других языков точность ниже, но, вероятно, выше 90% для тегов части речи и выше 75% для зависимостей. Это предполагает значительное количество ошибки, которые следует учитывать при рисовании выводы. Теги части речи созданы на основе небольшого обучающего набора (просто миллион слов для английского). Это будет иногда недооценивают необычные употребления, такие как зеленый или собака или запишите как глаголы, или спросите как существительное. Дополнительное примечание о китайском языке: до 20 века классический Китайский язык традиционно использовался для всех письменных коммуникация. Классический китайский язык основан на грамматике и словарь древнекитайского языка, а синтаксические аннотации будут поэтому ошибаются чаще, чем правы. Также обратите внимание, что корпуса 2009 года не были частью речи. помечен. Я пишу статью на основе ваших результатов. Как я могу процитировать вашу работу? Если вы собираетесь использовать эти данные для научной публикации, пожалуйста, укажите оригинал статьи: Жан-Батист Мишель*, Юань Куй Шен, Авива Прессер Эйден, Адриан Верес, Мэтью К. Грей, Уильям Брокман, команда Google Книги, Джозеф П. Пикетт, Дейл Хойберг, Дэн Клэнси, Питер Норвиг, Джон Орвант, Стивен Пинкер, Мартин А. Новак и Эрез Либерман Эйден*. Количественный анализ культуры с использованием миллионов оцифрованных Книги . Science (опубликовано в Интернете до печати: 16 декабря 2010 г. ) У нас также есть статья о нашей маркировке частей речи: Юрий Лин, Жан-Батист Мишель, Эрез Либерман Эйден, Джон Орвант, Уильям Брокман, Слав Петров. Синтаксические аннотации для корпуса Ngram Google Книг . Труды 50-го ежегодного собрания Ассоциации компьютерной лингвистики Том 2: Демонстрационные документы (ACL '12) (2012) Могу ли я загрузить ваши данные для проведения собственных экспериментов? Да! Данные ngram доступны для Скачать здесь. Чтобы сделать размеры файлов управляемы, мы сгруппировали их по начальной букве, а затем сгруппированы различные размеры ngram в отдельные файлы. Нграммы внутри каждый файл не отсортирован по алфавиту. Для создания машиночитаемых имен файлов мы транслитерировали ngrams для языков, использующих нелатинское письмо (китайский, иврит, русский) и использовал начальную букву транслитерированного ngram для определить имя файла. Тот же подход был применен к персонажам например ä на немецком языке. Обратите внимание, что транслитерация была используется только для определения имени файла; фактические ngrams закодированы в UTF-8 с использованием алфавита для конкретного языка. Я хочу опубликовать график Ngram в своей книге/журнале/блоге/презентации. Каковы ваши условия лицензирования? Графики и данные Ngram Viewer можно свободно использовать для любых целей, однако мы приветствуем упоминание Google Books Ngram Viewer в качестве источника и включение ссылки на http://books.google.com/ngrams. Наслаждайтесь! Команда Google Ngram Viewer, часть Google Research Изучите основы работы с выражениями для связывания анимации в Adobe After Effects Руководство пользователя Отмена Поиск Руководство пользователя After Effects Бета-версии Обзор программы бета-тестирования Домашняя бета-версия After Effects Функции в бета-версии Панель свойств (бета-версия) Выбираемые слои подложки дорожки (бета-версия) Собственное кодирование H. 264 (бета-версия) Начало работы Начало работы с After Effects Что нового в After Effects Примечания к выпуску | После Эффекты Системные требования After Effects Сочетания клавиш в After Effects Поддерживаемые форматы файлов | После Эффекты Рекомендации по оборудованию After Effects для Apple Silicon Планирование и настройка Настройка и установка Рабочие области Общие элементы пользовательского интерфейса Знакомство с интерфейсом After Effects Рабочие процессы Рабочие пространства, панели и средства просмотра Проекты и композиции Проекты Основы композиции Предварительная компоновка, вложение и предварительный рендеринг Просмотр подробной информации о производительности с помощью Composition Profiler Средство визуализации композиции CINEMA 4D Импорт отснятого материала Подготовка и импорт неподвижных изображений Импорт из After Effects и Adobe Premiere Pro Импорт и интерпретация видео и аудио Подготовка и импорт файлов 3D-изображений Импорт и интерпретация элементов видеоряда Работа с элементами видеоряда Обнаружение точек редактирования с помощью обнаружения редактирования сцены Метаданные XMP Текст и графика Текст Форматирование символов и панель символов Текстовые эффекты Создание и редактирование текстовых слоев Форматирование абзацев и панели «Абзац» Выдавливание текстовых и фигурных слоев Анимированный текст Примеры и ресурсы для текстовой анимации Живые текстовые шаблоны Анимационная графика Работа с шаблонами анимационного дизайна в After Effects Использование выражений для создания раскрывающихся списков в шаблонах анимационного дизайна Работа с основными свойствами для создания шаблонов анимационного дизайна Замена изображений и видео в шаблонах анимационного дизайна и основных свойствах Рисование, рисование и контуры Обзор слоев фигур, контуров и векторной графики Инструменты рисования: Кисть, Штамп и Ластик Ходы в форме конуса Атрибуты фигуры, операции рисования и операции пути для слоев формы Использовать эффект формы Offset Paths для изменения формы Создание фигур Создание масок Удаляйте объекты из видео с помощью панели «Заливка с учетом содержимого» Кисть для ротоскопии и Refine Matte Слои, маркеры и камера Выбор и расположение слоев Режимы наложения и стили слоя 3D-слои Свойства слоя Создание слоев Управление слоями Маркеры слоев и маркеры композиции Камеры, источники света и достопримечательности Анимация, ключевые кадры, отслеживание движения и кеинг Анимация Основы анимации Анимация с помощью инструментов Puppet Управление и анимация контуров и масок фигур Анимация фигур Sketch и Capture с помощью After Effects Различные инструменты для анимации Работа с управляемой данными анимацией Ключевой кадр Интерполяция ключевого кадра Установка, выбор и удаление ключевых кадров Редактирование, перемещение и копирование ключевых кадров Отслеживание движения Отслеживание и стабилизация движения Отслеживание лица Отслеживание маски Артикул маски Скорость Растяжение времени и перераспределение времени Временной код и единицы отображения времени Ключ Ключ Ключевые эффекты Прозрачность и композитинг Обзор композитинга и прозрачности и ресурсы Альфа-каналы и маски Настройка цвета Основы цвета Управление цветом Эффекты цветокоррекции Предустановки эффектов и анимации Обзор предустановок эффектов и анимации Список эффектов Эффекты моделирования Эффекты стилизации Звуковые эффекты Эффекты искажения Перспективные эффекты Канальные эффекты Создание эффектов Эффекты перехода Эффект ремонта рольставней Эффекты размытия и резкости Эффекты 3D-канала Вспомогательные эффекты Матовые эффекты Эффекты шума и зернистости Эффект Upscale с сохранением деталей Устаревшие эффекты Выражения и автоматизация Expression Основы работы с Expression Понимание языка выражений Использование элементов управления выражением Различия в синтаксисе между модулями выражений JavaScript и Legacy ExtendScript Редактирование выражений Ошибки выражения Использование редактора выражений Использование выражений для редактирования и доступа к свойствам текста Ссылка на язык выражений Примеры выражений Автоматика Автоматика Скрипты Иммерсивное видео, виртуальная реальность и 3D Создание сред виртуальной реальности в After Effects Применение иммерсивных видеоэффектов Инструменты для композитинга видео VR/360 Отслеживание движения 3D-камеры Работа в пространстве 3D-дизайна Приспособления для трехмерного преобразования Делайте больше с 3D-анимацией Предварительный просмотр изменений в 3D-проектах в режиме реального времени с помощью Real-Time Engine Добавьте адаптивный дизайн к своей графике  Просмотры и предварительные просмотры Предварительный просмотр Предварительный просмотр видео с помощью Mercury Transmit Изменение и использование представлений Визуализация и экспорт Основы визуализации и экспорта Экспорт проекта After Effects как проекта Adobe Premiere Pro Преобразование фильмов Многокадровый рендеринг Автоматический рендеринг и сетевой рендеринг Рендеринг и экспорт неподвижных изображений и последовательностей неподвижных изображений Использование кодека GoPro CineForm в After Effects Работа с другими приложениями Dynamic Link и After Effects Работа с After Effects и другими приложениями Настройки синхронизации в After Effects библиотек Creative Cloud в After Effects Плагины CINEMA 4D и Cineware Совместная работа: Frame. io и Team Projects Совместная работа в Premiere Pro и After Effects Frame.io Установить и активировать Frame.io Использование Frame.io с Premiere Pro и After Effects Часто задаваемые вопросы Групповые проекты Начало работы с командными проектами Создать командный проект Сотрудничайте с командными проектами Память, хранение, производительность Память и хранение Как After Effects решает проблемы с нехваткой памяти при предварительном просмотре     Повышение производительности Настройки Требования к графическому процессору и драйверу графического процессора для After Effects Узнайте об основах создания выражений и работы с ними. Если вы хотите создать и связать сложные анимации, но хотите избежать создания десятков или сотен ключевых кадров вручную, попробуйте использовать выражения. Выражение — это небольшой фрагмент кода JavaScript, который можно вставлять в анимированные свойства в проектах After Effects и который оценивается как одно значение для одного свойства слоя в определенный момент времени. В отличие от скрипта, который говорит приложению что-то сделать, выражение указывает свойству что-то делать. Например, у вас есть мяч, который движется по экрану слева направо, но вы также хотите, чтобы этот мяч покачивался. Вместо того, чтобы анимировать свойство Position с помощью ключевых кадров, вы можете применить к нему выражение покачивания. Язык выражений основан на стандартном языке JavaScript, но вам не нужно знать JavaScript, чтобы начать работу с выражениями. Вы можете создавать выражения, используя кирку или копируя простые примеры и изменяя их в соответствии с вашими потребностями. Если вы хотите узнать об этом больше, см. раздел Понимание языка выражений. Вот простой пример цикла с выражениями: Прежде чем мы приступим к работе с выражениями, первым шагом будет знакомство с пользовательским интерфейсом. Для начала выполните следующие действия: Создайте композицию и выберите «Слой» > «Создать» > «Сплошной», чтобы создать сплошной слой. На панели «Таймлайн» выберите слой и нажмите S  на клавиатуре, чтобы открыть свойство масштаба. Отсюда начинается ваше путешествие с выражениями. Создадим выражение. На панели временной шкалы нажмите Alt+щелчок (Win) или Opt+щелкните (Mac) секундомер рядом с Положением, чтобы добавить выражение к свойству. After Effects присваивает выражения по умолчанию всем свойствам, которые вы можете изменить позже. Обратите внимание на изменения в пользовательском интерфейсе, произошедшие после создания выражения. Во-первых, значение свойства Масштаб (отображаемое как 100 100) изменяется с синего на красный. Красный цвет указывает на то, что значение имеет активное выражение. Увидите, что слева от секундомера появилась закрутка, щелкните ее, чтобы открыть. Используйте его, чтобы раскрыть само выражение. Первая кнопка выглядит как знак равенства ("=") и включает и выключает выражение. Он отображается синим цветом, когда выражение включено. Вторая кнопка переключает отображение значения выражения во времени в редакторе диаграмм. Третья кнопка с маленькой спиралью — это кнут, который вы можете использовать для построения выражений. Четвертая кнопка открывает меню языка выражений, которое можно использовать для построения выражений. Наконец, справа от четырех кнопок вы можете просмотреть выражение по умолчанию transform.position. Если вы хотите изменить выражение, щелкните текст выражения на временной шкале, чтобы активировать поле редактора выражения. Оно работает так же, как любое текстовое поле; копировать, вставлять, выбирать или перетаскивать текст. Нажатие ввода создает новую строку, и вы можете изменить ее размер. Нажмите на нее и введите нужное выражение, например, wiggle(3,50). Дополнительные сведения см. в разделе Редактирование выражений. Выражения и ключевые кадры После добавления выражения к свойству можно продолжать добавлять или редактировать ключевые кадры для этого свойства. Выражение может принимать значение свойства, определенное его ключевыми кадрами, и использовать его в качестве входных данных для создания новых измененных значений. Например, выражение value+90 для свойства Rotation слоя добавляет 90 градусов к значению свойства Rotation в дополнение к движению по ключевым кадрам: Некоторые методы, такие как покачивания, работают непосредственно с существующим значением свойства. . (См. Атрибуты и методы свойств (справочник по выражениям).)  Выражение wiggle(10, 10) для свойства Position слоя сохраняет движение слоя по ключевым кадрам и заставляет его немного покачиваться. Значения свойства, содержащего выражение, отображаются красным или розовым шрифтом. Хороший способ начать работу с выражениями — создать простое выражение с помощью кирки, а затем настроить поведение выражения с помощью простых математических операций, таких как перечисленные в следующей таблице: Символ Функция Вычесть Разделить Умножить Выполните противоположное исходному, например, против часовой стрелки, а не по часовой стрелке. Например, вы можете удвоить результат, набрав *2 в конце выражения; или вы можете уменьшить результат вдвое, набрав /2 в конце выражения. Разрабатывая выражения для удобного редактирования, вы можете комбинировать эти простые операции и многое другое. Например, вы можете добавить /360*100 в конец выражения, чтобы изменить его диапазон с 0–360 на 0–100. Это изменение было бы полезно, если бы вы хотели преобразовать значения циферблата на 360 градусов в ползунок, измеряемый в процентах. Wiggle Дополнительные примеры см. в разделе Примеры выражений. Редактировать выражение вручную Войдите в режим редактирования текста, щелкнув в поле выражения. При входе в режим редактирования текста весь выражение выбрано. Чтобы добавить к выражению, щелкните внутри выражение для размещения точки вставки; в противном случае вы замените все выражение. Введите и отредактируйте текст в поле выражения, необязательно с помощью меню языка выражений. Чтобы выйти из режима редактирования текста и активировать выражение, выполните одно из следующих действий: Редактор выражений на панели «Таймлайн» Вы можете настроить внешний вид выражений в Редакторе выражений, расположенном на панели «Таймлайн», используя настройки «Сценарии и выражения». Чтобы открыть его, выберите After Effects > «Установки» > «Сценарии и выражения» (Mac) или «Приложение» > «Установки» > . Выражения (Победа). Дополнительные сведения см. в разделе Использование редактора выражений. Посмотрите следующее видео, чтобы начать изучение выражений. Теперь, когда вы поняли некоторые понятия, лежащие в основе выражений, приходите в сообщество, чтобы получить примеры из реальной жизни и поделиться своей работой. Вы также можете ознакомиться с отличной коллекцией примеров выражений и руководств Дэна Эббертса на его веб-сайте MotionScript. Форум AE Enhancers также содержит множество примеров и много информации о выражениях, а также сценариях и наборах настроек анимации. Больше подобных Об анимации, ключевых кадрах и выражениях Редактирование выражений Понимание языка выражений Войдите в свою учетную запись Войти Управление счетом Состав и структура IDoc INVOIC в SAP ERP – ecosio Мотивация для IDoc IDoc — это сокращенная форма Intermediate Document 9.0030 . Как следует из слова промежуточный , это промежуточный формат для обмена данными с системой SAP ERP. С помощью IDoc сторонняя система может экспортировать и импортировать данные из системы SAP ERP и в нее. Эти данные могут поступать из систем, содержащих основные данные, такие как данные дебитора, данные кредитора, основные записи материалов и т. д. Другие примеры включают динамические записи данных, такие как табели учета рабочего времени, заказы или счета-фактуры. Система SAP ERP предоставляет широкий спектр предопределенных базовых типов IDoc, которые можно использовать для обмена данными. Эти предопределенные IDoc могут не полностью удовлетворять всем требованиям, и в этом случае могут быть созданы новые типы IDoc, точно соответствующие конкретным требованиям заказчика. Понимание содержимого IDoc Прежде чем читать содержимое IDoc, необходимо понять его структуру. В отличие от других стандартов на основе XML, например Universal Business Language (UBL), IDocs используют короткие и на первый взгляд непонятные имена элементов. Их невозможно понять без вспомогательного документа, поясняющего, что означают эти аббревиатуры. По мере накопления опыта работы с IDoc сокращенные имена элементов станут более привычными, а их значение будет раскрываться — даже без документации, постоянно имеющейся под рукой. IDoc может существовать в различных формах, но обычно IDoc можно найти как запись базы данных в системе SAP, где используются следующие таблицы: EDIDC , EDID4 , EDIDS . Таблица EDIDC содержит данные управляющей записи, таблица EDID4 для записей данных и таблица EDIDS для записей состояния. Транзакция SE16N может использоваться для более подробного изучения этих таблиц. Однако пользователи обычно используют свои определенные транзакции для просмотра IDoc, например транзакцию BD87. На рисунке ниже показано древовидное представление IDoc INVOIC02 в транзакции BD87. © 2020. SAP SE или аффилированная компания SAP. Все права защищены. Используется с разрешения SAP SE. Как видно в левой части этого изображения, IDocs используют сокращения для наименования каждого элемента, E1EDK01, E1EDKA1 и т. д. Чтобы проверить, что означают эти элементы, необходимо использовать документацию соответствующего базового типа IDoc, которую можно найти в транзакции WE60. В этой предыдущей статье объясняются подробности документации IDoc. Документацию IDoc можно загрузить в виде файла HTML и отобразить в любом веб-браузере. Система SAP ERP всегда экспортирует три типа данных, оканчивающихся на _d, _f и _i. Чтобы получить наилучшее представление данных, мы рекомендуем открывать файл, оканчивающийся на _f, например, INVOIC02_f.htm. Ниже приведена выдержка из HTML-документации для IDoc INVOIC02. © 2020. SAP SE или аффилированная компания SAP. Все права защищены. Используется с разрешения SAP SE. С помощью HTML-документации можно легко расшифровать каждый элемент и определить точную последовательность, в которой находятся элементы. Когда IDoc покидает систему SAP, файл обмена создается с использованием данных в таблицах IDoc. Этот файл обмена поставляется в двух форматах: текстовая версия и версия на основе XML. В современных сценариях интеграции обычно используется только версия на основе XML. Обзор INVOIC02 IDoc XML знает две фундаментальные концепции: схему XML и экземпляр XML. Экземпляр XML — это конкретная форма IDoc, например XML-представление счета-фактуры с номером 4711. Схема XML описывает точную структуру и состав экземпляра XML. Он определяет, какие последовательности элементов и атрибутов разрешены, какие типы данных могут использоваться для некоторых элементов и т. д. На следующем рисунке показан фрагмент композиции XML-схемы INVOIC02. © 2020. SAP SE или аффилированная компания SAP. Все права защищены. Используется с разрешения SAP SE. С помощью схемы XML можно проверить, соответствует ли экземпляр XML требованию соответствия схемы и, таким образом, действителен или нет. Соответствие схеме является обязательным, если счет-фактура INVOIC02 должен обрабатываться с использованием программного обеспечения. INVOIC02 IDoc в деталях INVOIC02 может использоваться в различных модулях SAP, например, на стороне продаж и распределения (для представления счета, который необходимо отправить клиенту) или на стороне управления материалами (для представления счета, полученного от поставщика). ). Счета-фактуры также играют важную роль в финансовом модуле SAP, где происходит фактический учет счетов-фактур. Используя приведенные ниже данные в качестве примера, мы демонстрируем различные элементы IDoc INVOIC02. Структура IDoc INVOIC02 создается ниже центрального корневого узла INVOIC02. Следующий отрывок показывает состав INVOIC02 в более короткой версии. <ИДОК НАЧАЛО="1"> EDI_DC40 ... ЕВРО ... 000010 ... <СУМИД>001 <СУММА>11 ... Полный пример XML доступен по следующей ссылке. Пример не претендует на целостность содержимого, что означает правильность структуры и последовательности элементов и атрибутов. Однако содержимое и значения, такие как суммы, налоги, транспортная информация, являются вымышленными и не демонстрируют постоянной согласованности по всему файлу. Состав IDoc можно разделить на три больших раздела: Контрольная запись Записи данных Записи о состоянии При экспорте IDoc из системы SAP ERP экспортируются только контрольная запись и записи данных. Поскольку запись о состоянии обычно содержит внутреннюю информацию из системы о состоянии обработки, она обычно не экспортируется. Состав древовидной структуры IDoc INVOIC02 выглядит следующим образом: INVOIC02 ИДОК EDI_DC40 — Контрольная запись E1EDK01 — Общие данные заголовка документа E1EDKA1 — информация о партнере в заголовке документа E1EDK02 — Справочные данные заголовка документа E1EDK03 — Сегмент даты заголовка документа E1EDK05 — Условия заголовка документа E1EDK04 — Налоги в заголовке документа E1EDK17 – Заголовок документа Условия поставки E1EDK18 — Заголовок документа Условия платежа E1EDK23 — Сегмент валюты заголовка документа E1EDK28 — Банк данных заголовка документа Э1ЕДК29- Заголовок документа Общие данные внешней торговли E1EDKT1 — Идентификация текста заголовка документа E1EDKT2 — Тексты заголовков документов E1EDK14 — Организационные данные заголовка документа E1EDP01 — Общие данные позиции документа E1EDP02 — Справочные данные элемента документа E1EDP03 — Сегмент даты элемента документа E1EDP19 — Идентификация объекта элемента документа E1EDP26 — Сегмент суммы позиции документа E1EDPA1 — Информация о партнере элемента документа E1EDP05 — Условия позиции документа E1EDP04 — Налоги по позиции документа E1EDP28 — Позиция документа — Общие данные внешней торговли E1EDP08 — Индивидуальные данные пакета E1EDP30 — Позиция документа Присвоение счетов внутрихолдинговому выставлению счетов E1EDPT1 — Идентификация текста элемента документа E1EDPT2 – Тексты элементов документа E1EDS01 – Общая информация по сегменту EDI_DC40 — контрольная запись Управляющая запись EDI_DC40 содержит метаинформацию о самом IDoc (отправитель, получатель, тип IDoc и т. д.) и в основном важна для правильной обработки сообщения IDoc сторонними службами. Используя контрольную запись, сторонние службы, такие как поставщики EDI, могут идентифицировать отправителя и получателя IDoc, точный тип и дату IDoc и т. д. Записи данных После контрольной записи идут записи данных, которые содержат все данные о накладной. Сами записи данных делятся на заголовок и строку. Элементы, которые имеют K в своем имени относятся к данным заголовка, те, у кого P , относятся к данным позиции. Элементы с S относятся к сумме данных. E1EDK01 – общие данные заголовка документа Заголовок счета-фактуры E1EDK01 содержит общие данные счета-фактуры, такие как валюта, номер UID выставителя счета и получателя счета-фактуры, вес и т. д. <СЕГМЕНТ E1EDK01="1"> GBP фунтов стерлингов <ВКУРС>1.00000 0054 <КУНДЕЙНР>GB3 GB3 48343 ИНВО 0130106273 423,472 472,616 КГМ ZLR 0000035703 Л Элемент E1EDK01 может присутствовать в IDoc INVOIC02 только один раз. За элементом E1EDK01 следуют несколько заголовков счета-фактуры типа E1EDKA1, содержащие партнерскую информацию о клиенте, счетоводе, получателе товаров и т. д. Элемент PARVW (функция партнера) идентифицирует тип партнера. <СЕГМЕНТ E1EDKA1="1"> РС 0000035703 Компания John Doe Ltd. Чансери-лейн, 40 Лондон WC2A 1EN ГБ Е Энн Доу 1312 RS , например, обозначает эмитента счета. Полный список разрешенных ролей партнеров можно просмотреть в документации IDoc в транзакции WE60. Элемент E1EDKA1 является необязательным и может встречаться до 99 раз в IDoc INVOIC02. В заголовке E1EDK02 найдены справочные данные счета-фактуры. Чтобы определить тип партнера, необходимо изучить элемент QUALF (справочный документ квалификатора). <СЕГМЕНТ E1EDK02="1"> 009 23 32 201 001 <БЕЛНР>5 323 201 002 2	342 201 В приведенном выше примере имеются ссылки на следующие документы: Номер счета-фактуры (009) Заказ клиента на поставку (001) Номер заказа поставщика (002) Элемент E1EDK02 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. После справочных данных предоставляются другие значения даты с использованием элемента E1EDK03. Элемент IDDAT (сегмент квалификатора даты) позволяет определить, какой тип даты предоставляется. <СЕГМЕНТ E1EDK03="1"> 026 201 001 201 022 <ДАТА>201 Приведенный выше пример содержит следующие значения даты: Дата выставления счетов для индекса счетов и распечатки (026) Дата поставки от поставщика (001) Дата заказа на поставку (022) Элемент E1EDK03 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. Этот элемент перечисляет отдельные типы условий счета-фактуры в зависимости от того, какие записи условий хранятся в счете-фактуре на уровне заголовка в SAP. <СЕГМЕНТ E1EDK05="1"> + Цена нетто <БЕТРГ>5148. 06 0 фунтов стерлингов + ZZDV Стоимость доставки <БЕТРГ>22,85 10 000 AA + в элементе ALCKZ указывает на надбавку, а - на вычет. Остальные элементы следующие: KSCHL – Тип состояния (кодированный) KOTXT — текст условия BETRG – Фиксированная надбавка/скидка на общую сумму брутто KRATE — Запись состояния на единицу KPERC- процентная ставка состояния МВСКЗ - НДС индикатор КОЭИН – Валюта Элемент E1EDK05 является необязательным и может быть найден до 99 раз в IDoc INVOIC02. Информацию о налогах, указанных в счете-фактуре, можно найти в элементе E1EDK04. <СЕГМЕНТ E1EDK04="1"> A1 22 000 1132,57 Аббревиатура НДС MWSKZ означает индикатор НДС. Элемент MSATZ указывает ставку НДС, а MWSBT сумму налога на добавленную стоимость. Элемент E1EDK04 является необязательным и может быть найден до 999 раз в IDoc INVOIC02. Элемент E1EDK17 указывает условия доставки счета-фактуры. <СЕГМЕНТ E1EDK17="1"> 001 ФХ Мисс. Смит Элемент QUALF указывает, является ли это Инкотермс 1 или Инкотермс 2. Код условия поставки можно получить из элемента LKOND, а текст условия поставки — из элемента LKTEXT. Элемент E1EDK17 является необязательным и может встречаться до 10 раз в IDoc INVOIC02. Этот элемент содержит информацию об условиях оплаты счета. <СЕГМЕНТ E1EDK18="1"> 001 14 <ПРЗНТ>2 Платеж через 14 дней В приведенном выше примере счет должен быть оплачен в течение 14 дней без вычетов. Если счет оплачивается сразу, скидка 2% может быть вычтена. Элемент E1EDK18 является необязательным и может встречаться до 10 раз в IDoc INVOIC02. Этот элемент используется для указания информации о валюте счета-фактуры. <СЕГМЕНТ E1EDK23="1"> 001 ЕВРО евро <КУРС>1.00 201 Спецификатор 001 указывает, что упомянутая выше валюта является валютой документа. Элемент E1EDK23 является необязательным и может встречаться до 4 раз в IDoc INVOIC02. Все банковские данные, относящиеся к счету, такие как IBAN, BIC, название банка и т. д., будут указаны в элементе E1EDK28. <СЕГМЕНТ E1EDK28="1"> ГБ Сантандер Банк GB3834 ß5 34 Супермаркет Пенни Прайс Элемент E1EDK28 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. E1EDK29 — Заголовок документа Общие данные внешней торговли Данные по внешней торговле отображаются в элементе E1EDK29 счета-фактуры. <СЕГМЕНТ E1EDK29="1"> 23 823 ГБ 3 5901 фунтов стерлингов ГБ Великобритания ГБ Х Великобритания ГБ ГБ <АЛСРЕ>900 3 Дорожный транспорт Дорожный транспорт В документации IDoc описано, какие значения разрешены в каждом поле. Например, таблица значений для EXNUM — это EIKP, а для ALAND — таблица T005. Транзакция SE16 или SE16N позволяет узнать, каковы значения этой таблицы. Элемент E1EDK29 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. Этот элемент указывает тексты заголовков из документа SAP в IDoc и имеет подэлемент E1EDKT2. Квалификатор TDID указывает, какой тип текста предоставлен. <СЕГМЕНТ E1EDKT1="1"> Z100 Д ГБ Обратите внимание, что период отпуска * во время пасхальных каникул. * Язык текста указан с помощью TSSPRAS и ключа TSSPRAS_ISO. Подэлемент E1EDKT2 используется для фактического текста. Элемент E1EDKT1 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. Подэлемент E1EDKT2 содержит актуальную текстовую информацию в разных текстовых строках. Максимальная длина текстовой строки TDLINE составляет 70 символов, поэтому более длинные тексты делятся на несколько элементов TDLINE. Элемент E1EDKT2 является необязательным и может быть найден до 999 раз в IDoc INVOIC02. Соответствующие данные организации SAP, такие как организация продаж или канал сбыта, содержатся в элементе E1EDK14. Элемент QUALF (определение организации) помогает определить, какой тип данных организации предоставляется. <СЕГМЕНТ E1EDK14="1"> 008 1310 007 01 006 01 В приведенном выше примере показаны следующие данные организации: Торговая организация (008) Канал распределения (007) Отдел (006) Элемент E1EDK14 является необязательным и может встречаться до 10 раз в IDoc INVOIC02. Заголовок заканчивается элементом E1EDK14, и начинаются отдельные позиции счета-фактуры. E1EDP01 — Общие данные позиции документа Этот элемент содержит общие данные отдельных позиций и других подэлементов. Наиболее важными элементами первого уровня являются: <СЕГМЕНТ E1EDP01="1"> 000010 <МЕНГЕ>16.000 PCE 16,720 КГМ 18.064 Загар <ВЕРКС>1016 001 ... Эти элементы имеют следующее значение. POSEX – Артикул. Позиции нумеруются последовательно. Последовательность записей (например, 10 с или 100 с) можно настроить в SAP. В большинстве случаев записи POSEX имеют ведущие нули. МЕНГЕ – Количество МЕНЭЭ – Единица измерения NETGEW – Вес нетто позиции GEWEI – Единица веса BRGEW — Общий вес позиции PSTYV – Тип позиции торгового документа ЗАВОД – Завод Элементы, упомянутые выше, являются лишь частью возможных элементов. В целом, позиция E1EDP01 имеет 52 различных элемента, таких как чистая цена продажи (VPREI), единица цены (PEINH) и т. д. Какой элемент находится в 02, зависит от модуля вывода ABAP в SAP, предопределенной настройки и типа. счета-фактуры. В случае сомнений документация IDoc INVOIC02 помогает определить значение элементов. Элемент E1EDP01 является необязательным и может встречаться до 999999 раз в IDoc INVOIC02. E1EDP02 — Справочные данные элемента документа Этот элемент указывает ссылки на другие позиции и документы, релевантные для данной записи позиции. <СЕГМЕНТ E1EDP02="1"> 001 34934 201 002 <БЕЛНР>23 343 000010 201 В приведенном выше примере предоставляются следующие справочные данные: Заказ клиента на поставку (001) Заказ поставщика (002) Как указано в этих записях, указываются номер документа, дата документа (если есть) и ссылка на соответствующую строку документа. В основном это относится к сводным счетам, поскольку позиции не обязательно относятся к одному и тому же заказу на поставку или документу поставки. Элемент E1EDP02 является необязательным и может встречаться до 25 раз в IDoc INVOIC02. E1EDP03 — Сегмент даты элемента документа Ссылки на дату, которые относятся к записи о положении, предоставляются в элементе E1EDP03. Квалификатор IDDAT позволяет определить, какой тип даты используется. <СЕГМЕНТ E1EDP03="1"> 029 201 001 <ДАТА>201 В этом примере предоставляются следующие значения даты: Дата заказа на продажу (029) Дата поставки поставщика (001) Элемент E1EDP03 является необязательным и может встречаться до 25 раз в IDoc INVOIC02. E1EDP19 — Идентификация объекта элемента документа Элемент E1EDP19 содержит информацию об идентификационных данных выставленного счета-фактуры продукта или услуги, например. артикул, номер GTIN или аналогичный. Опять же, элемент QUALF помогает определить тип используемого идентификационного номера. <СЕГМЕНТ E1EDP19="1"> 001 2133424 002 000000000000067080 Электронный блок 15 кг В приведенном выше примере представлены следующие значения. Номер материала, используемый заказчиком (001) Номер материала, используемый поставщиком (002) Элемент E1EDP03 является необязательным и может встречаться до 10 раз в IDoc INVOIC02. E1EDP26 — Сегмент суммы позиции документа Элемент E1EDP26 содержит информацию о цене на уровне позиции. В зависимости от настройки SAP ERP и активированной схемы расчета предоставляются разные суммы. Это означает, что предоставляется не только расчет брутто (сумма без надбавок и вычетов) и расчет нетто (сумма с надбавками и вычетами), но и все надбавки и вычеты, а также любые промежуточные итоги. Элемент QUALF помогает идентифицировать тип суммы. <СЕГМЕНТ E1EDP26="1"> 004 <БЕТРГ>378,56 003 <БЕТРГ>378,56 В приведенном выше примере представлены следующие суммы: Сумма, на которую можно получить скидку при оплате наличными (004) Чистая стоимость (003) Элемент E1EDP26 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. E1EDPA1 — Информация о партнере элемента документа Этот элемент используется для предоставления информации о партнере на уровне позиции. Эта информация о партнере является дополнением к той, которая находится на уровне заголовка (E1EDKA1). Например, в случае сводного счета-фактуры можно указать другого грузополучателя на уровне позиции. <СЕГМЕНТ E1EDPA1="1"> МЫ 0000037023 Супермаркет Penny Price Манчестер Пенни Лейн, 32 Манчестер M1 1BZ ГБ 032-238 032-232 Е RU Состав этого элемента аналогичен составу элемента E1EDKA1, и квалификаторы, используемые в элементе PARVW, идентичны. Элемент E1EDPA1 является необязательным и может встречаться до 20 раз в IDoc INVOIC02. E1EDP05 — Условия позиции документа Элемент E1EDP05 определяет отдельные записи данных условий, которые важны для определения цены каждой позиции. Состав этого элемента аналогичен элементу E1EDK05, который помогает указывать условия на уровне заголовка. <СЕГМЕНТ E1EDP05="1"> + ZPRB Цена брутто <БЕТРГ>175,35 175,35 1 PCE фунтов стерлингов <КОБАС>1 - ZM00 Базовая сумма скидки <БЕТРГ>78,91 45,00 <КОБАС>175,35 Элемент E1EDPA1 является необязательным и может встречаться до 99 раз в IDoc INVOIC02. E1EDP04 — Налоги по позиции документа Этот элемент используется для указания налогов, соответствующих должности. Его состав аналогичен составу элемента E1EDK04, который указывает налоги на уровне заголовка документа. <СЕГМЕНТ E1EDP04="1"> AA 19.000 18.32 Элемент E1EDP04 является необязательным и может встречаться до 25 раз в IDoc INVOIC02. E1EDP28 — Позиция документа — Общие данные внешней торговли Данные, относящиеся к внешней торговле, указываются в элементе E1EDP28 на уровне позиции. <СЕГМЕНТ E1EDP28="1"> 0002250830 <ЭКСПОЗИЦИЯ>000010 84231010000 10000 11 CN CN Китай Бытовая техника общего назначения PCE 031 20057076 <БРУЛО>18.064 16,720 КГМ 16 000 ГБ 123 Великобритания Экспортировать бесплатно Прямые продажи 10000 PCE 08 Элемент E1EDP28 является необязательным и может встречаться до 9 раз в IDoc INVOIC02. E1EDP08 — Индивидуальные данные пакета Если счет-фактура содержит ссылку на упаковку продукта, информация об упаковке отображается в элементе E1EDP08. Обычно в счетах-фактурах этот элемент отсутствует, так как в большинстве случаев упаковка для счетов-фактур не имеет значения. <СЕГМЕНТ E1EDP08="1"> 1 00000000000536543605 0000026545 PCE 000000000028041353 3115 <АНЗАР>80.000 0080000269 000010 5430.000 4800.000 <ТАРАГ>630.000 ГРМ 0,000 0,000 0,000 0,000 0,000 0,000 СТ DEF2 <ПКНРС>С Элемент E1EDP08 является необязательным и может встречаться до 999999 раз в IDoc INVOIC02. E1EDP30 — Позиция документа Присвоение счетов внутрихолдинговому выставлению счетов Этот элемент отображает важную для учетной записи информацию, такую ​​как центры затрат, номера действий, номера графиков поставок и т. д. 001 <ИВКОН>23 34 Элемент E1EDP30 не является обязательным и может быть найден до 99 раз в IDoc INVOIC02. E1EDPT1 — Идентификация текста элемента документа Подобно тексту, указанному на уровне заголовка с элементами E1EDKT1 и E1EDKT2, E1EDPT1 и E1EDPT2 могут использоваться для отображения текста на уровне элемента. <СЕГМЕНТ E1EDPT1="1"> ZM02 ГБ ГБ Внешняя спецификация-: * 086 LC1-MD393 * Элемент E1EDPT1 является необязательным и может встречаться до 99 раз в IDoc INVOIC02. E1EDPT2 — Тексты элементов документа Этот элемент предоставляет актуальную текстовую информацию. Текстовые строки ограничены 70 символами — более длинные тексты можно разделить на разные элементы E1EDPT2. Элемент E1EDPT2 является необязательным и может встречаться до 999 раз в IDoc INVOIC02. E1EDS01 — Общий сводной сегмент Этот элемент предоставляет информацию об общей сумме счета-фактуры, такую ​​как вся чистая сумма, вся валовая сумма, сумма налога и т. д. Квалификатор SUMID идентифицирует тип суммы. <СЕГМЕНТ E1EDS01="1"> <СУМИД>005 <СУММА>1132,57 евро <СУМИД>011 <СУММА>6280,63 евро В приведенном выше примере предоставляются следующие типы сумм: Сумма налога с продаж (005) Сумма счета (011) Элемент E1EDS01 является необязательным и может встречаться до 30 раз в IDoc INVOIC02. Есть вопросы? У вас есть вопросы об IDoc или э-счетах в SAP? Не стесняйтесь обращаться к нам, мы будем рады помочь вам! Знаете ли вы о нашем бесплатном средстве проверки документов XML/Peppol? Чтобы помочь тем, кому нужен простой и удобный способ проверки форматов и типов файлов, от CII (межотраслевой счет-фактура) до UBL, мы создали бесплатный онлайн-валидатор. Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт