Классификация текста с помощью AWS Textract

История оптического распознавания символов

Давайте сделаем шаг назад и кратко обсудим, что такое оптическое распознавание символов (OCR), чтобы мы могли понять влияние AWS Textract. Начиная с конца 1800-х и до начала 1900-х годов самые ранние концепции OCR разрабатывались, чтобы помочь слепым читать. Во время Второй мировой войны и в период холодной войны инструменты OCR использовались для преобразования азбуки Морзе в текст. С течением времени и технологий OCR стали использовать для оцифровки купонов и почтовых адресов. Возможности OCR выросли в геометрической прогрессии с появлением микропроцессора, что привело к появлению дополнительных возможностей, таких как сканеры ценников, сканеры паспортов и возможность сканирования исторически написанных от руки учебников в целях сохранения. В настоящее время OCR используется почти во всех отраслях, включая автоматические камеры, которые считывают ваш номерной знак, когда вы едете на красный свет, сканируют чек с помощью телефона, чтобы внести его в режиме реального времени, или даже Google Translate, когда вы находитесь в другой стране и нужен быстрый перевод меню или вывески!

Как работает OCR?

Предположим, мы читаем новую книгу. Подумайте о том, как наши глаза отличают фон от фактического текста. Мы определяем форму каждой буквы и каждого слова, чтобы составлять предложения, если они разборчивы. Мы распознаем слова и предложения на страницах независимо от типа печати, например курсив, блочный шрифт, шрифт, курсив или шрифт. Наш мозг устроен так, чтобы распознавать символы. Компьютеры, однако, должны быть проинструктированы о том, как читать таким же образом. Вспомните букву «А». Каждый из нас немного по-своему думает о том, как образуется буква «А», но допустимы все версии. Компьютер должен понимать, что каждая из этих форм эквивалентна букве «А» в зависимости от ориентации пикселей в слове, предложении и документе.

Предположим, у нас есть цифровая форма, которую нам отправляет компания. Предположим, этот документ построен таким образом, что первая колонка — это название проекта, вторая колонка — описание, а третья — сумма выручки. Один из способов использования OCR — заставить компьютер «смотреть» определенные блоки. Затем мы можем заставить компьютер наивно просматривать эти блоки и делать выводы, основываясь на том, какой текст содержится в каждом блоке.

Возможности AWS Textract

Amazon Textract — это предварительно обученная модель машинного обучения, поэтому вам, пользователю, не нужно заново изобретать процесс распознавания текста для каждого клиента или варианта использования. Textract был обучен работе с миллионами документов из широкого спектра различных типов документов, таких как квитанции, заказы на продажу, налоговые формы, страховые документы или формы банковских кредитов. AWS Texttract быстро и точно извлекает данные из этих отсканированных форм и документов. Textract автоматически определяет макет документа и ключевые элементы на странице, понимает отношения данных во всех встроенных формах или таблицах и извлекает все с неповрежденным контекстом. Затем пользователь может мгновенно использовать извлеченные данные в приложении или сохранить данные в базе данных.

Рис. 2. В этом процессе описываются шаги, выполняемые AWS Textract при загрузке документа в AWS Textract

Ниже перечислены четыре функции сервиса AWS Textract, которые можно использовать для оценки и понимания процесса Textract. и вывод.

1. Извлечение пар «ключ-значение» : Amazon Textract позволяет автоматически обнаруживать пары «ключ-значение» в изображениях документов, чтобы сохранить неотъемлемый контекст документа без ручного вмешательства. Это позволяет легко импортировать извлеченные данные в любой желаемый формат.
2. Граничные рамки : Все извлеченные данные возвращаются с координатами ограничивающей рамки. Координаты составляют многоугольную рамку, которая охватывает каждую часть идентифицированных данных, например, отдельное слово, строку или таблицу. Это помогает проверить, где находится слово или число в исходном документе. Это также помогает пользователю ориентироваться в системах поиска документов, которые возвращают отсканированные оригиналы документов в качестве результата поиска.
3. Извлечение таблицы : Amazon Textract сохраняет состав данных, хранящихся в таблицах, во время извлечения. Это полезно для документов, которые в основном состоят из структурированных данных, таких как медицинские записи, в которых имена столбцов находятся в верхней строке таблицы, за которыми следуют строки отдельных записей.
4. Показатели достоверности: Когда информация извлекается из документов, Amazon Textract возвращает показатели достоверности для каждого идентифицированного слова, фразы или таблицы, чтобы вы могли принять обоснованное решение о том, какие шаги вы, пользователь, хотите предпринять дальше.

Рис. 3. На этом изображении показан пример консоли AWS Textract

На рис. 3 показан пример консоли AWS Texttract; кнопка «загрузить документ» позволяет пользователям использовать проводник для загрузки изображения со своего локального компьютера для анализа в Textract. Texttract использует обработку естественного языка (NLP) для извлечения полей и текста из предоставленного документа. Пользователь также может использовать Textract API через Boto3 для загрузки документов. Несмотря на это, AWS Textract предоставляет отформатированные результаты (необработанный текст, формы или таблицы) и позволяет пользователю просматривать результаты анализа. Результаты предоставляют пользователю оценки достоверности, ограничивающие рамки и текст со связанными полями

AWS Textract недавно выпустила новую функцию, позволяющую читать рукописные отсканированные документы. Чтение рукописных документов является гораздо более сложной проблемой, чем чтение документов, напечатанных в цифровом виде. Для документов, напечатанных в цифровом виде, алгоритмы НЛП, лежащие в основе Textract, рассматривают различные типы шрифтов и сопоставляют тип шрифта для анализа информации из документа. Однако при анализе рукописных документов это уже не так. Каждый человек пишет уникальным способом, который зависит от внешних факторов (например, стресса, срочности или используемого устройства). Textract попытается сопоставить шрифты, однако теперь каждую букву или слово необходимо сопоставлять с типом шрифта, а не устанавливать его один раз для документа, напечатанного цифровым способом.

Требования AWS Textract

• Используйте Textract через консоль или через API через документацию Textract Boto3
• Textract может читать JPEG, PNG размером до 10 МБ и PDF размером до 500 МБ в документах типа
• PDF-файлы не могут иметь более 3000 страниц высотой 40 дюймов и шириной 2880
• PDF-файлы не могут быть защищены паролем
• PDF-файлы не могут содержать изображения в формате JPEG 2000, поскольку Textract не может читать изображения JPEG 2000
• Textract может читать любой документ, который был повернут, но не поддерживает вертикальное выравнивание текста внутри документа undefined
• Textract теперь поддерживает как рукописные, так и цифровые печатные символы

Варианты использования AWS Textract

Давайте рассмотрим несколько примеров AWS Textract в действии, чтобы дополнительно определить области, в которых программное обеспечение может помочь вашему бизнесу.

Рис. 4. На этом изображении показан образец банковской выписки, загружаемый в AWS Textract, и выходные данные, которые получает пользователь

В левой части рисунка 4 находится исходное загруженное изображение транзакций с Первым банком Wiki. В правой части рисунка 4 представлены извлеченные и отформатированные значения из Texttract. Каждая ячейка из банковской выписки была преобразована в табличный формат. AWS Textract преобразует неструктурированную банковскую выписку в полуструктурированные данные для загрузки в виде файла .csv или последующего анализа в AWS SageMaker.

Рис. 5. На этом изображении показан документ со встроенной в него формой и показано, как Textract интуитивно анализирует форму для пользователя

На рис. 5 показан пример цифровой формы, проанализированной AWS Textract. AWS Texttract разделил информацию из формы и отобразил данные в различных удобных для пользователя форматах. Пользователь может извлечь эту информацию в формате . csv или переместить извлеченные данные в AWS S3 или AWS SageMaker, чтобы получить дополнительную информацию, которая может помочь вашему бизнесу.

Превращение текста в стратегию

Специалисты Baker Tilly Digital помогут разобраться в тонкостях AWS Textract. Baker Tilly Digital готова помочь вашему бизнесу определить, сможете ли вы оптимизировать свои данные с помощью Textract, сохраняя при этом будущую бизнес-цель во главе каждого решения.

Источники:

• Как заполнить форму I-9 за 5 шагов [+Примеры]
• Выписка из банка (Рисунок 4)
• Примеры заполненных форм (Рисунок 5)
• Amazon Textract
• Функции Amazon Textract

regex101: Библиотека регулярных выражений назад

pcre2

Совпадение без кавычек

Соответствует чему-то, НЕ заключенному в одинарные или двойные кавычки, за исключением экранированных кавычек. | ввод | соответствие? | Почему? | |—————|——————— ————————————————————| | тест | ДА. ..

Представлено JagProg5 — 13 часов назад

PCRE2

搜索 第一 个 括号

\ (#.*? \)

Представлено Майклом — день назад

PCRE2

Регулярное выражение -time проверяет формат времени 12-часовых часов следующим образом: час находится в диапазоне от 1 до 12 без ведущего нуля, за которым следует двоеточие, затем минуты от 00 до 59, затем необязательный пробел, а затем AM или PM, в верхнем или нижнем регистре

Прислал Ahmed Ibrahim — 2 дня назад

pcre2

get-time

Регулярное выражение get-time проверяет формат времени 12-часового формата следующим образом: час находится в диапазоне от 1 до 12 без начального нуля, за которым следует двоеточие, затем минуты между 00 и 59, затем необязательный пробел, а затем AM или PM, в верхнем или нижнем регистре

Прислано анонимно — 2 дня назад

pcre2

идентификатор сообщения

извлекает идентификаторы из слагов с префиксом id

Отправлено Бен — 2 дня назад

pcre2

Удалить все пробелы

Удалить все пробелы. Примечание. Используйте параметр /g для проверки всех строк.

Прислал davidgaroro — 2 дня назад

pcre2

Удалить языковые окончания (от en-XX до en)

Удалить языковые окончания (от en-XX до en) Примечание. Используйте параметр /g для проверки всех локалей.

Прислал davidgaroro — 2 дня назад

dotnet

Task6.2

Номер телефона регулярное выражение

Прислал аноним — 2 дня назад

dotnet

Task6.1

Simple Mail Regex

, представленная Anonymous — 2 дня назад

PCRE2

匹配 个 引用 格式

匹配 多 个 格式

Представлено Anonynys — 2 дня назад

PCRE

40004. Переключение элементов в базе данных

Это из «Изучения редактора Vi», глава 6, стр. 96

Прислано анонимно — 3 дня назад

dotnet

Имена из списка Википедии

Соответствует всем именам в списке Википедии, кроме имена с суффиксами (например, Jr., III, PhD и т.