Не забывайте, что каждая книга на нашем веб-сайте доступна с бесплатной доставкой по всему миру, минимальная сумма оплаты не требуется.

Извините, в настоящее время это недоступно

Книга может отображаться как «Нет в наличии» по ряду причин. Возможно, это действительно популярное издание, и мы просто ждем, пока издатель напечатает и предоставит больше экземпляров. Иногда бывает так, что книга больше не издается.

Если вы хотите, чтобы мы отправили вам электронное письмо, если / когда эта книга снова появится в наличии, закройте это окно и нажмите кнопку «Уведомить меня».

Узнать больше

Навигация по сайту

• Fiction

• Non-Fiction

• Children’s & Young Adult

• Education

• About Us

• My Wishlist

К сожалению, некоторые книги сейчас недоступны

Книга может отображаться как «Нет в наличии» по ряду причин. Возможно, это действительно популярное издание, и мы просто ждем, пока издатель напечатает и предоставит больше экземпляров. Иногда бывает так, что книга больше не издается.

Если вы хотите, чтобы мы отправили вам электронное письмо, если / когда эта книга снова появится в наличии, закройте это окно и нажмите кнопку «Уведомить меня».

Узнать больше

Добавление языковых анализаторов в строковые поля — Когнитивный поиск Azure

• Статья
• 24.06.2022
• 4 минуты на чтение

Анализатор языка — это специальный тип анализатора текста, который выполняет лексический анализ с использованием лингвистических правил целевого языка. Каждое строковое поле, доступное для поиска, имеет анализатор свойство. Если ваш контент состоит из переведенных строк, например отдельных полей для английского и китайского текста, вы можете указать языковые анализаторы для каждого поля, чтобы получить доступ к богатым лингвистическим возможностям этих анализаторов.

Когда использовать анализатор языка

Вам следует рассмотреть возможность использования анализатора языка, когда знание структуры слова или предложения повышает ценность разбора текста. Распространенным примером является ассоциация неправильных форм глаголов («принеси» и «принесла») или существительных во множественном числе («мыши» и «мышь»). Без лингвистического понимания эти строки анализируются только по физическим характеристикам, что не позволяет уловить связь. , Так как большие фрагменты текста, скорее всего, будут иметь такое содержание, поля, состоящие из описаний, обзоров или резюме, являются хорошими кандидатами для языкового анализатора.

Также следует использовать языковые анализаторы, если содержимое состоит из строк на незападном языке. Хотя анализатор по умолчанию (Standard Lucene) не зависит от языка, концепция использования пробелов и специальных символов (дефисов и косых черт) для разделения строк больше применима к западным языкам, чем к незападным.

Например, в китайском, японском, корейском (CJK) и других азиатских языках пробел не обязательно является разделителем слов. Рассмотрим следующую японскую строку. Поскольку в нем нет пробелов, анализатор, не зависящий от языка, скорее всего, проанализирует всю строку как один токен, хотя на самом деле строка является фразой.

 これは私たちの銀河系の中ではもっとも重く明るいクラスの球状星団です。
(Это самая тяжелая и яркая группа сферических звезд в нашей галактике.)
 

В приведенном выше примере успешный запрос должен включать полный маркер или частичный маркер с подстановочным знаком суффикса, что приводит к неестественным и ограничивающим возможностям поиска.

Удобнее искать отдельные слова: 明るい (Яркий), 私たちの (Наш), 銀河系 (Галактика). Использование одного из японских анализаторов, доступных в Когнитивном поиске, с большей вероятностью разблокирует это поведение, потому что эти анализаторы лучше оснащены для разбиения фрагмента текста на значимые слова на целевом языке.

Сравнение Lucene и анализаторов Microsoft

Когнитивный поиск Azure поддерживает 35 языковых анализаторов, поддерживаемых Lucene, и 50 языковых анализаторов, поддерживаемых проприетарной технологией обработки естественного языка Microsoft, используемой в Office и Bing.

Некоторые разработчики могут предпочесть более знакомое, простое решение Lucene с открытым исходным кодом. Анализаторы языка Lucene работают быстрее, но анализаторы Microsoft обладают расширенными возможностями, такими как лемматизация, разложение слов (в таких языках, как немецкий, датский, голландский, шведский, норвежский, эстонский, финский, венгерский, словацкий) и распознавание сущностей (URL-адреса, электронные письма, даты, числа). Если возможно, вам следует провести сравнение анализаторов Microsoft и Lucene, чтобы решить, какой из них лучше подходит. Вы можете использовать Analyze API, чтобы увидеть токены, сгенерированные из заданного текста с помощью определенного анализатора.

Индексирование с помощью анализаторов Microsoft в среднем в два-три раза медленнее, чем их эквиваленты Lucene, в зависимости от языка. Производительность поиска не должна существенно снижаться для запросов среднего размера.

Анализаторы английского языка

Анализатор по умолчанию — Standard Lucene, который хорошо работает с английским языком, но, возможно, не так хорошо, как анализатор английского языка Lucene или анализатор английского языка Microsoft.

• Английский анализатор Lucene расширяет стандартный анализатор. Он удаляет из слов притяжательные формы (завершающие ‘s), применяет определение корня в соответствии с алгоритмом выделения корня Портера и удаляет английские стоп-слова.

• Анализатор английского языка Microsoft выполняет лемматизацию вместо поиска корней. Это означает, что он может намного лучше обрабатывать флективные и неправильные формы слов, что приводит к более релевантным результатам поиска.

Как указать анализатор языка

Установить анализатор во время создания индекса до его загрузки данными.

1. В определении поля убедитесь, что поле атрибутировано как «доступное для поиска» и имеет тип Edm.String.

2. Задайте для свойства «analyzer» один из языковых анализаторов из списка поддерживаемых анализаторов.

   Свойство «анализатор» — это единственное свойство, которое принимает анализатор языка, и оно используется как для индексации, так и для запросов. Другие свойства, связанные с анализатором («searchAnalyzer» и «indexAnalyzer»), не будут принимать языковой анализатор.

Анализаторы языка не могут быть настроены. Если анализатор не соответствует вашим требованиям, создайте собственный анализатор с помощью microsoft_language_tokenizer или microsoft_language_stemming_tokenizer, а затем добавьте фильтры для обработки до и после токенизации.

Следующий пример иллюстрирует спецификацию анализатора языка в индексе:

 {
  "name": "отели-пример-индекса",
  "поля": [
    {
      "имя": "Описание",
      "тип": "Эдм.Строка",
      «извлекаемый»: правда,
      "доступный для поиска": правда,
      "анализатор": "ru.microsoft",
      "indexAnalyzer": ноль,
      «Анализатор поиска»: ноль
    },
    {
      "имя": "Описание_fr",
      "тип": "Эдм.Строка",
      «извлекаемый»: правда,
      "доступный для поиска": правда,
      "анализатор": "fr.microsoft",
      "indexAnalyzer": ноль,
      «Анализатор поиска»: ноль
    },
 

Дополнительные сведения о создании индекса и настройке свойств поля см. в разделе Создание индекса (REST). Дополнительные сведения об анализе текста см. в разделе Анализаторы в Azure Cognitive Search.

Поддерживаемые языковые анализаторы

Ниже приведен список поддерживаемых языков с именами анализаторов Lucene и Microsoft.

Язык	Имя анализатора Майкрософт	Анализатор Lucene Название
Арабский	ар.Microsoft	ар.люцен
Армянский		хайлюцен
Бангла	млрд. Майкрософт
Басков		эу.люцен
Болгарский	бг.микрософт	бг.люцен
каталонский	ок. Майкрософт	ка.люцен
Упрощенный китайский	ж-ханс.микрософт	ж-ханс.люцен
Китайский традиционный	ж-Хант.Microsoft	ж-хант. люцен
Хорватский	ч. Майкрософт
Чехия	CS.Майкрософт	кс.люцен
Датский	да.Майкрософт	da.lucene
Голландский	нл.майкрософт	нл.люцен
Английский	en.Microsoft	эн.люцен
Эстонский	и др. Майкрософт
Финский	фи.микрософт	фи.люцен
Французский	от Microsoft	фр.люцен
Галисийский		гл.люцен
немецкий	de.Microsoft	де.люцен
Греческий	эл. майкрософт	эл.люцен
Гуджарати	гу.микрософт
Иврит	он.микрософт
Хинди	привет. Майкрософт	хай.люцен
Венгерский	ху.микрософт	hu.lucene
Исландский	is.Microsoft
Индонезийский (бахаса)	ID.Майкрософт	ид. люцен
Ирландский		га.люцен
итальянский	ит.микрософт	ит.люцен
Японский	ja.Microsoft	я.люсен
Каннада	кн.Microsoft
Корейский	ко.Microsoft	ко.люцен
Латвийский	ур. Майкрософт	лв. люцен
Литовский	лт. майкрософт
малаялам	мл.Microsoft
малайский (латиница)	мс.микрософт
маратхи	мистер майкрософт
Норвежский	номер майкрософт	№ люцен
персидский		фа. люцен
польский	пл.Microsoft	пл. люцен
Португальский (Бразилия)	пт-Br.Microsoft	pt-Br.lucene
Португальский (Португалия)	pt-Pt.Microsoft	pt-Pt.lucene
Пенджаби	pa.Майкрософт
Румынский	ro.Microsoft	ро.люцен
Русский	ru.микрософт	ru.lucene
Сербский (кириллица)	ср-кириллица.микрософт
Сербский (латиница)	ср-латин.Microsoft
Словацкий	ск.микрософт
Словенский	сл.микрософт
Испанский	es.Microsoft	эс.люцен
Шведский	св.микрософт	св.люцен
Тамильский	та. Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт