Измерение композиционного обобщения — блог Google AI

Автор: Марк ван Зи, инженер-программист, Google Research

Люди способны изучать значение нового слова, а затем применять его в других языковых контекстах. Как выразились Лейк и Барони: «Как только человек узнаёт значение нового глагола «dax», он или она может сразу же понять значение «dax дважды» и «sing and dax»». Точно так же можно выучить новую форму объекта, а затем распознать ее с различными сочетаниями ранее изученных цветов или материалов (например, в наборе данных CLEVR). Это происходит потому, что люди демонстрируют способность понимать и создавать потенциально бесконечное количество новых комбинаций известных компонентов, или, как сказал Хомский, «бесконечно использовать конечные средства». В контексте обучения модели машинного обучения на наборе обучающих примеров этот навык называется 9.0005 композиционное обобщение.

Обычный подход к измерению композиционного обобщения в системах машинного обучения (ML) заключается в разделении данных обучения и тестирования на основе свойств, которые

интуитивно коррелируют с композиционной структурой. Например, один из подходов состоит в том, чтобы разделить данные на основе последовательностей длиной — обучающий набор состоит из коротких примеров, а тестовый набор состоит из более длинных примеров. В другом подходе используется паттернов последовательности 9.0006 , что означает, что разделение основано на случайном назначении кластеров примеров, использующих один и тот же шаблон, либо для обучающих, либо для тестовых наборов. Например, вопросы « Кто снял Фильм1 » и « Кто снял Фильм2 » попадают в шаблон « Кто снял <ФИЛЬМ> », поэтому они будут сгруппированы вместе. Еще один метод использует протянутых примитивов — некоторые лингвистические примитивы очень редко проявляются при обучении (например, глагол «прыгать»), но очень заметны при тестировании. Хотя каждый из этих экспериментов полезен, не сразу ясно, какой эксперимент является «лучшей» мерой композиционности. Можно ли систематически разработать «оптимальный» композиционный эксперимент по обобщению?

В статье «Измерение композиционного обобщения: всеобъемлющий метод на реалистичных данных» мы пытаемся ответить на этот вопрос, введя самый крупный и наиболее полный тест композиционного обобщения с использованием реалистичных задач понимания естественного языка, в частности, семантического разбора и ответов на вопросы. В этой работе мы предлагаем метрику — составное расхождение — которая позволяет количественно оценить, насколько разделение поезд-тест измеряет композиционную способность к обобщению системы ML. Мы анализируем композиционную способность обобщения трех последовательностей для последовательностей архитектур ML и обнаруживаем, что они не могут композиционно обобщаться. Мы также выпускаем набор данных Compositional Freebase Questions, используемый в работе, в качестве ресурса для исследователей, желающих улучшить эти результаты.

Измерение композиционности
Чтобы измерить способность системы к композиционному обобщению, мы начинаем с предположения, что мы понимаем основополагающие принципы создания примеров. Например, мы начинаем с правил грамматики, которых мы должны придерживаться при создании вопросов и ответов. Затем мы проводим различие между атомами и соединениями . Атомы являются строительными блоками, которые используются для создания примеров и 9Соединения 0005 представляют собой конкретные (потенциально неполные) композиции этих атомов.

Например, на приведенном ниже рисунке каждая коробка представляет собой атом (например, Shane Steel, брат, <сущность> <сущность>, продукция и т. д.) , которые объединяются в соединения, такие как продукция и <глагол>, брат Шейна Стила, Брат Шейна Стила продюсировал и руководил «Местью шпиона»?, и т. д.

Построение составных предложений (составных) из строительных блоков (атомов).

Тогда идеальный эксперимент по композиционности должен иметь подобное распределение атомов , т. е. распределение слов и подфраз в обучающей выборке максимально похоже на их распределение в тестовой выборке, но с

различное составное распределение . Чтобы измерить композиционное обобщение в ответе на вопрос о домене фильма, можно, например, подготовить и проверить следующие вопросы: entity>» появляются как в обучающем, так и в тестовом наборах, соединения разные.

Набор данных Compositional Freebase Questions
Чтобы провести точный эксперимент по композиционности, мы создали набор данных Compositional Freebase Questions (CFQ), простой, но реалистичный, большой набор данных вопросов и ответов на естественном языке, созданных на основе общедоступных знаний Freebase. база. CFQ можно использовать для задач ввода/вывода текста, а также для семантического анализа. В наших экспериментах мы фокусируемся на семантическом разборе, где вводом является вопрос на естественном языке, а выводом — запрос, который при выполнении на Freebase дает правильный результат. CFQ содержит около 240 тыс. примеров и почти 35 тыс. шаблонов запросов, что делает его значительно больше и сложнее, чем сопоставимые наборы данных — примерно в 4 раза больше, чем у WikiSQL, и примерно в 17 раз больше шаблонов запросов, чем сложные веб-вопросы. Особое внимание было уделено тому, чтобы вопросы и ответы были естественными. Мы также количественно оцениваем сложность синтаксиса в каждом примере, используя метрику «уровень сложности» (

L ), что примерно соответствует глубине дерева синтаксического анализа, примеры которого показаны ниже.

Эксперименты по композиционному обобщению на CFQ
Для данного разделения поезд-тест, если составные распределения набора поездов и тестов очень похожи, то их составное расхождение будет близко к 0, что указывает на то, что они не сложные тесты на композиционное обобщение. Составная дивергенция, близкая к 1, означает, что наборы обучающих тестов содержат много разных соединений, что делает его хорошим тестом для композиционного обобщения. Таким образом, составная дивергенция охватывает понятие «различное распределение соединений», как и хотелось.

Мы алгоритмически генерируем разбиения обучающих тестов, используя набор данных CFQ, которые имеют сложное расхождение в диапазоне от 0 до 0,7 (максимум, которого мы смогли достичь). Мы фиксируем расхождение атомов очень маленьким. Затем для каждого разделения мы измеряем производительность трех стандартных архитектур машинного обучения — LSTM+внимание, Transformer и Universal Transformer. Результаты показаны на графике ниже.

Составное расхождение и точность для трех архитектур машинного обучения. Существует удивительно сильная отрицательная корреляция между составным расхождением и точностью.

Мы измеряем производительность модели, сравнивая правильные ответы с выходной строкой, заданной моделью. Все модели достигают точности более 95%, когда составное расхождение очень мало. Средняя точность разбиения с наибольшим составным расхождением составляет менее 20% для всех архитектур, а это означает, что даже большой обучающий набор с одинаковым распределением атомов между обучением и тестом недостаточен для того, чтобы архитектуры хорошо обобщались. Для всех архитектур существует сильная отрицательная корреляция между составным расхождением и точностью. Это, по-видимому, указывает на то, что составная дивергенция успешно улавливает основную трудность этих архитектур ML для композиционного обобщения.

Потенциально многообещающими направлениями будущей работы могут быть применение неконтролируемого предварительного обучения языку ввода или выходным запросам или использование более разнообразных или более целенаправленных архитектур обучения, таких как синтаксическое внимание. Также было бы интересно применить этот подход к другим областям, таким как визуальное мышление, т.е. основанный на CLEVR, или расширить наш подход к более широким подмножествам понимания языка, включая использование двусмысленных конструкций, отрицаний, квантификации, компаративов, дополнительных языков и других вертикальных областей. Мы надеемся, что эта работа вдохновит других на использование этого эталона для расширения возможностей композиционного обобщения обучающихся систем.

Манипуляции с ответами — KrakenD API Gateway

Последнее обновление: 30 сентября 2022 г.

Об этой функции

Нерабочий пропускает эту конфигурацию Оглавление

KrakenD позволяет производить несколько манипуляций с ответами из коробки, добавляя их в файл конфигурации. Вы также можете добавить свое собственное или стороннее ПО промежуточного слоя, чтобы расширить это поведение.

Тесты производительности KrakenD измеряют операции в наносекундах , и вы можете найти эталон для каждой манипуляции с ответом в разделе тестов

По умолчанию доступны следующие манипуляции:

Агрегация и слияние

серверная часть подключена к конечной точке , которая не является , используя кодировку no-op , шлюз агрегирует и объединяет ответы от всех серверных частей автоматически в окончательный ответ.

Например, представьте, что у вас есть три разных API-сервиса, раскрывающих ресурсы

/a , /b и /c , и вы хотите раскрыть их все вместе в конечной точке KrakenD /abc . Вот что вы получите:

Операция слияния в первую очередь выбирает взаимодействие с пользователем и скорость отклика. Он делает все возможное, чтобы получить все необходимые части от задействованных серверных частей и как можно скорее вернуть составной объект.

KrakenD помечает результат операции слияния с заголовком X-KrakenD-Completed: true , если все бэкэнды выполнены успешно, или false , если некоторые из них не удались. Если ни один из них не увенчался успехом, шлюз возвращает пользователю код состояния 500 .

Конфигурация изображения выше может быть такой:

 {
    "конечные точки": [
        {
            "конечная точка": "/abc",
            "тайм-аут": "800 мс",
            "метод": "ПОЛУЧИТЬ",
            "бэкенд": [
                {
                    "url_pattern": "/а",
                    "кодировка": "json",
                    "хозяин": [
                        "http://service-a.company.com"
                    ]
                },
                {
                    "url_pattern": "/b",
                    "кодировка": "xml",
                    "хозяин": [
                        "http://service-b. company.com"
                    ]
                },
                {
                    "url_pattern": "/с",
                    "кодировка": "json",
                    "хозяин": [
                        "http://service-c.company.com"
                    ]
                }
            ]
        }
    ]
}
 

Объединение тайм-аутов

Имейте в виду, что во избежание ухудшения пользовательского опыта KrakenD не будет зависать навсегда, пока все серверные части не решат ответить. В шлюзе быстрый сбой лучше, чем медленный , и KrakenD позаботится о том, чтобы это произошло, поскольку он применит политику тайм-аута . Это защитит ваших пользователей во время пиковых нагрузок, сетевых ошибок или других проблем, которые нагружают ваши серверные части.

Значение тайм-аута может быть введено внутри каждой конечной точки или глобально, поместив тайм-аут в корне конфигурационного файла. Самое конкретное определение всегда переопределяет общее.

Что происходит, когда инициируется тайм-аут или происходит сбой какой-либо серверной части?

Если KrakenD ожидает ответа от бэкендов и истечет время ожидания, ответ будет неполным и в нем будут отсутствовать все данные, которые он не смог получить до истечения времени ожидания. С другой стороны, в ответе появятся все части, которые шлюз мог эффективно получить до истечения тайм-аута.

Если в ответе отсутствуют части, заголовка кеша не будет, так как мы не хотим, чтобы клиенты кэшировали неполные ответы.

Заголовок X-Krakend-Completed всегда содержит логическое значение, сообщающее, все ли бэкенды вернули свое содержимое ( x-krakend-completed: true ) или это частичный ответ ( x-krakend-completed: ложь ).

Пример слияния

Представьте конечную точку со следующей конфигурацией:

 {
    "конечные точки": [
        {
            "конечная точка": "/users/{пользователь}",
            "метод": "ПОЛУЧИТЬ",
            "тайм-аут": "800 мс",
            "бэкенд": [
                {
                    "url_pattern": "/users/{пользователь}",
                    "хозяин": [
                        "https://jsonplaceholder. typicode.com"
                    ]
                },
                {
                    "url_pattern": "/posts/{пользователь}",
                    "хозяин": [
                        "https://jsonplaceholder.typicode.com"
                    ]
                }
            ]
        }
    ]
}
 

Когда пользователь звонит на конечную точку /users/1 , KrakenD отправит два запроса и, в счастливом сценарии, получит следующие ответы:

 {
    "идентификатор": 1,
    "name": "Лиэнн Грэм",
    "имя пользователя": "Брет",
    "email": "[электронная почта защищена]",
    "адрес": {
        "улица": "Кулас Лайт",
        "сьют": "Кв. 556",
        "город": "Гвенборо",
        "почтовый индекс": "92998-3874",
        "гео": {
            "лат": "-37.3159",
            "длинный": "81.1496"
        }
    },
    "телефон": "1-770-736-8031 x56442",
    "веб-сайт": "hildegard.org",
    "компания": {
        "имя": "Ромагера-Крона",
        "catchPhrase": "Многоуровневая нейронная сеть клиент-сервер",
        "bs": "использовать электронные рынки в режиме реального времени"
    }
}
 

и

 {
    "идентификатор пользователя": 1,
    "идентификатор": 1,
    "title": "sunt aut facere repellat Provident occaecati excludeuri optio reprehenderit",
    "тело": "quia et suscipit\nuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}
 

С этими «частичными ответами» и данной конфигурацией KrakenD вернет следующий ответ:

 {
    "идентификатор": 1,
    "name": "Лиэнн Грэм",
    "имя пользователя": "Брет",
    "email": "[электронная почта защищена]",
    "адрес": {
        "улица": "Кулас Лайт",
        "сьют": "Кв.  556",
        "город": "Гвенборо",
        "почтовый индекс": "92998-3874",
        "гео": {
            "лат": "-37.3159",
            "длинный": "81.1496"
        }
    },
    "телефон": "1-770-736-8031 x56442",
    "веб-сайт": "hildegard.org",
    "компания": {
        "имя": "Ромагера-Крона",
        "catchPhrase": "Многоуровневая нейронная сеть клиент-сервер",
        "bs": "использовать электронные рынки в режиме реального времени"
    },
    "идентификатор пользователя": 1,
    "title": "sunt aut facere repellat Provident occaecati excludeuri optio reprehenderit",
    "тело": "quia et suscipit\nuscipit recusandae consequuntur expedita et cum\nreprehenderit molestiae ut ut quas totam\nnostrum rerum est autem sunt rem eveniet architecto"
}
 

Фильтрация

Когда вы создаете конечную точку, вы можете выбрать отображение только подмножества полей, полученных из ответов ваших серверных частей. Вы можете захотеть использовать эту функцию по нескольким причинам, но мы настоятельно рекомендуем вам использовать ее для экономии пропускной способности пользователей и сокращения времени загрузки и рендеринга.

Существуют две разные стратегии фильтрации содержимого:

• Запретный список
• Разрешенный список

См. документацию по фильтрации

Группировка

Вы можете сгруппировать (или инкапсулировать или обернуть) свои внутренние ответы внутри различных объектов. Другими словами, когда вы устанавливаете атрибут группы для серверной части, вместо того, чтобы помещать все атрибуты ответа в корень ответа, KrakenD создает новый ключ и помещает ответ внутрь.

Инкапсуляция ответов серверной части внутри каждой группы интересна, когда разные ответы серверной части могут иметь конфликтующие имена ключей (например, все ответы содержат id с разными значениями).

При использовании агрегированного контента используйте стратегию group .

См. документацию по группировке

Сопоставление (переименование)

KrakenD также может манипулировать именами полей сгенерированных ответов, чтобы ваш составленный ответ был максимально приближен к вашему варианту использования без изменения строки на каком-либо бэкэнде.

В разделе сопоставления и сопоставьте исходное имя поля с желаемым именем.

См. документацию по сопоставлению

Цель (или захват)

Часто во многих реализациях API жизненно важные данные всегда инкапсулируются в общее поле, такое как данные , ответ или содержимое , вместе с другими полями показывая код состояния и метаданные. Иногда мы не хотим ни позволять клиенту обрабатывать это, ни перетаскивать этот контейнер первого уровня через все конфигурации.

При установке цели в вашем бэкенде эти общие контейнеры (цель) исчезают, а весь контент извлекается в корень, как будто его никогда не существовало. Поскольку этот захват происходит перед другими вариантами, такими как позволяют или отображать , вам не нужно использовать вложение.

См. целевую документацию

Манипулирование коллекцией или массивом

KrakenD ожидает, что все серверные части будут возвращать объекты в ответе.