Все еще анализирует строки User-Agent для ваших моделей машинного обучения? | by Sergey Mastitsky

·

·

Информация, содержащаяся в строке User-Agent s могут быть эффективно представлены с использованием низкоразмерных вложений, а затем используется в последующих задачах машинного обучения.

Когда пользователь взаимодействует с веб-сайтом, браузер отправляет HTTP-запросы на сервер для получения необходимого контента, отправки данных или выполнения других действий. Такие запросы обычно содержат несколько заголовков, т. е. пар символов «ключ-значение», которые определяют параметры данного запроса. Строка User-Agent (далее именуемая «UAS») — это заголовок HTTP-запроса, описывающий программное обеспечение, действующее от имени пользователя (рис. 1).

Первоначальной целью UAS было согласование контента , то есть механизм определения наилучшего контента для обслуживания пользователя в зависимости от информации, содержащейся в соответствующем UAS (например, формат изображения, язык документа, кодировка текста и т. д.). .). Эта информация обычно включает сведения о среде, в которой работает браузер (устройство, операционная система и ее версия, языковой стандарт), механизме и версии браузера, механизме и версии макета и т. д. (рис. 2).

Несмотря на то, что обслуживание разных веб-страниц для разных браузеров в настоящее время считается плохой идеей, у UAS все еще есть много практических приложений. Самый распространенный из них — веб-аналитика , т. е. составление отчетов о составе трафика для оптимизации эффективности веб-сайта. Другим вариантом использования является управление веб-трафиком , которое включает в себя блокировку нежелательных поисковых роботов, снижение нагрузки на веб-сайт от нежелательных посетителей, предотвращение мошенничества с кликами и другие подобные задачи. Благодаря богатой информации, которую они содержат, UAS также может служить источником данных для Приложения машинного обучения . Однако последнему варианту использования до сих пор не уделялось должного внимания. Здесь я рассматриваю эту проблему и обсуждаю эффективный способ создания информативных функций из моделей UAS для машинного обучения. Эта статья представляет собой краткое изложение доклада, который я недавно представил на двух конференциях — Почему R? и Корпоративные приложения языка R . Данные и код, используемые в примерах, описанных ниже, доступны на GitHub.

Элементы UAS часто могут служить полезными заменителями характеристик пользователя, таких как образ жизни, техническая подкованность и даже достаток. Например, пользователь, который обычно посещает веб-сайт с мобильного устройства высокого класса, вероятно, отличается от пользователя, посещающего тот же веб-сайт из Internet Explorer на настольном компьютере под управлением Windows XP. Наличие прокси-серверов на основе UAS для таких характеристик может быть особенно ценным, когда для пользователя недоступна другая демографическая информация (например, когда новый, неизвестный человек посещает веб-сайт).

В некоторых приложениях также может быть полезно различать человеческий и нечеловеческий веб-трафик. В некоторых случаях это легко сделать, поскольку автоматические поисковые роботы используют упрощенный формат UAS, который включает слово «бот» (например, Googlebot/2. 1 (+http://www.google.com/bot.html) ). . Однако некоторые сканеры не следуют этому соглашению (например, боты Facebook содержат слово facebookexternalhit в своем UAS), и для их идентификации требуется словарь поиска.

Одним, казалось бы, простым способом создания функций машинного обучения из UAS является применение синтаксического анализатора , извлечение отдельных элементов UAS, а затем горячее кодирование этих элементов. Этот подход может хорошо работать в простых случаях, когда только высокоуровневые и легко идентифицируемые элементы UAS нуждаются в преобразовании в функции. Например, относительно легко определить тип аппаратного обеспечения пользовательского агента (мобильное, настольное, серверное и т. д.). Для такого рода разработки функций можно использовать несколько высококачественных парсеров на основе регулярных выражений (например, см. проект «ua-parser» и его реализации для выбора языков).

Однако описанный выше подход быстро становится непрактичным, когда нужно использовать все элементы, составляющие БАС, и извлечь из них максимум информации. Этому есть две основные причины:

• Существующие рекомендации по форматированию заголовков User-Agent никак не соблюдаются, и в реальном мире можно встретить самые разные спецификации UAS. В результате последовательный анализ UAS, как известно, сложен. Более того, каждый день появляются новые устройства и версии операционных систем и браузеров, что превращает обслуживание качественных парсеров в сложнейшую задачу.
• Количество возможных элементов БАС и их комбинаций астрономически велико. Даже если бы их можно было закодировать в горячем режиме, результирующая матрица данных была бы чрезвычайно разреженной и слишком большой, чтобы поместиться в память компьютеров, которые обычно используются учеными данных в наши дни.

Чтобы преодолеть эти проблемы, можно применить метод уменьшения размерности и представить UAS в виде векторов фиксированного размера, минимизируя при этом потерю исходной информации. Эта идея, конечно, не нова, и поскольку UAS — это просто строки текста, этого можно достичь, используя различные методы обработки естественного языка. В своих проектах я часто обнаруживал, что алгоритм fastText, разработанный исследователями из Facebook (Bojanowski et al. 2016), дает особенно полезные решения.

Описание алгоритма fastText выходит за рамки этой статьи. Однако, прежде чем мы приступим к примерам, стоит упомянуть некоторые практические преимущества этого метода:

• он не требователен к данным, т. е. хорошо работающую модель можно обучить только на нескольких тысячах примеров;
• хорошо работает с короткими и структурированными документами, такими как UAS;
• , как следует из названия, обучается быстро;
• хорошо справляется с «словами вне словаря», т.е. может генерировать осмысленные векторные представления (эмбеддинги) даже для строк, которые не были замечены во время обучения.

Официальная реализация fastText доступна в виде отдельной библиотеки C++ и оболочки Python. Обе эти библиотеки хорошо документированы и просты в установке и использовании. Широко используемая библиотека Python gensim имеет собственную реализацию алгоритма. Ниже я покажу, как можно также обучать модели fastText в R.

Существует несколько оболочек R вокруг библиотеки fastText C++ (см.0037 fastTextR ). Однако, пожалуй, самый простой способ обучения и использования моделей fastText в R — это вызов официальных привязок Python через пакет reticulate . Импорт модуля fasttext Python в среду R можно выполнить следующим образом:

 # Сначала установите `fasttext` 
 # (см. `package 
 # (сначала установите, если необходимо): 
 require(reticulate)# Убедитесь, что `fasttext` доступен для R: 
 py_module_available("fasttext") 
 ## [1] TRUE# Import `fasttext`: 
 ft <- import("fasttext")# Затем вызовите необходимые методы, используя 
 # стандартную нотацию `$`, 
 # например: `ft$train_supervised()` 

Примеры, описанные ниже, основаны на выборке из 200 000 уникальных UAS из базы данных whatismybrowser.com (рис. 3).

Обучить неконтролируемую модель fastText в R так же просто, как вызвать команду, подобную следующей:
lr = 0,05,
dim = 32L, # размерность вектора
ws = 3L,
minCount = 1L,
minn = 2L,
maxn = 6L,
neg = 3L,
wordNgrams = 2L,
потеря = «нс «,
эпоха = 100л,
нить = 10л
)

9Аргумент 0037 dim в приведенной выше команде указывает размерность пространства встраивания. В этом примере мы хотим преобразовать каждый UAS в вектор размера 32. Другие аргументы управляют процессом обучения модели ( lr — скорость обучения, loss, — функция потерь, epoch, — количество эпох и т. д. .). Чтобы понять значение всех аргументов, обратитесь к официальной документации fastText.

После обучения модели легко вычислить вложения для новых случаев (например, из тестового набора). В следующем примере показано, как это сделать (клавиша здесь — 9).0037 m_unsup$get_sentence_vector() , который возвращает вектор, усредненный по вложениям отдельных элементов, составляющих данный UAS):

 test_data <- readLines("./data/test_data_unsup.txt") 
 emb_unsup <- test_data %> % 
 lapply(., function(x) { 
 m_unsup$get_sentence_vector(text = x) %>% 
 t(.) %>% as.data.frame(.) 
 }) %>% 
 bind_rows(.) %>% 
 setNames(., paste0("f", 1:32)) 
 # Распечатка первых 5 значений 
 # векторов (размером 32) 
 # которые представляют первые 3 UAS 
 # из тестового набора: emb_unsup[1:3, 1:5] 
 ## f1 f2 f3 f4 f5 
 ## 1 0.197 -0.03726 0.147 0.153 0.0423 
 ## 2 0.182 0. 00307 0,147 0,101 0,0326 
 ## 3 0,101 -0,28220 0,189 0,202 -0,1623 
 

Но как узнать, хороша ли обученная неконтролируемая модель? Конечно, один из способов проверить это — подключить векторные представления UAS, полученные с помощью этой модели, к последующей задаче машинного обучения и оценить качество полученного решения. Однако, прежде чем переходить к последующей задаче моделирования, можно также визуально оценить, насколько хороши встраивания fastText. Хорошо известные графики tSNE (Maaten & Hinton 2008; см. также это видео на YouTube) могут быть особенно полезными.

На рис. 4 показан трехмерный график tSNE вложений, рассчитанных для UAS из тестового набора с использованием указанной выше модели fastText. Хотя эта модель была обучена без присмотра, она смогла создать вложения, отражающие важные свойства исходных строк User-Agent. Например, можно увидеть хорошее разделение баллов по типу оборудования.

Для обучения контролируемой модели fastText по определению требуются помеченные данные. Именно здесь существующие синтаксические анализаторы UAS часто могут оказать большую помощь, поскольку их можно использовать для быстрой маркировки тысяч обучающих примеров. Алгоритм fastText поддерживает как мультиклассовые, так и мультиметочные классификаторы. Ожидаемый формат (по умолчанию) для меток: __label__ . Метки, отформатированные таким образом (и потенциально разделенные пробелом в случае модели с несколькими метками), должны добавляться перед каждым документом в обучающем наборе данных.

Предположим, нас интересуют вложения, которые подчеркивают различия UAS в зависимости от типа оборудования. На рис. 5 показан пример размеченных данных, которые подходят для обучения соответствующей модели.

Команда R, необходимая для обучения контролируемой модели fastText на таких размеченных данных, аналогична тому, что мы видели ранее:

 m_sup <- ft$train_supervised( 
 input = "./data/train_data_sup.txt", 
 lr = 0,05, 
 dim = 32L,  # размерность вектора  
 ws = 3L, 
 minCount = 1L, 
 minCountLabel = 10L,  # мин.  появление метки  
 minn = 2L, 
 max n = 6L, 
 отрицательный = 3L , 
 wordNgrams = 2L, 
 loss = "softmax",  # функция потерь  
 epoch = 100L, 
 thread = 10L 
 ) 

Мы можем оценить результирующую контролируемую модель, рассчитав точность, отзыв и показатель f1 в маркированном тесте набор. Эти показатели можно рассчитать для всех ярлыков или для отдельных ярлыков. Например, вот показатели качества для БАС, соответствующих метке «мобильный»:

 metrics <- m_sup$test_label("./data/test_data_sup.txt") 
 metrics["__label__mobile"]## $`__label__mobile` 
 ## $`__label__mobile`$precision 
 ## [1] 0.998351 9009 1 # # 
 ## $`__label__mobile`$recall 
 ## [1] 0.9981159 
 ## 
 ## $`__label__mobile`$f1score 
 ## [1] 0.9982334 

Визуальная проверка графика tSNE для этой контролируемой модели также подтверждает его высокое качество: мы видим четкое разделение тестов по типу оборудования (рис. 6). Это неудивительно, поскольку при обучении контролируемой модели мы предоставляем вспомогательную информацию, которая помогает алгоритму создавать вложения для конкретных задач.

Эта статья продемонстрировала, что обширная информация, содержащаяся в UAS, может быть эффективно представлена ​​с использованием низкоразмерных вложений. Модели для создания таких вложений можно обучать как в режиме без учителя, так и в режиме с учителем. Неконтролируемые встраивания являются общими и поэтому могут использоваться в любой последующей задаче машинного обучения. Однако, когда это возможно, я бы рекомендовал обучать контролируемую модель для конкретной задачи. Одним особенно полезным алгоритмом для представления UAS в виде векторов фиксированного размера является fastText. Его реализации доступны на всех основных языках, используемых в настоящее время специалистами по данным.

Ищете аналогичный анализ или моделирование ваших данных? Я предоставляю консультационные услуги по науке о данных, поэтому свяжитесь с нами! Сборка

— я получаю сообщение об ошибке MIPS «spim: (parser) синтаксическая ошибка» при выполнении кода

спросил 2 года, 2 месяца назад

Изменено 2 года, 2 месяца назад

Просмотрено 837 раз

Вот мой код:

 . data
num1: .word # переменная num1
num2: .word # переменная num2
max: .word # максимальная переменная
msg: .asciiz "Введите целое число" # msg
msg2: .asciiz "Большее значение равно " # msg2
    .текст
основной:
   la $a0, msg # печатает msg
   ли $v0, 4
   системный вызов
   la $v0, 5 # читает данные
   системный вызов
   # загружает адрес num1 в $t0
   la $t0, число1
   # перемещаем содержимое $v0 ​​в $t0
   переместить $t0,$v0
   la $a0, msg # напечатать сообщение
   ли $v0, 4
   системный вызов
   la $v0, 5 # прочитать данные
   системный вызов
   # загружает адрес num1 в $t1
   ла $t1, число2
   # перемещает содержимое $v0 ​​в $t1
   переместить $t1,$v0
   # загружает адрес max в t2
   la $t2, макс.
   # если $t0 (число1) >
  $t2 (число2), выполнить, если часть/метка
   bgt $t0,$t1,if # перейти к метке if
   # еще
   еще:
   # перемещает содержимое $t1 (num2) в $t2 (max)
   переместить $t2,$t1
   la $a0, msg2 # напечатать msg2
   ли $v0, 4
   системный вызов
   ход $a0, $t2 # вывести макс. 
   ли $v0, 1
   системный вызов
   li $v0, 10 # выход
   системный вызов
   # если
   если:
   # перемещает содержимое $t0 (num1) в $t2 (max)
   переместить $t2,$t0
   la $a0, msg2 # напечатать msg2
   ли $v0, 4
   системный вызов
   ход $a0, $t2 # вывести макс.
   ли $v0, 1
   системный вызов
   li $v0, 10 # выход
   системный вызов
 

Каждый раз, когда я пытаюсь запустить этот код в QTSpim, я получаю сообщение об ошибке «spim: (парсер) синтаксическая ошибка в строке 3 файла C:/Users/danie/Desktop/program_1.asm .word # num1 variable»

Что я делаю не так? Спасибо

• сборка
• mips
• qtspim
• spim

Вы хотите, чтобы .word 0 выдавало одно 32-битное слово со значением 0 .

.word без операндов зарезервирует 0 байтов пространства для этого пустого списка инициализаторов слов . (Вот как некоторые другие ассемблеры на самом деле обрабатывают это, не выдавая ошибок. ) Так что это похоже на uint32_t array[] = {}; в C1, как объявление массива из 0 элементов.

Это не то, что кому-то нужно (нормальный человек просто пропустил бы

Сноска 1: За исключением C, два массива не могут иметь один и тот же адрес, даже если они пусты, или, по крайней мере, GCC избегает этого. GCC действительно испускает некоторые дополнения после пустого массива: https://godbolt.org/z/5GMT6e

Зарегистрируйтесь или войдите в систему

Опубликовать как гость

Требуется, но не отображается

Опубликовать как гость

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания и подтверждаете, что прочитали и поняли нашу политику конфиденциальности и кодекс поведения.