re.findall вернет списки кортежей. Если у вас многострочный ввод, используйте флаг re.MULTILINE при компиляции шаблона.

4

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Обязательно, но не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Анализ текста с помощью PowerShell (1/3)

Стив Ли

18 января 2019 г. 2 1

Это первый пост в серии из трех частей.

• Часть 1 :
  • Полезные методы класса String
  • Введение в регулярные выражения
  • Командлет Select-String
• Часть 2:
  • Оператор -split
  • Оператор -match
  • Оператор switch
  • Класс регулярных выражений
• Часть 3:
  • Реальный мир, полный и немного увеличенный, пример синтаксического анализатора на основе коммутатора

В моем рабочем процессе регулярно возникает задача анализа текста. Это может быть получение маркера из одной строки текста или преобразование текстового вывода собственных инструментов в структурированные объекты, чтобы я мог использовать возможности PowerShell.

Я всегда стремлюсь создать структуру как можно раньше в конвейере, чтобы позже я мог рассуждать о содержимом как о свойствах объектов, а не как тексте по некоторому смещению в строке. Это также помогает при сортировке, поскольку свойства могут иметь правильный тип, поэтому числа, даты и т.

Пользователю PowerShell доступно несколько вариантов, и здесь я привожу обзор наиболее распространенных из них.

Это не текст о том, как создать высокопроизводительный синтаксический анализатор для языка со структурированной грамматикой EBNF. Для этого есть инструменты получше, например ANTLR.

Методы .Net для строки

Любая обработка синтаксического анализа строки в PowerShell была бы неполной, если бы в ней не упоминались методы класса строки . Есть несколько методов, которые я использую чаще других при разборе строк:

Имя	Описание
Подстрока (int startIndex)	Извлекает подстроку из этого экземпляра. Подстрока начинается с указанной позиции символа и продолжается до конца строки.
Подстрока (int startIndex, int length)	Извлекает подстроку из этого экземпляра. Подстрока начинается с указанной позиции символа и имеет указанную длину.
IndexOf(строковое значение)	Сообщает отсчитываемый от нуля индекс первого вхождения указанной строки в данном экземпляре.
IndexOf(строковое значение, int startIndex)	Сообщает отсчитываемый от нуля индекс первого вхождения указанной строки в данном экземпляре. Поиск начинается с указанной позиции символа.
LastIndexOf(строковое значение)	Сообщает отсчитываемый от нуля индекс последнего вхождения указанной строки в данном экземпляре. Часто используется вместе с Substring .
LastIndexOf (строковое значение, int startIndex)	Сообщает отсчитываемую от нуля позицию индекса последнего вхождения указанной строки в этом экземпляре. Поиск начинается с указанной позиции символа и продолжается в обратном направлении к началу строки.

Это небольшая часть доступных функций. Возможно, вам стоит потратить время на изучение класса string, так как он очень важен в PowerShell. Документы находятся здесь.

Например, это может быть полезно, когда у нас есть очень большие входные данные, разделенные запятыми, с 15 столбцами, и нас интересует только третий столбец с конца. Если бы мы использовали оператор -split ',' , мы бы создали 15 новых строк и массив для каждой строки. С другой стороны, используя LastIndexOf на входной строке несколько раз, а затем SubString , чтобы получить интересующее значение быстрее и приводит только к одной новой строке.

 функция parseThirdFromEnd([string]$line){
    $i = $line.LastIndexOf(",") # получить последний разделитель
    $i = $line.LastIndexOf(",", $i - 1) # получаем предпоследний разделитель, а также конец интересующего нас столбца
    $j = $line.LastIndexOf(",", $i - 1) # получаем разделитель перед нужным столбцом
    $j++ # далее вперед после разделителя
    $line. SubString($j,$i-$j) # получаем текст искомого столбца
} 

В этом примере я игнорирую тот факт, что IndexOf и LastIndexOf возвращают -1, если они не могут найти текст для поиска. Из опыта я также знаю, что легко испортить арифметику индекса. Таким образом, хотя использование этих методов может повысить производительность, они также более подвержены ошибкам и требуют гораздо больше ввода. Я бы прибегал к этому только тогда, когда знаю, что входные данные очень велики, а производительность является проблемой. Так что это не рекомендация и не отправная точка, а то, к чему можно прибегнуть.

В редких случаях я пишу весь синтаксический анализатор на C#. Примером этого является модуль, обертывающий систему контроля версий Perforce, где инструмент командной строки может выводить словари Python. Это двоичный формат, и вариант использования был достаточно сложным, поэтому мне было удобнее использовать язык реализации, проверяемый компилятором.

Регулярные выражения

Почти все параметры синтаксического анализа в PowerShell используют регулярные выражения, поэтому я начну с краткого введения некоторых концепций регулярных выражений, которые будут использоваться позже в этих сообщениях.

Регулярные выражения очень полезно знать при написании простых синтаксических анализаторов, поскольку они позволяют нам выражать интересующие шаблоны и захватывать текст, соответствующий этим шаблонам.

Это очень богатый язык, но вы можете продвинуться довольно далеко, изучив несколько ключевых частей. Я считаю, что сайт Regular-expressions.info является хорошим онлайн-ресурсом для получения дополнительной информации. Он не написан непосредственно для реализации регулярного выражения .net, но большая часть информации действительна для разных реализаций.

Регулярное выражение	Описание
*	Ноль или более предшествующих символов. a* соответствует пустой строке, a , aa и т. д., но не b .
+	Один или несколько предшествующих символов. a+ соответствует a , aa и т. д., но не пустой строке или b .
.	Соответствует любому символу
[акс1]	Любой из a , x , 1
	соответствует любому из a , b , c , d
\ш	Метасимвол \w используется для поиска символа слова. Словесный символ — это символ от az, AZ, 0-9., включая символ _ (подчеркивание). Он также соответствует вариантам таких символов, как ??? и ??? .
\Вт	Инверсия \w . Соответствует любому символу, не являющемуся словом
\с	Метасимвол \s используется для поиска пробела
\С	Инверсия \s . Соответствует любому непробельному символу
\д	Совпадает с цифрами
\D	Инверсия \d . Соответствует не цифрам
\б	Соответствует границе слова, то есть положению между словом и пробелом.
\Б	Инверсия \b . . er\B соответствует er в глаголе , но не # начало строки \s+ # один или несколько пробелов (\d+) # захватить одну или несколько цифр в первой группе (индекс 1) , # запятая (.+) # захватить один или несколько символов любого типа во второй группе (индекс 2) Именование групп регулярных выражений создать группу захвата с назначенным именем. Приведенное выше регулярное выражение можно переписать следующим образом, что позволит нам обращаться к группам захвата по имени, а не по индексу. 9\s+(?\d+),(?. +) Различные языки имеют специфичные для реализации решения для доступа к значениям захваченных групп. Позже в этой серии мы увидим, как это делается в PowerShell. Командлет Select-String Команда Select-String — это рабочая лошадка, и она очень эффективна, если вы понимаете, какие выходные данные она производит. Я использую его в основном при поиске текста в файлах, но иногда и при поиске чего-то в выводе команд и т.п. Ключом к эффективности с Select-String является знание того, как получить совпадающие шаблоны в выводе. Внутри он использует тот же класс regex , что и операторы -match и -split , но вместо заполнения глобальной переменной результирующими группами, как это делает -match , он записывает объект в конвейер со свойством Matches , которое содержит результаты совпадения. Set-Content twitterData.txt -значение @" Ли, Стив-@Steve_MSFT, 29 лет-]+)-(\d+) (@\w+)" | Foreach-Object { $first, $last, $followers, $handle = $_. Matches[0].Groups[1..4].Value # это распространенный способ получения групп вызова select-string [PSCustomObject] @{ Имя = $ первое Фамилия = $последняя Ручка = $ ручка TwitterFollowers = [число] $followers } } Имя Фамилия Дескриптор TwitterFollowers --------- -------- ------ ---------------- Ли Холмс @Lee_Holmes 13000 Стаффан Густафссон @StaffanGson 463 Поддержка нескольких шаблонов Как мы видим выше, только половина данных соответствует шаблону Select-String . Метод, который я считаю полезным, заключается в использовании того факта, что Select-String поддерживает использование нескольких шаблонов. Строки входных данных в twitterData.txt содержат один и тот же тип информации, но они немного по-разному отформатированы. Использование нескольких шаблонов в сочетании с именованными группами захвата упрощает извлечение групп, даже если позиции групп различаются. -]+) # захватить один или несколько любых символов, кроме `-`, в группу с именем 'last' - # а '-' (?\d+) # захватить 1 или более цифр в группу под названием "followers" \s # пробел (?@.+) # захватить '@', за которым следует один или несколько символов, в группу с именем 'handle' Второе регулярное выражение аналогично, но с группами в другом порядке. Но поскольку мы извлекаем группы по имени, нам не нужно заботиться о позициях групп захвата, и множественное присваивание работает нормально. Контекст вокруг совпадений Select-String также имеет параметр Context , который принимает массив из одного или двух чисел, указывающих количество строк до и после совпадения, которые должны быть захвачены. Все методы анализа текста в этом посте можно использовать для анализа информации из строк контекста. Объект результата имеет Context , которое возвращает объект со свойствами PreContext и PostContext , оба типа string[] . Это можно использовать для получения второй строки перед совпадением: # с использованием свойства контекста Get-ChildItem twitterData.txt | Select-String -Pattern "Staffan" -Context 2,1 | Foreach-Object { $_.Context.PreContext[1], $_.Context.PostContext[0] } Ли Холмс-13000 @Lee_Holmes Триббиани, Джои-@Matt_LeBlanc, 463400 Чтобы понять, как индексируются массивы Pre- и PostContext, рассмотрим следующее: Lee, Steve-@Steve_MSFT,2992 <- PreContext[0] Ли Холмс-13000 @Lee_Holmes <- PreContext[1] Staffan Gustafsson-463 @StaffanGson <- Шаблон соответствует этой строке Триббиани, Джои-@Matt_LeBlanc,463400 <- PostContext[0] Конвейерная поддержка Select-String отличает его от других инструментов синтаксического анализа, доступных в PowerShell, и делает его бесспорным королем однострочников. Я хотел бы подчеркнуть, насколько полезнее становится Select-String , когда вы понимаете, как добраться до частей совпадений. Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт