. У вас есть текстовое поле (например, столбец адресов), из которого вы хотите извлечь определенные части поля (например, город) для дальнейшего анализа. Но как это сделать? Это руководство познакомит вас с несколькими инструментами и множеством примеров, которые помогут вам ответить на вопросы по анализу текста.

Следует помнить, что часто ни у кого не будет точно такого же формата данных и вопроса, как у вас. Но вы можете изучить стратегии и инструменты от других участников сообщества по этой теме.

Если вы новичок в синтаксическом анализе текста или у вас мало практики, посмотрите интерактивные уроки по синтаксическому анализу данных. В этой категории девять уроков, и они охватывают несколько инструментов.

При работе над задачей синтаксического анализа текста хорошей стратегией будет начинать с самого простого решения и постепенно повышать сложность, если самый простой вариант не работает для ваших данных. Это руководство структурировано соответствующим образом, начиная с самых простых решений и переходя к более сложным методам.

Наиболее сложным (и универсальным) вариантом анализа строк является регулярное выражение (RegEx). У прямого перехода к RegEx есть свои преимущества и недостатки, потому что вы знаете, что он может справиться с любой проблемой. Прочтите этот блог о том, следует ли использовать RegEx или нет, чтобы понять, как одна и та же проблема может иметь несколько решений и компромиссы, возникающие при каждом выборе.

Мы подробно рассмотрим RegEx в последнем разделе руководства. Но теперь давайте начнем наше путешествие по анализу текста с помощью инструмента «Текст в столбцы»!

Инструмент «Текст в столбцы» позволяет разделить текстовое поле на несколько полей или строк, указав разделитель для разделения. Ниже приведены некоторые разделители, которые можно указать для разделения поля: 

В качестве разделителя также можно указать любой отдельный символ (например, точку или тире). Приведенные ниже данные взяты из примера инструмента в Designer. Поле «Адрес» выбирается вместе с «,» в качестве разделителя. Вы можете указать, сколько выходных столбцов вы хотите, и вуаля! Поле адреса разбирается на составляющие.

Чтобы понять, что можно делать с помощью инструмента «Текст в столбцы», ознакомьтесь с другими конфигурациями инструмента в примере инструмента и в статье «Освоение инструмента».

Примеры разделения на столбцы 

Вот несколько примеров использования инструмента «Текст в столбец» для анализа данных по разным разделителям: 

• Контур (|) 
• Запятые (,) 
• Новая строка (\n), а затем двоеточие (:)

В этом дискуссионном форуме вы можете увидеть два решения: одно с использованием RegEx, а другое с использованием инструмента «Текст в столбцы». Оба решения позволяют анализировать данные, разделенные пробелами, в отдельные столбцы.

Важно отметить, что инструмент «Текст в столбцы» работает только для строковых полей. См. это обсуждение, где рекомендовалось использовать инструмент «Формула», поскольку тип данных для анализа был полем «Дата». Дополнительные сведения об анализе полей DateTime см. в Руководстве по DateTime.

Примеры разделения на строки 

Инструмент «Текст в столбцы» также может разбивать данные из одного поля на несколько строк. Вот несколько примеров из дискуссионного форума Designer: 

• Разделять на строки каждый раз, когда появляется символ «/» 
• Разделить ряд на 2 ряда 

Если текстовые данные, которые вы хотите проанализировать, не имеют согласованного разделителя, то пришло время перейти к следующим параметрам!

Как вы знаете, инструмент «Формула» может многое. Это включает в себя синтаксический анализ строк! Документация по String Functions представляет собой исчерпывающий список всех функций для работы со строками, и многие из них можно использовать для синтаксического анализа.

Вы могли заметить, что здесь есть три функции RegEx: REGEX_CountMatches, REGEX_Match и REGEX_Replace. Мы рассмотрим их в разделе RegEx.

Извлечение текста

Взгляните на эти примеры извлечения частей текстовых полей:

• Получение числа до запятой — с помощью FindString()
• Извлечь часть поля — с помощью Contains() и инструкции IF THEN 
• Извлечение текста из имени файла с помощью FindString() и Substring()

Кроме того, в этой ветке обсуждения показано, как Substring() можно использовать для получения текста, когда он всегда находится в одной и той же позиции в поле, и как при необходимости сделать решение динамическим с помощью REGEX_Replace().

Замена текста 

Вот несколько примеров замены текста с помощью инструмента формул: 

• Удаление пробелов — с помощью функции Replace() 
• Заменить только текстовые поля, начинающиеся с определенного слова, с помощью StartsWith() и Replace()
• Замена части поля пробелами с помощью Trim() и Replace()

Этот раздел руководства посвящен инструменту «Формула», но обратите внимание, что вы также можете использовать инструмент «Найти замену» для замены текста. Вы можете просмотреть статью мастерства инструмента «Найти замену» здесь и другую полезную базу знаний по анализу с помощью этого инструмента здесь.

Иногда столбец текста имеет особый формат из-за происхождения данных. Это могут быть данные из Интернета, содержащие теги XML, или это могут быть данные из API в формате JSON. В этих случаях вы можете использовать инструменты для анализа данных в формате строк и столбцов, с которым проще работать в Alteryx.

Анализ XML 

Если ваши данные представлены в формате XML, вы можете использовать инструмент Анализ XML для анализа данных по отдельным полям. Ниже показано, как выглядят данные до и после использования инструмента синтаксического анализа XML в примере инструмента: 

Это решение ветки обсуждения показывает, как синтаксический анализ XML может быть итеративным процессом при переходе от элемента к элементу. И, как вы можете видеть из этого решения, для решения этих проблем может потребоваться довольно много инструментов XML Parse:

JSON Parse

Вы можете использовать инструмент JSON Parse для разделения объектов JavaScript. текст в схему таблицы для последующей обработки. Вот входные и выходные данные инструмента в примере рабочего процесса, чтобы вы могли понять, чего вы можете достичь: 

Ознакомьтесь с этим решением для обсуждения, в котором показано, как можно использовать инструмент(ы) Cross Tab, чтобы преобразовать выходные данные инструмента анализа JSON в более удобный формат. А для более сложной проблемы синтаксического анализа JSON просмотрите решение в этой ветке обсуждения.

Что такое RegEx? Это сокращение от регулярных выражений; это текстовые шаблоны, используемые для поиска, сопоставления, замены и извлечения символов в текстовых полях. RegEx — наш самый мощный инструмент для анализа текста, поскольку он обеспечивает наибольшую гибкость.

RegEx — сложная тема, она рассматривается в программе Alteryx Advanced Certification. Если у вас возникли проблемы с инструментом RegEx, вы не одиноки! Остальная часть этого руководства посвящена рассмотрению инструмента, примеров и стратегий, которые можно использовать при решении самых сложных задач синтаксического анализа текста.

Обзор регулярных выражений в Alteryx 

Более короткие уроки по использованию регулярных выражений в Alteryx можно найти в следующих интерактивных уроках: 

• Создание регулярных выражений
• Сопоставление данных с регулярным выражением
• Замена данных регулярным выражением
• Разделение данных с помощью RegEx
• Анализ данных с помощью RegEx

Для более продолжительного (1 час) обучения под руководством инструктора посмотрите видео «Введение в регулярные выражения».

После просмотра этих видеороликов просмотрите справочную документацию по инструменту RegEx и не забудьте проверить файл примера инструмента в Designer.

У нас также есть статья RegEx Tool Mastery, в которой приводится несколько примеров для каждой конфигурации инструмента. Кроме того, есть видео о 20 выражениях Token RegEx для новичков, которое поможет вам изучить распространенные выражения.

Внешние ресурсы регулярных выражений

Regex101.com — отличный веб-сайт для тестирования и устранения неполадок с вашими регулярными выражениями. Он также объясняет выражение и имеет краткий справочный раздел для общих токенов и многое другое.

Другим внешним ресурсом, на который есть ссылка в справочной документации по RegEx, является RegEx Coach. Это приложение, которое вы можете загрузить, чтобы интерактивно экспериментировать с регулярными выражениями.

Примеры 

Ниже приведены решения проблем с регулярными выражениями на дискуссионном форуме Designer. Просмотрите их, прежде чем публиковать свой вопрос RegEx, поскольку кто-то, возможно, уже задавал подобный вопрос!

RegEx Replace 

Конфигурация замены для инструмента RegEx заменит искомое выражение вторым выражением. Вот несколько примеров: 

• Удалить специальные символы 
• Извлечь подстроку

Анализ регулярных выражений

Анализ разделяет выражение на новые столбцы. Затем вы можете задать Имя, Тип и Размер новых столбцов. В таблице «Выходные столбцы» создается новый столбец. Ниже приведены несколько примеров синтаксического анализа: 

• Разобрать номер дороги и почтовый индекс из адреса
• Дата синтаксического анализа устарела 
• Разделить дату и время 
• Разобрать имена файлов
• Анализ адресов электронной почты 

RegEx Match

Параметр match добавляет столбец, содержащий число: 1, если выражение соответствует указанному, 0, если нет. Вот несколько веток обсуждения с сопоставлением регулярных выражений: 

• Соответствие текстовому шаблону
• RegEx соответствует и заменяет слова 

RegEx Tokenize

Параметр tokenize разделяет входящие данные с помощью регулярного выражения. Этот параметр работает аналогично инструменту «Текст в столбцы», за исключением того, что вместо сопоставления и удаления того, что вам не нужно, вы сопоставляете то, что хотите сохранить. Вы хотите сопоставить весь токен, и если у вас есть отмеченная группа, возвращается только эта часть. Чтобы увидеть эту опцию в действии, просмотрите эту ветку обсуждения: Tokenize Group of Words to Column.

Блоги RegEx 

Кроме того, у нас есть несколько блогов, в которых более подробно рассматриваются проблемы RegEx. Для финансового случая вы можете прочитать Проверка налоговых идентификаторов с помощью REGEX. А для руководства по очистке данных XML есть эта статья: RegEx для победы: очистка тегов XML.

Застряли на ошибке в вашей проблеме синтаксического анализа? Узнайте о решениях этих ошибок, которые видели другие пользователи: 

• Ошибка инструмента синтаксического анализа JSON: отсутствует имя для члена объекта 
• Ошибка синтаксического анализа поврежденного файла XML 
• Ошибка RegEx: анализировать нечего. Введите полное выражение
• Regex не смог успешно проанализировать записи, но ошибки нет
• REGEX_MATCH: RegEx: недопустимый диапазон символов

У вас есть дискуссионный форум, блог или другой контент в Сообществе, который помог вам при анализе текста? Оставьте это в комментариях ниже.

pandas.read_csv — документация pandas 2.0.0

pandas.read_csv( filepath_or_buffer , * , sep=_NoDefault.no_default , delimiter=None , header=’infer’ , names=_NoDefault.no_default , index_col=None , usecols = Нет , DTYPE = NONE , ENGINE = NONE , Преобразования = NONE , TRUE_VALUES = NONE , FALSE_VALUE0403 skipfooter=0 , nrows=None , na_values=None , keep_default_na=True , na_filter=True , verbose=False , skip_blank_lines=True , parse_dates=None , infer_datetime_format =_NoDefault.no_default , keep_date_col=False , date_parser=_NoDefault.no_default , date_format=Нет , dayfirst=False , cache_dates=False 0 3 iterator0404, chunksize=Нет , сжатие=’infer’ , тысяч=Нет , десятичное число=’. ‘ , Lineterminator = None , quotechar = » ‘, цитирование = 0 , Doublequote = True , Escapechar = None , Commert = None , 040404040404040404040404040404040404043 гг. строгий’ , диалект=Нет , on_bad_lines=’ошибка’ , delim_whitespace=Ложь , low_memory=Истина , memory_map=False , float_precision=Нет , storage_options=Нет , dtype_backend=_NoDefault.no_default ) [источник]

Чтение файла значений, разделенных запятыми (csv), в DataFrame.

Также поддерживает опциональную итерацию или разрыв файла на куски.

Дополнительную справку можно найти в онлайн-документах для Инструменты ввода-вывода.

Параметры

filepath_or_buffer str, объект пути или файлоподобный объект

Допустим любой допустимый строковый путь. Строка может быть URL-адресом. Действительный Схемы URL включают http, ftp, s3, gs и файл. Для URL-адресов файлов хостом является ожидал. Локальный файл может быть: file://localhost/path/to/table.csv.

Если вы хотите передать объект пути, pandas принимает любой os.PathLike .

Под файлоподобным объектом мы подразумеваем объекты с помощью метода read() , например дескриптор файла (например, с помощью встроенной функции open ) или StringIO .

sep str, по умолчанию ‘,’

Разделитель для использования. Если sep имеет значение None, механизм C не может автоматически определять разделитель, но механизм синтаксического анализа Python может, то есть последний будет использоваться и автоматически определять разделитель встроенным сниффером Python инструмент, csv.Sniffer . Кроме того, разделители длиннее 1 символа и отличное от '\s+' будет интерпретироваться как регулярное выражение и также заставит использовать механизм синтаксического анализа Python. Обратите внимание, что регулярное выражение разделители склонны игнорировать данные в кавычках. Пример регулярного выражения: '\r\t' .

разделитель ул, по умолчанию Нет

Псевдоним для sep.

заголовок int, список int, None, по умолчанию ‘infer’

Номера строк для использования в качестве имен столбцов и начало данные. Поведение по умолчанию заключается в выводе имен столбцов: если нет имен передаются, поведение идентично header=0 и столбцу имена выводятся из первой строки файла, если столбец имена передаются явно, тогда поведение идентично заголовок=Нет . Явно передайте заголовок = 0 , чтобы иметь возможность заменить существующие имена. Заголовок может быть списком целых чисел, указать расположение строк для мультииндекса в столбцах например [0,1,3]. Промежуточные строки, которые не указаны, будут пропущено (например, 2 в этом примере пропущено). Обратите внимание, что это параметр игнорирует закомментированные строки и пустые строки, если skip_blank_lines=True , поэтому header=0 обозначает первую строку данные, а не первую строку файла.

имен в виде массива, необязательный

Список имен столбцов для использования. Если файл содержит строку заголовка, то вы должны явно передать заголовок = 0 , чтобы переопределить имена столбцов. Дубликаты в этом списке не допускаются.

index_col int, str, последовательность int / str или False, необязательный, по умолчанию None

Столбцы для использования в качестве меток строк DataFrame , либо заданные как имя строки или индекс столбца. Если задана последовательность int/str, Используется мультииндекс.

Примечание: index_col = False можно использовать для принудительного использования pandas , а не , использовать первый столбец в качестве индекса, например. когда у вас есть искаженный файл с разделителями в конец каждой строки.

usecols похожий на список или вызываемый, необязательный

Возвращает подмножество столбцов. Если это список, все элементы должны либо быть позиционными (т.е. целыми индексами в столбцах документа) или строками которые соответствуют именам столбцов, предоставленным пользователем в имен или выводится из строки (строк) заголовка документа. Если дано имен , документ строки заголовка не учитываются. Например, допустимый список Параметр usecols будет [0, 1, 2] или ['foo', 'bar', 'baz'] . Порядок элементов игнорируется, поэтому usecols=[0, 1] совпадает с [1, 0] . Чтобы создать экземпляр DataFrame из данных с сохранением порядка элементов, используйте pd.read_csv(данные, usecols=['foo', 'bar'])[['foo', 'bar']] для колонн в ['foo', 'bar'] заказ или pd. read_csv(данные, usecols=['foo', 'bar'])[['bar', 'foo']] для ['bar', 'foo'] заказ.

Если вызываемая функция, вызываемая функция будет оцениваться по столбцу имена, возвращая имена, в которых вызываемая функция оценивается как True. Ан Пример допустимого вызываемого аргумента: lambda x: x.upper() в ['ААА', 'ВВВ', 'ДДД'] . Использование этого параметра приводит к гораздо более быстрому время синтаксического анализа и меньшее использование памяти.

dtype Введите имя или словарь столбца -> тип, необязательно

Тип данных для данных или столбцов. Например. {‘a’: np.float64, ‘b’: np.int32, ‘с’: ‘Int64’} Используйте str или объект вместе с подходящими настройками na_values ​​ чтобы сохранить и не интерпретировать dtype. Если указаны преобразователи, они будут применены ВМЕСТО. преобразования dtype.

Новое в версии 1.5.0: добавлена ​​поддержка defaultdict. Укажите defaultdict в качестве входных данных, где по умолчанию определяет dtype столбцов, которые не указаны явно перечислено.

Engine {‘c’, ‘python’, ‘pyarrow’}, опционально

Используемый модуль Parser. Движки C и pyarrow быстрее, а движок python в настоящее время является более полнофункциональным. Многопоточность в настоящее время поддерживается только двигатель Пирроу.

Новое в версии 1.4.0: В качестве экспериментального двигателя добавлен двигатель «pyarrow» и некоторые особенности не поддерживаются или могут работать некорректно с этим движком.

преобразователи dict, необязательный

Dict функций для преобразования значений в определенных столбцах. Ключи могут либо быть целыми числами или метками столбцов.

true_values ​​ список, необязательный

Значения, которые следует считать истинными в дополнение к нечувствительным к регистру вариантам «Истина».

false_values ​​ список, необязательный

Значения, которые следует рассматривать как False в дополнение к нечувствительным к регистру вариантам «False».

пропуск начального пространства bool, по умолчанию False

Пропускать пробелы после разделителя.

skiprows список, int или вызываемый, необязательно в начале файла.

Если вызываемая функция, вызываемая функция будет оцениваться по строке индексы, возвращая True, если строку следует пропустить, и False в противном случае. Примером допустимого вызываемого аргумента может быть лямбда x: x в [0, 2] .

skipfooter int, по умолчанию 0

Количество строк в нижней части файла для пропуска (не поддерживается с engine=’c’).

nrows int, необязательный

Количество строк файла для чтения. Полезно для чтения частей больших файлов.

na_values ​​ скаляр, строка, список или словарь, необязательно

Дополнительные строки для распознавания как NA/NaN. Если dict прошел, конкретный значения NA для каждого столбца. По умолчанию следующие значения интерпретируются как NaN: », ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1.#IND’, ‘-1.#QNAN’, ‘-NaN’, ‘-nan ‘, ‘1.#IND’, ‘1.#QNAN’, ‘’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘Нет’, «н/д», «нан», «нуль».

keep_default_na bool, default True

Включать или нет значения NaN по умолчанию при разборе данных. В зависимости от того, передается ли na_values ​​, поведение будет следующим:

• Если keep_default_na равно True, и указаны na_values ​​, na_values ​​ добавляется к значениям NaN по умолчанию, используемым для синтаксического анализа.

• Если keep_default_na равно True и na_values ​​ не указаны, только для синтаксического анализа используются значения NaN по умолчанию.

• Если keep_default_na имеет значение False и na_values ​​ указаны, только значения NaN, указанные na_values ​​, используются для синтаксического анализа.

• Если keep_default_na имеет значение False, а na_values ​​ не указаны, нет строки будут проанализированы как NaN.

Обратите внимание, что если na_filter передается как False, keep_default_na и na_values ​​ параметры будут игнорироваться.

na_filter bool, по умолчанию True

Обнаружение маркеров отсутствующих значений (пустые строки и значение na_values). В данные без каких-либо NA, передача na_filter=False может улучшить производительность чтения большого файла.

verbose bool, по умолчанию False

Указывает количество значений NA, помещенных в нечисловые столбцы.

skip_blank_lines bool, по умолчанию True

Если True, пропускать пустые строки, а не интерпретировать как значения NaN.

parse_dates bool или список int или имена или список списков или dict, по умолчанию False

Поведение следующее:

• логическое значение. Если True -> попробуйте проанализировать индекс.

• список целых чисел или имен. например Если [1, 2, 3] -> попробуйте проанализировать столбцы 1, 2, 3 каждый как отдельный столбец даты.

• список списков. например Если [[1, 3]] -> объединить столбцы 1 и 3 и проанализировать как один столбец даты.

• дикт, напр. {‘foo’ : [1, 3]} -> анализировать столбцы 1, 3 как дату и вызывать результат ‘foo’

Если столбец или индекс не могут быть представлены в виде массива дат и времени, скажем, из-за неразборчивого значения или сочетания часовых поясов столбец или индекс будет возвращен без изменений как объектный тип данных. Для нестандартный синтаксический анализ даты и времени, используйте pd.to_datetime после pd. read_csv .

Примечание. Для дат в формате iso8601 существует быстрый путь.

infer_datetime_format bool, по умолчанию False

Если True и parse_dates включены, панды попытаются вывести формат строк даты и времени в столбцах, и если его можно вывести, переключиться на более быстрый метод их разбора. В некоторых случаях это может увеличить скорость парсинга в 5-10 раз.

Устарело, начиная с версии 2.0.0: строгая версия этого аргумента теперь используется по умолчанию, передача не имеет никакого эффекта.

keep_date_col bool, по умолчанию False

Если True и parse_dates указывает объединение нескольких столбцов, то сохранить исходные столбцы.

date_parser функция, необязательная

Функция для преобразования последовательности строковых столбцов в массив экземпляры даты и времени. По умолчанию используется dateutil. parser.parser для выполнения преобразование. Pandas попытается вызвать date_parser тремя разными способами: переход к следующему, если возникает исключение: 1) передать один или несколько массивов (как определено parse_dates ) в качестве аргументов; 2) объединить (по строкам) строковые значения из столбцов, определенных parse_dates , в один массив и передать это; и 3) вызвать date_parser один раз для каждой строки, используя один или больше строк (соответствующих столбцам, определенным parse_dates ) как аргументы.

Устарело, начиная с версии 2.0.0: вместо этого используйте date_format или считывайте как объект , а затем применяйте to_datetime() по мере необходимости.

date_format str или dict of column -> format, по умолчанию None

формат. Для чего-то более сложного, пожалуйста, прочитайте как объект , а затем примените to_datetime() по мере необходимости.

Новое в версии 2.0.0.

dayfirst bool, по умолчанию False

Дата в формате ДД/ММ, международный и европейский формат.

cache_dates bool, по умолчанию True

Если True, используйте кэш уникальных преобразованных дат для применения datetime преобразование. Может привести к значительному ускорению при анализе дубликатов. строки даты, особенно со смещением часового пояса.

iterator bool, по умолчанию False

Возврат объекта TextFileReader для итерации или получения чанков с get_chunk() .

Изменено в версии 1.2: TextFileReader — контекстный менеджер.

chunksize целое число, необязательный

Возврат объекта TextFileReader для итерации. См. документацию по инструментам ввода-вывода для получения дополнительной информации об итераторе и размере фрагмента .

Изменено в версии 1.2: TextFileReader — менеджер контекста.

сжатие str или dict, по умолчанию ‘infer’

Для распаковки данных на лету на диске. Если «infer» и «filepath_or_buffer» пути, а затем определить сжатие из следующих расширений: ‘.gz’, ‘.bz2’, ‘.zip’, ‘.xz’, ‘.zst’, ‘.tar’, ‘.tar.gz’, ‘.tar.xz’ или ‘.tar.bz2’ (иначе без сжатия). При использовании «zip» или «tar» ZIP-файл должен содержать только один файл данных для чтения. Установите на Нет без декомпрессии. Также может быть dict с набором ключей 'method' на один из { 'zip' , 'gzip' , 'bz2' , 'zstd' , 'tar' } и другие пары ключ-значение пересылаются на zipfile.ZipFile , gzip.GzipFile , bz2.BZ2File , zstandard.ZstdDecompressor или tarfile.TarFile соответственно. Например, следующее может быть передано для декомпрессии Zstandard с использованием пользовательский словарь сжатия: сжатие={'метод': 'zstd', 'dict_data': my_compression_dict} .

Новое в версии 1.5.0: Добавлена ​​поддержка файлов .tar .

Изменено в версии 1.4.0: поддержка Zstandard.

тысяч стр, опционально

Разделитель тысяч.

десятичное число строка, по умолчанию ‘.’

Символ для распознавания десятичной точки (например, используйте ‘,’ для европейских данных).

ограничитель линии str (длина 1), необязательный

Символ для разбиения файла на строки. Действует только с C-парсером.

quotechar str (длина 1), необязательный

Символ, используемый для обозначения начала и конца цитируемого элемента. Цитируется элементы могут включать разделитель, и он будет проигнорирован.

цитирование экземпляр int или csv.QUOTE_*, по умолчанию 0

Поведение цитирования поля управления в соответствии с константами csv. QUOTE_* . Используйте один из QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) или QUOTE_NONE (3).

двойная кавычка bool, по умолчанию True

Когда указана кавычка, а цитирование не QUOTE_NONE , указать следует ли интерпретировать два последовательных элемента кавычек ВНУТРИ a поле как один элемент quotechar .

escapechar str (длина 1), необязательный

Односимвольная строка, используемая для экранирования других символов.

комментарий ул, необязательный

Указывает, что оставшуюся часть строки анализировать не следует. Если найти в начале строки, эта строка будет полностью проигнорирована. Этот параметр должен быть одиночный персонаж. Как и пустые строки (пока skip_blank_lines=True ), полностью прокомментированные строки игнорируются параметром заголовка , но не скипроу . Например, если comment='#' , синтаксический анализ #пусто\na,b,c\n1,2,3 с заголовком =0 приведет к тому, что ‘a,b,c’ будет рассматривается как заголовок.

encoding str, необязательный, по умолчанию «utf-8»

Кодировка, используемая для UTF при чтении/записи (например, «utf-8»). Список Python стандартные кодировки.

Изменено в версии 1.2: Когда кодировка равна None , errors="replace" передается в открыть() . В противном случае errors="strict" передается в open() . Ранее такое поведение имело место только для engine="python" .

Изменено в версии 1.3.0: encoding_errors — новый аргумент. Кодировка больше не имеет влияние на то, как обрабатываются ошибки кодирования.

encoding_errors str, необязательный, по умолчанию «строгий»

Как обрабатываются ошибки кодирования. Список возможных значений.

Новое в версии 1.3.0.

диалект str или csv.Dialect, необязательный следующие параметры: разделитель , двойная кавычка , escapechar , skipinitialspace , кавычки и с цитированием . Если необходимо переопределить значения, будет выдано предупреждение ParserWarning. См. csv. Диалект документации для более подробной информации.

on_bad_lines {‘error’, ‘warn’, ‘skip’} или callable, по умолчанию ‘error’

Указывает, что делать при обнаружении плохой строки (строки со слишком большим количеством полей). Допустимые значения:

• «ошибка», вызывает исключение при обнаружении плохой строки.

• «предупредить», выдать предупреждение при обнаружении плохой строки и пропустить эту строку.

• «пропустить», пропустить плохие строки без поднятия или предупреждения при их обнаружении.

Новое в версии 1.3.0.

Новое в версии 1.4.0:

• вызываемая, функция с подписью (bad_line: список[str]) -> список[str] | Нет , который будет обрабатывать одиночный плохая линия. bad_line — это список строк, разделенных на sep . Если функция возвращает None , плохая строка будет проигнорирована. Если функция возвращает новый список строк с большим количеством элементов, чем Ожидается, что ParserWarning будет выдано при удалении дополнительных элементов. Поддерживается только при engine="python"

delim_whitespace bool, по умолчанию False

Указывает, будут ли пробелы (например, ' ' или '    ' ) используется как сент. Эквивалентно настройке sep='\s+' . Если этот вариант установлено значение True, в качестве разделителя ничего не должно передаваться параметр.

low_memory bool, по умолчанию True

Внутренняя обработка файла фрагментами, что приводит к меньшему использованию памяти при синтаксическом анализе, но, возможно, вывод смешанного типа. Чтобы не было смешанных либо установите значение False, либо укажите тип с помощью dtype параметр. Обратите внимание, что весь файл считывается в один кадр данных независимо от того, используйте параметр chunksize или iterator для возврата данных в виде блоков. (Действительно только с C-парсером).

memory_map bool, по умолчанию False

Если для filepath_or_buffer указан путь к файлу, сопоставьте файловый объект прямо в память и получить доступ к данным прямо оттуда. Используя это Опция может повысить производительность, потому что больше нет накладных расходов на ввод-вывод.

float_precision str, необязательный

Указывает, какой преобразователь должен использовать механизм C для операций с плавающей запятой. ценности. Возможные варианты: Нет или «высокий» для обычного преобразователя, «устаревший» для оригинального конвертера панд с более низкой точностью, и «round_trip» для конвертера туда и обратно.

Изменено в версии 1.2.

storage_options dict, необязательный

Дополнительные параметры, имеющие смысл для конкретного подключения к хранилищу, например. хост, порт, имя пользователя, пароль и т. д. Для URL-адресов HTTP(S) пары ключ-значение пересылаются на urllib.request.Request в качестве параметров заголовка. Для других URL-адреса (например, начинающиеся с «s3://» и «gcs://») пары «ключ-значение» перенаправлено на fsspec.open . Дополнительные сведения см. в fsspec и urllib . подробности и дополнительные примеры вариантов хранения см. здесь.

Новое в версии 1.2.

dtype_backend {«numpy_nullable», «pyarrow»}, по умолчанию используются DataFrames с поддержкой NumPy

Какой dtype_backend использовать, например.