Поделиться через

Свойства приема данных Azure Synapse Data Explorer (предварительная версия)

Это важно

Обозреватель данных Azure Synapse Analytics (предварительная версия) будет прекращен 7 октября 2025 г. После этой даты рабочие нагрузки, работающие в Synapse Data Explorer, будут удалены, а связанные данные приложения будут потеряны. Мы настоятельно рекомендуем мигрировать в Eventhouse на платформе Microsoft Fabric.

Программа Microsoft Cloud Migration Factory (CMF) предназначена для поддержки клиентов при миграции в Fabric. Программа предлагает практические ресурсы клавиатуры без затрат для клиента. Эти ресурсы назначаются в течение 6–8 недель с предопределенной и согласованной областью. Номинации клиентов принимаются от команды учетных записей Microsoft или непосредственно путем отправки запроса на помощь команде CMF.

Приемом данных называется процесс, при котором данные добавляются в таблицу и становятся доступными для запросов в Data Explorer. Вы добавляете свойства в команду приема после ключевого слова with.

Свойства поглощения

В следующей таблице перечислены свойства, поддерживаемые Data Explorer, описываются и приведены примеры:

Недвижимость Описание Пример
ingestionMapping Строковое значение, указывающее, как сопоставить данные из исходного файла с фактическими столбцами таблицы. Определите значение format с соответствующим типом сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(не рекомендуется: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Строковое значение, указывающее, как сопоставить данные из исходного файла с фактическими столбцами таблицы с помощью именованного объекта политики сопоставления. Определите значение format с соответствующим типом сопоставления. Дополнительные сведения см. в разделе о сопоставлении данных. with (format="csv", ingestionMappingReference = "Mapping1")
(не рекомендуется: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime Значение datetime (отформатировано как строка ISO8601) для использования во время создания экстентов данных приема. Если не указано, будет использоваться текущее значение (now()). Переопределение предопределенного значения полезно при загрузке устаревших данных, чтобы политика хранения применялась правильно. При указании убедитесь, что свойство Lookback в действующей политике слияния целевой таблицы соответствует указанному значению. with (creationTime="2017-02-13")
extend_schema Логическое значение, указывающее команде расширение схемы таблицы (по умолчанию — false). Этот параметр применяется только к командам .append и .set-or-append. Только разрешенные расширения схемы содержат дополнительные столбцы, добавленные в таблицу в конце. Если исходная схема таблицы (a:string, b:int), допустимое расширение схемы будет (a:string, b:int, c:datetime, d:string), но (a:string, c:datetime) не будет допустимым.
folder Для команд приема из запроса папка, назначаемая таблице. Если таблица уже существует, это свойство заменит папку таблицы. with (folder="Tables/Temporary")
format Формат данных (см. поддерживаемые форматы данных). with (format="csv")
ingestIfNotExists Строковое значение, которое, если указано, не позволяет приему успешно завершиться, если в таблице уже есть данные с тегом ingest-by: с тем же значением. Это гарантирует прием идемпотентных данных. Дополнительные сведения см. в разделе приема по тегам. Свойства with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') указывают на то, что если данные с тегом ingest-by:Part0001 уже существуют, то не завершите текущее прием. Если он еще не существует, этот новый прием должен иметь этот тег (в случае, если в будущем прием пытается принимать те же данные снова.)
ignoreFirstRecord Логическое значение, которое, если задано значение true, указывает, что прием должен игнорировать первую запись каждого файла. Это свойство полезно для файлов в CSVи аналогичных форматах, если первая запись в файле — это имена столбцов. По умолчанию предполагается false. with (ignoreFirstRecord=false)
persistDetails Логическое значение, которое, если указано, указывает на то, что команда должна сохранять подробные результаты (даже в случае успешного выполнения), чтобы команда операция .show могла извлечь их. По умолчанию — false. with (persistDetails=true)
policy_ingestiontime Логическое значение, указывающее, следует ли включить политику времени приема в таблице, созданной этой командой. Значение по умолчанию — true. with (policy_ingestiontime=false)
recreate_schema Логическое значение, указывающее, может ли команда повторно создать схему таблицы. Это свойство применяется только к команде .set-or-replace. Это свойство имеет приоритет над свойством extend_schema, если они заданы. with (recreate_schema=true)
tags Список тегов для связывания с приемными данными, отформатированными в виде строки JSON with (tags="['Tag1', 'Tag2']")
validationPolicy Строка JSON, указывающая, какие проверки следует выполнять во время приема. Сведения о различных вариантах см. в приема данных . with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (на самом деле это политика по умолчанию)
zipPattern Используйте это свойство при приеме данных из хранилища с ZIP-архивом. Это строковое значение, указывающее регулярное выражение, используемое при выборе файлов в ZIP-архиве для приема. Все остальные файлы в архиве будут игнорироваться. with (zipPattern="*.csv")

Дальнейшие шаги