Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Прием данных — это процесс загрузки данных из одного или нескольких источников в таблицу в Azure Data Explorer. После приема данные доступны для запроса. В этой статье вы узнаете, как получить данные из Amazon S3 в новую или существующую таблицу.
Дополнительные сведения об Amazon S3 см. в статье "Что такое Amazon S3?
Общие сведения о приеме данных см. в Azure Data Explorer обзор приема данных.
Предварительные требования
- Учетная запись Microsoft или идентификатор пользователя Microsoft Entra. Вам не нужна Azure подписка.
- Войдите в веб-интерфейс Azure Data Explorer.
- Кластер Azure Data Explorer и база данных. Создайте кластер и базу данных.
Получить данные
Выберите "Запрос" в меню слева.
Щелкните правой кнопкой мыши по базе данных, в которую вы хотите загрузить данные, а затем выберите "Получить данные".
Источник
В окне "Получение данных" выбрана вкладка "Источник".
Выберите источник данных из доступного списка. В этом примере загрузка данных из Amazon S3.
Настройка
Выберите целевую базу данных и таблицу. Чтобы получить данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.
Примечание.
Имена таблиц могут составлять до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.
В поле URI вставьте строка подключения для одного контейнера или отдельного объекта в следующем формате.
Ба́кет:
https://BucketName.s3.RegionName.amazonaws.comОбъект: ObjectName
;AwsCredentials=AwsAccessID,AwsSecretKeyПри необходимости можно применить фильтры контейнеров для фильтрации данных в соответствии с определенным расширением файла.
Примечание.
Максимальный размер принимаемого файла составляет 6 ГБ. Рекомендуется загружать файлы размером от 100 МБ до 1 ГБ.
Выберите Далее.
Проверка
Откроется вкладка проверки с предварительным просмотром данных.
Чтобы завершить процесс приема, нажмите кнопку Готово.
По желанию:
- Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.
- Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.
- Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. См. форматы данных, поддерживаемые Azure Data Explorer для приема.
- Изменение столбцов.
- Изучите дополнительные параметры на основе типа данных.
Изменить столбцы
Примечание.
- Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить с существующим столбцом, сначала удалите новый столбец.
- Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.
Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:
- Тип таблицы — новая или существующая.
- Тип сопоставления является новым или существующим.
| Тип таблицы | Тип сопоставления | Доступные корректировки |
|---|---|---|
| Новая таблица | Новое сопоставление | Переименование столбца, изменение типа данных, изменение источника данных, преобразование маппинга, добавление столбца, удаление столбца |
| Существующая таблица | Новое сопоставление | Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить) |
| Существующая таблица | Существующее сопоставление | ничего |
Трансформации отображений
Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования при загрузке данных. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".
Преобразования сопоставления можно выполнять в столбце типа string или datetime, если у источника тип данных int или long. Поддерживаются следующие преобразования сопоставлений:
- DateTimeFromUnixSeconds;
- DateTimeFromUnixMilliseconds;
- DateTimeFromUnixMicroseconds;
- DateTimeFromUnixNanoseconds.
Дополнительные параметры на основе типа данных
Табличные (CSV, TSV, PSV):
Если вы используете табличные форматы в существующей таблице, вы можете выбрать раскрывающееся меню сопоставления таблиц и выбрать опцию "Использовать существующее сопоставление". Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же.
В противном случае создайте новое сопоставление.
Чтобы использовать первую строку в качестве имен столбцов, выберите заголовок первой строки.
JSON:
- Чтобы определить деление данных JSON по уровням вложенности, выберите вложенные уровни от 1 до 100.
Итоги
В окне подготовки данных все три шага отображают зеленые флажки, когда прием данных завершается успешно. Вы можете просмотреть команды, которые используются на каждом шаге, или выбрать карту для запроса, визуализации или удаления загруженных данных.
