Хранение данных на Azure Databricks

Databricks SQL — это облачное хранилище данных, построенное на архитектуре Lakehouse. Он работает непосредственно в вашем озере данных, поддерживает ANSI SQL с расширениями Delta Lake и предоставляет инструменты для создания высокопроизводительных, экономически эффективных хранилищ данных без перемещения ваших данных.

Интерфейсы и средства

Databricks SQL выполняется в хранилищах SQL и доступен из нескольких интерфейсов для запросов, визуализации, управления конвейерами и автоматизации.

Интерфейс Описание
редактор SQL Написание и запуск запросов SQL с помощью интегрированной помощи по искусственному интеллекту, комментариев кода и журнала версий.
Ноутбуки Подключите записную книжку к хранилищу SQL для запуска SQL вместе с Python, Scala или R. Сведения об ограничениях см. в Notebooks и хранилищах SQL.
Работы Планирование запросов SQL в качестве заданий для автоматизированных рабочих процессов обработки данных и отчетов.
Панели мониторинга Создавайте интерактивные AI/BI дашборды с помощью AI-ассистированного создания для обмена аналитическими инсайтами в вашей организации.
Виды метрик Определите бизнес-метрики с согласованными вычислениями с помощью семантического слоя. Повторно используйте метрики между запросами и панелями мониторинга.
Оповещения Отслеживайте результаты запроса, вычисляйте условия и автоматически доставляете уведомления.
ETL Определите и обновите потоковые таблицы и материализованные представления непосредственно в Databricks SQL для добавочных конвейеров ETL.
REST API Автоматизация и управление объектами SQL Databricks программным способом.

Мониторинг и оптимизация

Resource Описание
Журнал запросов Просмотрите прошлые запуски запросов, время выполнения и использование ресурсов в хранилище.
Профиль запроса Проверьте план выполнения для запроса, чтобы определить узкие места и возможности оптимизации.
Аналитика производительности запросов Получайте автоматические аналитические сведения и рекомендации при неэффективном выполнении запросов.

Начало работы

Если вы не знакомы с Databricks SQL, начните с концепций, а затем следуйте пошаговому руководству.

Resource Описание
Концепции Databricks SQL Основные понятия, включая запросы, хранилища SQL, панели мониторинга и управление данными.
Архитектура хранения данных Понимание архитектуры lakehouse, слоёв медальона и подходов к моделированию данных для Databricks SQL.
Начало работы с хранилищем данных Следуйте полному пошаговому руководству, охватывающим примеры панелей мониторинга, записных книжек, заданий, приема данных и настройки хранилища SQL.
Представления метрик каталога Unity Определите последовательные и многократно используемые бизнес-метрики с помощью семантического слоя для использования в запросах и панелях инструментов.
Создание панели мониторинга ИИ/BI Создайте и опубликуйте первую панель мониторинга с помощью наборов данных, визуализаций и фильтров с помощью искусственного интеллекта.

Справочные материалы

  • Last updated on