Написание запросов и изучение данных в новом редакторе SQL

Пользовательский интерфейс Databricks включает редактор SQL, который можно использовать для создания запросов, совместной работы с коллегами, просмотра доступных данных и создания визуализаций. На этой странице объясняется, как использовать редактор SQL для записи, запуска, управления и совместного использования запросов.

В этой статье объясняется, как использовать новый редактор SQL. Сведения о работе с устаревшим редактором SQL см. в статье "Написание запросов" и изучение данных в устаревшем редакторе SQL.

Открытие редактора SQL

Чтобы открыть редактор SQL в пользовательском интерфейсе Azure Databricks, щелкните редактор SQL на боковой панели.

Редактор SQL открывается для последнего открытого запроса. Если запрос не существует или все запросы были явно закрыты, откроется целевая страница редактора SQL.

Включение нового редактора SQL

Используйте переключатель редактора New SQL справа от раскрывающихся списков каталога и схем, чтобы включить новый редактор. На узких дисплеях можно найти переключатель нового редактора SQL, щелкнув по , расположенному справа от селекторов каталога и схем.

Включите новый редактор для любого собственного запроса:

• Щелкните новый редактор SQL: OFF. Откроется всплывающее меню редактора SQL.
  • По умолчанию установлен флажок "Применить ко всем моим запросам ". Сохраните этот параметр, чтобы включить редактор для всех собственных запросов.
  • Чтобы включить только новый редактор для активного запроса, установите флажок "Применить ко всем моим запросам ".
• Установите переключатель нового SQL редактора в положение ВКЛ.

Новый редактор SQL нельзя использовать для всех запросов. Невозможно переключиться на новый редактор SQL для запроса, если одно из следующих значений имеет значение true:

• Запрос не принадлежит.
• Запрос содержит раскрывающиеся списки на основе запросов, которые не поддерживаются. См. раздел Работа с параметрами запроса.

При включении нового редактора SQL запрос снова открывается в новом пользовательском интерфейсе. Результирующий набор пуст, пока не будет выполнен запрос.

Ориентация

В этом разделе рассматриваются основные различия в пользовательском интерфейсе и объясняется, как найти и использовать доступные функции.

1. Доступ к файловой системе рабочей области: вы можете получить доступ к объектам рабочей области и упорядочить их непосредственно из редактора SQL.
2. Используйте интегрированный помощник Databricks: чат с помощником, чтобы помочь вам писать, уточнять или понимать запросы. Запустите код, созданный помощником на боковой панели.
3. Свернуть разделы кода: щелкните стрелку свернуть слева от блока кода, чтобы выборочно скрыть и развернуть разделы кода. Это упрощает работу с большими файлами.
4. Откройте палитру команд: палитра команд включает общие действия, сочетания клавиш, настраиваемые темы и ссылки, чтобы быстро найти необходимые элементы. После открытия используйте панель поиска для поиска определенных инструментов и сочетаний клавиш.
5. Комментарий к коду: добавление комментариев в код для улучшения совместной работы.
6. Просмотр журнала версий: просмотрите последние изменения в запросе.

Подключить к объекту вычислений

Для выполнения запросов необходимо иметь по крайней мере разрешения CAN USE в работающем хранилище SQL. Раскрывающийся список в верхней части редактора можно использовать для просмотра доступных параметров. Чтобы отфильтровать список, введите текст в текстовое поле.

При первом создании запроса список доступных хранилищ SQL отображается в алфавитном порядке. Последний используемый хранилище SQL выбирается при следующем создании запроса.

Значок рядом с хранилищем SQL указывает его состояние:

• Бег
• Пусковой
• Остановленный

Выбранный хранилище SQL автоматически перезагрузится при выполнении запроса. См. статью "Запуск хранилища SQL", чтобы узнать о других способах запуска хранилища SQL.

Просмотр активов и оказание помощи

Используйте левую панель в редакторе SQL для просмотра файлов рабочей области, просмотра объектов данных и получения справки от Databricks Assitant.

Просмотр файлов рабочей области

Щелкните чтобы открыть папку пользователя рабочей области. Вы можете перемещаться по всем файлам рабочей области, к которому у вас есть доступ из этой части пользовательского интерфейса.

Обзор объектов данных

Если у вас есть разрешение на чтение метаданных, в браузере схемы в редакторе SQL отображаются доступные базы данных и таблицы. Вы также можете просматривать объекты данных из обозревателя каталогов.

Объекты базы данных, управляемые каталогом Unity, можно перемещать в обозревателе каталогов без активных вычислений. Чтобы изучить данные в hive_metastore и других каталогах, не управляемых каталогом Unity, необходимо подключиться к вычислениям с соответствующими привилегиями. См. сведения об управлении данными с помощью Azure Databricks.

Щелкните в верхней части браузера схемы, чтобы обновить схему. Введите текст в строке поиска, чтобы отфильтровать ресурсы по имени. Щелкните фильтра для фильтрации объектов по типу.

Щелкните имя объекта в браузере, чтобы просмотреть дополнительные сведения об объекте. Например, щелкните имя схемы, чтобы отобразить таблицы в этой схеме. Щелкните имя таблицы, чтобы отобразить столбцы в этой таблице.

Обратитесь за помощью к помощнику Databricks

Щелкните значок , чтобы открыть окно чата с ассистентом Databricks. Щелкните предлагаемый вопрос или введите свой собственный вопрос, чтобы взаимодействовать с Помощником Databricks.

Создание запроса

Вы можете ввести текст для создания запроса в редакторе SQL. Элементы из браузера схем можно вставить для ссылки на каталоги и таблицы.

1. Введите запрос в редакторе SQL.

   Редактор SQL поддерживает автозавершение. При вводе автозавершение предполагает завершение. Например, если подходящим вариантом завершения в положении курсора является столбец, автозавершение предложит имя столбца. Если ввести select * from table_name as t where t., автозавершение распознает, что t является псевдонимом для table_name, и предложит указать столбцы внутри table_name. Вы также можете использовать автозавершение для ссылки на фрагменты запросов.

   

2. (Необязательно) После редактирования нажмите кнопку "Сохранить". По умолчанию запрос сохраняется в домашней папке пользователя. Чтобы сохранить запрос в другом расположении, выберите целевую папку и нажмите кнопку "Переместить".

Запрос источников данных

Вы можете определить источник запроса с помощью полного имени таблицы в самом запросе или выбрать сочетание каталога и схемы из раскрывающихся селекторов вместе с именем таблицы в запросе. Полностью квалифицированное имя таблицы в запросе переопределяет селекторы каталога и схемы в редакторе SQL. Если имя таблицы или столбца содержит пробелы, оберните эти идентификаторы в обратные апострофы в запросах SQL.

В следующих примерах показано, как запрашивать различные табличные объекты, которые можно хранить в каталоге.

Запрос стандартной таблицы или представления

В следующем примере выполняется запрос таблицы из samples каталога.

SELECT
  o_orderdate,
  o_orderkey,
  o_custkey,
  o_totalprice,
  o_shippriority
FROM
  samples.tpch.orders

Запрос представления метрик

В следующем примере выполняется запрос представления метрик, использующего таблицу из каталога примеров в качестве источника. Он оценивает три перечисленных мер и агрегирует по Order Month и Order Status. Он возвращает результаты, отсортированные по Order Month. Чтобы создать аналогичное представление метрик в рабочей области, см. статью "Создание представления метрик".

Все оценки мер должны быть упакованы в функцию MEASURE . См. агрегатную функцию measure.

SELECT
 `Order Month`,
 `Order Status`,
 MEASURE(`Order Count`),
 MEASURE(`Total Revenue`),
 MEASURE(`Total Revenue per Customer`)
FROM
 orders_metric_view
GROUP BY ALL
ORDER BY 1 ASC;

Оптимизация запроса с помощью помощника Databricks

Щелкните значок помощника по базе данных справа от редактора, чтобы получить встроенную помощь и предложения при написании запросов. Команда /optimize косой черты призывает Помощника оценивать и оптимизировать запросы. Дополнительные сведения см. в статье "Оптимизация Python,PySpark" и кода SQL.

Изменение нескольких вкладок запросов

По умолчанию редактор SQL использует вкладки, чтобы одновременно открывать и изменять несколько запросов. Чтобы открыть новую вкладку, щелкните +, а затем выберите Create new query (Создать новый запрос) или Open existing query (Открыть существующий запрос). Нажмите кнопку "Открыть существующий запрос ", чтобы просмотреть список запросов. Вкладка "Для вас" предлагает подборку рекомендаций на основе вашего использования. Используйте вкладку "Все ", чтобы найти любой запрос, к которому у вас есть доступ.

Выполнение одного запроса или многофакторных запросов

Вы можете писать многозначные запросы на одной вкладке редактора. Чтобы использовать несколько операторов запроса в одной вкладке, завершите каждый оператор точкой с запятой (;).

Чтобы выполнить один запрос, выполните следующий запрос:

1. Выберите хранилище SQL.
2. Выделите запрос в редакторе SQL (если несколько запросов находятся в области запросов).
3. Нажмите клавиши CTRL/CMD + ВВОД или нажмите кнопку "Выполнить" (1000), чтобы отобразить результаты в виде таблицы в области результатов.

Прерывание запроса

Чтобы завершить запрос во время выполнения, нажмите кнопку "Отмена". Администратор может остановить запущенный запрос, запущенный другим пользователем, просмотрев запрос завершения выполнения.

Предоставление общего доступа к запросу

Новый редактор SQL обрабатывает разрешения в двух частях:

интерактивное выполнение: запросы в новом редакторе SQL всегда выполняются с помощью запуска от имени наблюдателя учетных данных. Результаты запроса доступны любому, у кого есть доступ к запросу. Пользователи с разрешениями CAN EDIT или выше могут изменять черновик общего запроса. Кроме того, несохраненные изменения отображаются всем пользователям с разрешениями CAN VIEW или выше. Пользователи должны иметь по крайней мере разрешение CAN USE в связанном хранилище для выполнения запросов.

Параметры учетных данных: Параметры разрешений для устаревших оповещений, рабочих процессов и устаревших панелей мониторинга совпадают с параметрами для устаревшего редактора SQL. В зависимости от ваших предпочтений, эти активы можно запускать с помощью учетных данных владельца или зрителя.

Сведения о параметрах учетных данных для запуска от имени владельца и параметра учетных данных средства просмотра от имени см. в разделе "Настройка разрешений запроса". Сведения об управлении доступом к объекту запроса см . в списках управления доступом к объекту запроса.

Совместная работа с запросами в режиме реального времени

После предоставления общего доступа к запросу можно совместно выполнять совместное редактирование или выполнять отладку запросов. Редакторы также могут комментировать отдельные строки кода, чтобы задавать вопросы или добавлять предложения.

управление источником данных запроса

Файлы запросов Databricks SQL (расширение: .dbquery.ipynb) поддерживаются в папках Databricks Git. Вы можете использовать папку Git для управления файлами запросов и совместно использовать их в других рабочих областях с папками Git, которые обращаются к одному репозиторию Git. Если вы решили отказаться от нового редактора SQL после фиксации или клонирования запроса в папке Databricks Git, удалите и повторно клонируйте эту папку Git, чтобы избежать нежелательного поведения.

Сохранение запроса

Содержимое запроса в новом редакторе SQL постоянно выполняется автоматически. Кнопка "Сохранить " определяет, следует ли применять черновик содержимого запроса к связанным ресурсам, таким как устаревшие панели мониторинга, рабочие процессы или устаревшие оповещения. Если запрос предоставлен совместно с учетными данными владельца запуска от имени, только владелец запроса может использовать кнопку "Сохранить " для распространения изменений. Если для учетных данных задано значение "Запуск от имени", любой пользователь с по крайней мере CAN MANAGE разрешением может сохранить запрос.

Просмотр результатов запроса

Выходные данные каждой инструкции можно сравнить с несколькими операторами результатов. При выполнении нескольких инструкций SQL из одного окна редактирования можно использовать пользовательский интерфейс на панели вывода в нижней части экрана, чтобы прокручивать различные наборы результатов.

Вы можете взаимодействовать с результатами запроса и просматривать их с помощью области результатов. В области результатов представлены следующие функции для изучения результатов.

Визуализации

Щелкните , чтобы добавить визуализацию. Визуализации могут помочь изучить результирующий набор. Полный список доступных типов визуализаций см . в разделе "Типы визуализаций".

Нажмите кнопку на вкладке визуализации, чтобы отобразить дополнительные параметры.

• Нажмите кнопку "Скачать ", чтобы скачать данные, представленные в визуализации в виде CSV-файла, TSV или Excel.
• Нажмите кнопку "Удалить ", чтобы удалить визуализацию.
• Нажмите кнопку " Дублировать" , чтобы клонировать вкладку результатов.
• Нажмите "Переименовать", чтобы изменить название визуализации.

1. Нажмите кнопку "Изменить", чтобы изменить визуализацию.

2. Нажмите кнопку "Добавить на панель мониторинга", чтобы скопировать запрос и визуализацию в новую панель мониторинга AI/BI.

3. Выберите "Создать новую панель мониторинга " или " Добавить на существующую панель мониторинга".

   • Создание панели мониторинга: Создает новую панель мониторинга, содержащую все визуализации, связанные с запросом. Вам будет предложено выбрать имя новой панели мониторинга. Новая панель мониторинга сохраняется в домашней папке.
   • Добавьте на существующую панель мониторинга: Добавляет запрос и связанные визуализации на существующую панель мониторинга. Используйте раскрывающееся меню, чтобы выбрать панель мониторинга, в которую следует добавить набор данных и визуализацию.

Скачать результаты

Результаты можно скачать как CSV-файл или файл Excel. Загрузки CSV поддерживают до примерно 5 ГБ данных. Нажмите кнопку на вкладке результатов, чтобы просмотреть параметры скачивания. Размер окончательного скачивания файла может быть немного больше или меньше 5 ГБ, так как ограничение на 5 ГБ применяется к предыдущему шагу, чем к окончательному скачиванию файла.

Фильтры

Фильтры позволяют ограничить результирующий набор после выполнения запроса. Фильтры можно применить для выборочного отображения различных подмножеств данных. Используйте помощник, чтобы добавить фильтр для результатов.

Чтобы добавить фильтр, выполните приведенные действия.

1. Щелкните
2. Введите текст, чтобы описать тип фильтра, который требуется применить. Именованный фильтр применяется к результирующему набору.

Чтобы изменить фильтр, выполните приведенные действия.

1. Щелкните имя фильтра.
2. Используйте раскрывающееся меню и текстовые поля для настройки параметров фильтра.
3. (Необязательно) Выберите "С учетом регистра", чтобы сделать фильтр чувствительным к регистру.
4. (Необязательно) Нажмите кнопку "Добавить или условие" , чтобы добавить дополнительный фильтр.

Добавление параметров

Параметры позволяют ограничить результирующий набор, заменив значения в запрос во время выполнения. Сведения о применении параметров запроса см. в статье "Работа с параметрами запроса".

Изменения синтаксиса параметров

Запросы, написанные в устаревшем редакторе SQL, которые используют двойные фигурные скобки ({{}}) для маркировки параметров, необходимо изменить для выполнения в новом редакторе SQL. Новый редактор SQL использует тот же синтаксис параметров, что и другие средства Databricks, такие как панели мониторинга AI/BI, AI/BI Genie и записные книжки.

Параметры в новом редакторе SQL определяются с помощью именованного синтаксиса параметров. Именованные параметры — это параметры в запросе, который префиксируется двоеточием, например :parameter_name.

См . метки именованных параметров для документации по SQL. Примеры синтаксиса именованных параметров см. в примерах преобразования синтаксиса параметров из классического редактора SQL в именованные маркеры параметров.

Поддерживаемые типы фильтров

В следующей таблице показаны типы фильтров, поддерживаемые в новом редакторе SQL. Второй столбец указывает, работает ли фильтр в устаревшем редакторе SQL.

Использование сочетаний клавиш

Новый редактор SQL включает множество встроенных сочетаний клавиш, которые помогут вам быстро работать. В следующей таблице перечислены часто используемые сочетания клавиш.

Отключение нового редактора SQL

Чтобы отключить новый редактор SQL, выполните следующие действия.

• Щелкните новый редактор SQL: ON. Откроется всплывающее меню редактора SQL.
• Установите переключатель нового редактора SQL в положение OFF.
• В диалоговом окне подтверждения выберите отключить новый редактор только для активного запроса или для всех соответствующих запросов.
  • Отключение для всех соответствующих запросов не выбрано. Сохраните этот параметр, если вы хотите отключить новый редактор только для активного запроса.
  • Чтобы отключить новый редактор SQL для всех запросов, установите флажок Отключить для всех подходящих запросов.

Администраторы рабочей области могут отключить предварительную версию на уровне рабочей области, перейдя на портал предварительной версии. См. статью "Управление предварительными версиями Azure Databricks".