Создание первого рабочего процесса с помощью заданий Lakeflow

Используйте Lakeflow Jobs для оркестрации задач по чтению и обработке образца набора данных. В этом кратком руководстве вы:

  1. Создайте новый блокнот и добавьте код для чтения примера набора данных бронирования недвижимости.
  2. Сохраните набор данных в Unity Catalog.
  3. Создайте записную книжку и добавьте код, чтобы прочитать набор данных из каталога Unity, отфильтровать его по годам и отобразить результаты.
  4. Создайте новое задание и настройте две задачи с помощью записных книжек.
  5. Запустите задание и ознакомьтесь с результатами.

Требования

Если ваша рабочая область поддерживает каталог Unity и функция "Бессерверные задания" включена, по умолчанию задание выполняется на бессерверных вычислительных ресурсах. Для запуска задания с бессерверными вычислениями не требуется разрешение на создание кластера.

В противном случае необходимо иметь разрешение на создание кластера для создания вычислительных ресурсов для выполнения заданий или разрешения на использование всех целевых вычислительных ресурсов.

Этот быстрый старт читается из samples.wanderbricks.bookings, который доступен во всех рабочих пространствах с поддержкой Unity Catalog, поэтому для настройки исходных данных нет. Чтобы записать таблицу, которую читает второй блокнот, вам требуется разрешение на создание схемы в каталоге (привилегии USE CATALOG и CREATE SCHEMA).

Чтобы задать эти разрешения, обратитесь к администратору Databricks или изучите справочник по привилегиям Unity Catalog.

Создание записных книжек

Ниже описано, как создать две записные книжки для выполнения в этом рабочем процессе.

Получение и сохранение данных

Чтобы создать блокнот, который читает пример набора данных и сохраняет его в Unity Catalog:

  1. Нажмите кнопку на боковой панели и щелкните "Записная книжка". Databricks создает и открывает новую пустую записную книжку в папке по умолчанию. Язык по умолчанию — это язык, который вы недавно использовали, и записная книжка автоматически присоединяется к используемому вычислительному ресурсу.

  2. (Необязательно) Переименуйте блокнот в Получение данных бронирования.

  3. При необходимости измените язык по умолчанию на Python.

  4. Скопируйте приведенный ниже код Python и вставьте его в первую ячейку записной книжки. Перед запуском проверьте, что catalog и schema указывают на расположение, в которое у вас есть права на запись. Код создаёт схему, если её не существует.

    catalog = "main"
schema = "example_output"

spark.sql(f"CREATE SCHEMA IF NOT EXISTS {catalog}.{schema}")

bookings = spark.read.table("samples.wanderbricks.bookings")
bookings.write.mode("overwrite").saveAsTable(f"{catalog}.{schema}.bookings")

Чтение и отображение отфильтрованных данных

Чтобы создать записную книжку, которая фильтрует и отображает данные:

  1. Нажмите кнопку на боковой панели и щелкните "Записная книжка".

  2. (Необязательно) Переименуйте блокнот в Фильтрация данных бронирования.

  3. Следующий Python-код читает таблицу, которую вы сохранили на предыдущем этапе, и создаёт временный вид. Также создаётся виджет, который можно использовать для фильтрации данных в просмотре по году регистрации. Используйте те же значения catalog и schema, которые вы использовали в первом ноутбуке.

    from pyspark.sql.functions import year

catalog = "main"
schema = "example_output"

bookings = spark.read.table(f"{catalog}.{schema}.bookings")
bookings.createOrReplaceTempView("bookings_table")
years = spark.sql("SELECT DISTINCT year(check_in) AS year FROM bookings_table").toPandas()["year"].tolist()
years.sort()
dbutils.widgets.dropdown("year", "2025", [str(x) for x in years])
display(bookings.filter(year(bookings.check_in) == dbutils.widgets.get("year")))

Создание задания

Создаваемое задание состоит из двух задач.

Чтобы создать первую задачу, выполните следующие действия:

  1. В рабочей области щелкните на значок рабочих процессовЗадания и конвейеры на боковой панели.
  2. Нажмите кнопку "Создать", а затем "Задание".
  3. Щелкните плитку Notebook , чтобы настроить первую задачу. Если плитка "Записная книжка недоступна", нажмите кнопку "Добавить другой тип задачи " и найдите записную книжку.
  4. (Необязательно) Замените имя задания, используемое по умолчанию как New Job <date-time>, на ваше собственное имя.
  5. В поле Имя задачи введите имя задачи; например, retrieve-bookings.
  6. При необходимости выберите "Записная книжка " в раскрывающемся меню "Тип ".
  7. В раскрывающемся меню "Источник " выберите рабочую область, которая позволяет использовать сохраненную ранее записную книжку.
  8. Для Пути используйте браузер файлов, чтобы найти первую созданную записную книжку, щелкните по названию записной книжки и нажмите "Подтвердить".
  9. Нажмите кнопку " Сохранить задачу". Уведомление отображается в правом верхнем углу экрана.

Чтобы создать вторую задачу, выполните следующие действия.

  1. Щелкните значок Добавление задачи>Записная книжка.
  2. В поле Имя задачи введите имя задачи; например, filter-bookings.
  3. Для пути используйте браузер файлов, чтобы найти вторую созданную записную книжку, щелкните имя записной книжки и нажмите кнопку "Подтвердить".
  4. Щелкните Добавить под Параметры. В поле Ключ введите year. В поле Значение введите 2025.
  5. Нажмите кнопку " Сохранить задачу".

Запуск задания

Чтобы сразу запустить задание, щелкните Кнопка в правом верхнем углу.

Просмотр сведений о выполнении

  1. Щелкните вкладку "Запуски " и щелкните ссылку в столбце "Время начала ", чтобы открыть запуск, который требуется просмотреть.

  2. Нажмите на любую из задач, чтобы увидеть результат и детали. Например, нажмите задачу filter-bookings, чтобы просмотреть выходные данные и сведения о выполнении задачи фильтрации:

    Просмотреть результаты фильтрации бронирований

Запуск с разными параметрами

Чтобы повторно запустить задачу и отфильтровать бронирования за другой год:

  1. Нажмите кнопку Blue Down Caret рядом с кнопкой «Запустить сейчас» и выберите «Запустить сейчас с различными параметрами».
  2. В поле Значение введите 2024.
  3. Щелкните Выполнить.

Дополнительные ресурсы

  • Last updated on