Общие сведения о записных книжках и конвейерах Azure Databricks

В Azure Databricks можно использовать записные книжки для выполнения кода, написанного на Python, Scala, SQL и других языках для приема и обработки данных. Записные книжки предоставляют интерактивный интерфейс, в котором можно запускать отдельные ячейки кода и использовать Markdown для включения заметок и заметок.

Во многих решениях по проектированию данных код, написанный и протестированный в интерактивном режиме, можно позже включить в рабочую нагрузку автоматической обработки данных. В Azure такие рабочие нагрузки часто реализуются как конвейеры в Фабрике данных Azure, в которых одна или несколько действий используются для оркестрации ряда задач, которые могут выполняться по запросу, с запланированными интервалами или в ответ на событие (например, новые данные загружаются в папку в озере данных). Фабрика данных Azure поддерживает активность записной книжки, которую можно использовать для автоматизации выполнения записной книжки в рабочей области Azure Databricks.