Руководство: Мастер оценки моделей машинного обучения для выделенных пулов SQL

Узнайте, как легко обогатить данные в выделенных пулах SQL с помощью прогнозных моделей машинного обучения. Модели, создаваемые специалистами по обработке и анализу данных, теперь легко доступны специалистам по обработке данных для прогнозной аналитики. Специалист по данным в Azure Synapse Analytics может просто выбрать модель из реестра моделей машинного обучения Azure для развертывания в пулах SQL Azure Synapse и запустить прогнозы для обогащения данных.

В этом руководстве описано, как:

Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

Предпосылки

• Рабочая область Azure Synapse Analytics с учетной записью хранения Azure Data Lake Storage 2-го поколения, настроенной в качестве хранилища по умолчанию. Вам необходимо быть участником данных хранилища BLOB-объектов файловой системы Data Lake Storage Gen2, с которой вы работаете.
• Выделенный пул SQL в рабочей области Azure Synapse Analytics. Дополнительные сведения см. в разделе "Создание выделенного пула SQL".
• Служба машинного обучения Azure, связанная с рабочей областью Azure Synapse Analytics. Дополнительные сведения см. в статье "Создание связанной службы машинного обучения Azure" в Azure Synapse.

Войдите на портал Azure

Войдите на портал Azure.

Обучение модели в Машинном обучении Azure

Прежде чем начать, убедитесь, что версия sklearn — 0.20.3.

Перед запуском всех ячеек в записной книжке проверьте, запущен ли вычислительный экземпляр.

1. Перейдите в рабочую область Машинного обучения Azure.

2. Скачайте Predict NYC Taxi Tips.ipynb.

3. Откройте рабочую область Машинного обучения Azure в Студии машинного обучения Azure.

4. Перейдите в Notebooks>Загрузить файлы. Затем выберите файл Predict NYC Taxi Tips.ipynb , который вы скачали и отправьте его.

5. После отправки и открытия записной книжки выберите "Выполнить все ячейки".

   Одна из ячеек может дать сбой и запросить аутентификацию в Azure. Следите за этим в выходных данных ячейки и выполните проверку подлинности в браузере, следуя ссылке и введя код. Затем повторно запустите записную книжку.

6. Записная книжка обучит модель ONNX и зарегистрирует ее в MLflow. Перейдите к моделям , чтобы убедиться, что новая модель зарегистрирована правильно.

7. Запуск записной книжки также экспортирует тестовые данные в CSV-файл. Скачайте CSV-файл в локальную систему. Позже вы импортируете CSV-файл в выделенный пул SQL и используете данные для тестирования модели.

   CSV-файл создается в той же папке, что и файл записной книжки. Выберите "Обновить " в проводнике, если он не отображается сразу.

   

Запуск прогнозов с помощью мастера оценки SQL

1. Откройте рабочую область Azure Synapse с помощью Synapse Studio.

2. Перейдите к Данные>Связанные>Учетные записи хранения. Отправьте test_data.csv в учетную запись хранения по умолчанию.

   

3. Перейдите к разделу "Разработка>скриптов SQL". Создайте скрипт SQL для загрузки test_data.csv в выделенный пул SQL.

   Примечание.

   Обновите URL-адрес файла в этом скрипте перед его запуском.

   IF NOT EXISTS (SELECT * FROM sys.objects WHERE NAME = 'nyc_taxi' AND TYPE = 'U')
   CREATE TABLE dbo.nyc_taxi
   (
       tipped int,
       fareAmount float,
       paymentType int,
       passengerCount int,
       tripDistance float,
       tripTimeSecs bigint,
       pickupTimeBin nvarchar(30)
   )
   WITH
   (
       DISTRIBUTION = ROUND_ROBIN,
       CLUSTERED COLUMNSTORE INDEX
   )
   GO
   
   COPY INTO dbo.nyc_taxi
   (tipped 1, fareAmount 2, paymentType 3, passengerCount 4, tripDistance 5, tripTimeSecs 6, pickupTimeBin 7)
   FROM '<URL to linked storage account>/test_data.csv'
   WITH
   (
       FILE_TYPE = 'CSV',
       ROWTERMINATOR='0x0A',
       FIELDQUOTE = '"',
       FIELDTERMINATOR = ',',
       FIRSTROW = 2
   )
   GO
   
   SELECT TOP 100 * FROM nyc_taxi
   GO
   

   

4. Перейдите в данные>Рабочая область. Откройте мастер оценивания SQL, щелкнув правой кнопкой мыши специально выделенную таблицу пула SQL. Выберите Machine Learning>Прогноз с моделью.

   Примечание.

   Параметр машинного обучения не отображается, если не создана связанная служба для Azure Machine Learning. (См. предварительные требования в начале этого руководства.)

   

5. Выберите связанную рабочую область Машинного обучения Azure в раскрывающемся списке. На этом шаге загружается список моделей машинного обучения из реестра моделей выбранной рабочей области Машинного обучения Azure. В настоящее время поддерживаются только модели ONNX, поэтому на этом шаге будут отображаться только модели ONNX.

6. Выберите модель, которую вы только что обучили, и нажмите кнопку "Продолжить".

   

7. Сопоставляйте столбцы таблицы с входными данными модели и укажите выходные данные модели. Если модель сохраняется в формате MLflow и сигнатура модели заполняется, сопоставление выполняется автоматически с помощью логики на основе сходства имен. Интерфейс также поддерживает сопоставление вручную.

   Выберите Продолжить.

   

8. Созданный код T-SQL упаковывается в хранимую процедуру. Поэтому необходимо указать имя хранимой процедуры. Двоичный файл модели, включая метаданные (версия, описание и другие сведения), будет физически скопирован с платформы Azure Machine Learning в выделенную таблицу пула SQL. Поэтому необходимо указать, в какой таблице сохранить модель.

   Можно выбрать существующую таблицу или создать новую. По завершении выберите "Развернуть модель" и "Открыть скрипт ", чтобы развернуть модель и создать скрипт прогнозирования T-SQL.

   

9. После создания скрипта нажмите кнопку "Выполнить ", чтобы выполнить оценку и получить прогнозы.

   

Дальнейшие действия

• Краткое руководство. Создание связанной службы машинного обучения Azure в Azure Synapse
• Возможности машинного обучения в Azure Synapse Analytics