Поделиться через

Проектирование архитектуры ИИ

ИИ — это технология, используемая машинами для имитации интеллектуального поведения человека. Компьютеры могут использовать ИИ для выполнения следующих задач:

  • Анализ данных для создания изображений и видео.
  • Анализ и синтез речи.
  • Словесно взаимодействуют естественным образом.
  • Создание прогнозов и создание новых данных.

Вы можете включить ИИ в приложения для выполнения функций или принятия решений, которые традиционная логика или обработка не могут эффективно обрабатывать. В качестве архитектора, который разрабатывает решения, необходимо узнать о ландшафте искусственного интеллекта и машинного обучения и о том, как можно интегрировать решения Azure в проектирование рабочей нагрузки.

Начало работы

Центр архитектуры Azure предоставляет примеры архитектур, руководства по архитектуре, базовые архитектуры и идеи, которые можно применить к вашему сценарию. Рабочие нагрузки, использующие компоненты искусственного интеллекта и машинного обучения, должны соответствовать рекомендациям по рабочим нагрузкам Azure Well-Architected Framework AI. Это руководство включает принципы и руководства по проектированию, которые влияют на рабочие нагрузки искусственного интеллекта и машинного обучения в пяти основных аспектах архитектуры. Реализуйте эти рекомендации в сценариях и содержимом в Центре архитектуры Azure.

Основные понятия ИИ

Концепции искусственного интеллекта охватывают широкий спектр технологий и методологий, которые используются для выполнения задач, которые обычно требуют человеческого интеллекта. В следующих разделах представлен обзор ключевых концепций ИИ.

Алгоритмы

Алгоритмы или алгоритмы машинного обучения — это фрагменты кода, которые помогают людям изучать, анализировать и находить смысл в сложных наборах данных. Каждый алгоритм — это конечный набор однозначных пошаговые инструкции, которые компьютер может выполнять для достижения определенной цели. Цель модели машинного обучения заключается в создании или обнаружении шаблонов, которые люди могут использовать для прогнозирования или классификации информации. Алгоритм может описать, как проверить, является ли домашний питомец котом, собакой, рыбой, птицей или ящерицей. Более сложный алгоритм может описать, как определить письменный или реченный язык, проанализировать его слова, перевести их на другой язык, а затем проверить перевод на точность.

Выберите семейство алгоритмов, которое лучше всего подходит для вашей задачи. Оцените различные алгоритмы в семействе, чтобы найти подходящее для вашей рабочей нагрузки. Дополнительные сведения см. в разделе "Алгоритмы машинного обучения".

Машинное обучение

Машинное обучение — это метод ИИ, использующий алгоритмы для создания прогнозных моделей. Эти алгоритмы анализируют поля данных и учатся на основе шаблонов в данных для создания моделей. Затем модели могут принимать обоснованные прогнозы или решения на основе новых данных.

Прогнозные модели проверяются на основе известных данных, измеряются метриками производительности для конкретных бизнес-сценариев, а затем корректируются по мере необходимости. Этот процесс обучения и проверки называется тренировкой. Благодаря периодическому переобучению модели машинного обучения улучшаются с течением времени.

В проектировании рабочей нагрузки можно использовать машинное обучение, если сценарий включает прошлые наблюдения, которые можно надежно использовать для прогнозирования будущих ситуаций. Эти наблюдения могут быть универсальными истинами, такими как компьютерное зрение, которое обнаруживает одну форму животного из другой. Или эти наблюдения могут быть характерными для вашей ситуации, например система компьютерного зрения, которая обнаруживает возможную ошибку на ваших сборочных линиях, основанное на данных по прежним гарантийным требованиям.

Дополнительные сведения см. в обзоре машинного обучения.

Глубокое обучение

Глубокое обучение — это тип машинного обучения, который может обучаться с помощью собственной обработки данных. Как и машинное обучение, он также использует алгоритмы для анализа данных. Но он анализирует данные с помощью искусственных нейронных сетей с большим количеством входных данных, выходных данных и слоев обработки. Каждый слой может обрабатывать данные по-разному. Выходные данные одного слоя становятся входами для следующего. Глубокое обучение использует этот процесс для создания более сложных моделей, чем традиционные возможности машинного обучения.

Глубокое обучение требует больших инвестиций для создания высоконастройных или исследовательских моделей. Вы можете рассмотреть другие решения в этой статье, прежде чем добавлять глубокое обучение в рабочую нагрузку.

Дополнительные сведения см. в обзоре глубокого обучения.

Генеративный ИИ

Создание моделей искусственного интеллекта для создания исходного содержимого на основе многих форм содержимого, включая естественный язык, компьютерное зрение, звук или входные данные изображения. С помощью генерированного ИИ можно описать требуемые выходные данные на повседневном языке, а модель может реагировать, создавая соответствующий текст, изображение и код. Примерами созданных приложений ИИ являются Microsoft 365 Copilot и Microsoft Foundry.

  • Copilot — это в первую очередь пользовательский интерфейс, который помогает писать код, документы и другое текстовое содержимое. Он основан на популярных моделях из OpenAI и Anthropic и интегрирован в широкий спектр приложений Майкрософт и пользовательских возможностей.

  • Foundry — это платформа разработки как услуга (PaaS), которая предоставляет доступ к размещению агентов и каталогу языковых моделей, включая следующие варианты:

    • GPT-5.2 (OpenAI)
    • Sora2 (OpenAI)
    • Клод (Anthropic)
    • Phi (Майкрософт)
    • Grok (xAI)

    Эти модели можно адаптировать к следующим конкретным задачам:

    • Генерация контента
    • Сводка содержимого
    • Понимание изображений
    • Семантический поиск
    • Естественный язык для перевода кода
    • Создание видео
    • Речь в речи

Языковые модели

Языковые модели — это подмножество генерированного искусственного интеллекта, ориентированного на задачи обработки естественного языка, такие как анализ текста и тональности. Эти модели представляют естественный язык на основе вероятности слов или последовательностей слов, происходящих в заданном контексте.

Обычные языковые модели используются в контролируемых условиях для исследовательских целей. Эти модели обучены на хорошо помеченных текстовых наборах данных для конкретных задач. Предварительно обученные языковые модели предоставляют простой способ начать использование ИИ. Они более широко используются в последние годы. Эти модели обучаются в крупномасштабных текстовых коллекциях из Интернета с помощью нейронных сетей глубокого обучения. Их можно точно настроить на небольших наборах данных для конкретных задач.

Количество параметров или весов определяет размер языковой модели. Параметры влияют на то, как модель обрабатывает входные данные и создает выходные данные. Во время обучения модель корректирует весы, чтобы свести к минимуму разницу между прогнозами и фактическими данными. Этот процесс заключается в том, как модель узнает параметры. Чем больше параметров у модели, тем сложнее и выраженнее. Но это также вычислительно затратное для обучения и использования.

Небольшие языковые модели обычно имеют менее 10 миллиардов параметров, а большие языковые модели имеют более 10 миллиардов параметров. Например, семейство моделей Microsoft Phi-4 включает следующие версии:

  • Phi-4-Mini, который имеет 3,8 млрд параметров
  • Phi-4-Multimodal-instruct, который содержит 5,6 млрд параметров
  • Phi-4 (базовая модель), которая имеет 14 миллиардов параметров

Дополнительные сведения см. в каталоге языковой модели.

Копилоты

Доступность языковых моделей привела к появлению новых способов взаимодействия с приложениями и системами с помощью цифровых копилотов и агентов, подключенных и относящихся к конкретным доменам. Copilots являются генеративными ассистентами ИИ, которые интегрируются в приложения, часто как интерфейсы чата. В таких приложениях они обеспечивают контекстуальную поддержку при выполнении задач общей направленности.

Microsoft 365 Copilot интегрируется с широким спектром приложений Майкрософт и пользовательских возможностей. Она основана на открытой архитектуре, в которой разработчики, отличные от Майкрософт, могут создавать собственные подключаемые модули для расширения или настройки пользовательского интерфейса с помощью Copilot. Партнерские разработчики также могут создавать собственные копилоты с помощью той же открытой архитектуры.

Дополнительные сведения см. в следующих ресурсах:

Генерация, дополненная извлечением информации

Retrieval-augmented generation (RAG) — это архитектурный шаблон, который расширяет возможности языковой модели, например ChatGPT, обученной только на общедоступных данных. Этот шаблон можно использовать для добавления системы извлечения, которая предоставляет соответствующие основополагающие данные в контексте запроса пользователя. Система информационного поиска обеспечивает контроль над опорными данными, которые языковая модель использует при формулировке ответа. Архитектура RAG помогает определить область создания искусственного интеллекта для содержимого, исходного из векторных документов, изображений и других форматов данных. RAG не ограничивается хранилищем векторного поиска. Вы можете использовать любую технологию хранения данных.

Дополнительные сведения см. в статье Проектирование и разработка решения RAG и Выбор службы Azure для поиска векторов. Используйте базы знаний Foundry IQ для обоснования данных, необходимых агентам Foundry, в качестве готового решения для RAG.

Архитектура на основе агентов

Агенты — это больше, чем просто код, который вызывает языковые модели для реагирования на запросы пользователей. Они могут самостоятельно выполнять задачи, принимать решения и взаимодействовать с другими системами. Агенты можно разработать для обработки конкретных задач или работы в сложных средах, что делает их подходящими для многих приложений. Архитектура с несколькими агентами позволяет разбить сложные проблемы на специализированные агенты, которые координирует создание решения.

Такие инструменты, как Microsoft Agent Framework и рабочие процессы Foundry, помогают создавать архитектуры на основе агентов.

Сведения о том, как координировать несколько агентов в сложных сценариях ИИ, см. в шаблонах оркестрации агентов ИИ.

Инструменты литейного производства

Используя средства Foundry, разработчики и организации могут использовать готовые, предварительно созданные и настраиваемые API и модели для создания интеллектуальных, готовых к рынкам и ответственных приложений. Варианты использования включают обработку естественного языка для бесед, поиска, мониторинга, перевода, речи, зрения и принятия решений.

Дополнительные сведения см. в следующих ресурсах:

Модели языка ИИ

Языковые модели, такие как модели OpenAI GPT, являются мощными средствами, которые могут создавать естественный язык в разных доменах и задачах. Чтобы выбрать модель, рассмотрите такие факторы, как конфиденциальность данных, этичное использование, точность и предвзятость.

Открытые модели Phi — это небольшие, менее вычислительные модели для создания решений искусственного интеллекта. Небольшая языковая модель может быть более эффективной, интерпретируемой и объяснимой, чем большая языковая модель.

При проектировании рабочей нагрузки можно использовать языковые модели в качестве облачного решения с оплачиваемым API. Для многих небольших языковых моделей можно размещать их внутри процесса или, как минимум, на той же вычислительной среде, что и пользователь. При использовании языковых моделей в решении рассмотрите выбор языковой модели и доступные варианты размещения, чтобы обеспечить оптимизированное решение для вашего варианта использования.

Платформы и средства разработки ИИ

Следующие платформы и средства разработки ИИ помогают создавать, развертывать и управлять моделями машинного обучения и ИИ.

Машинное обучение Azure

Машинное обучение Azure — это служба машинного обучения, которую можно использовать для создания и развертывания моделей. Машинное обучение предоставляет веб-интерфейсы и пакеты SDK для обучения и развертывания моделей машинного обучения и конвейеров в большом масштабе. Используйте эти возможности с платформами Python с открытым исходным кодом, такими как PyTorch, TensorFlow и scikit-learn.

Дополнительные сведения см. в следующих ресурсах:

Эталонные архитектуры искусственного интеллекта и машинного обучения для Azure

Автоматизированное машинное обучение

Автоматизированное машинное обучение (AutoML) — это процесс автоматизации трудоемких итеративных задач разработки модели машинного обучения. Специалисты по обработке и анализу данных, аналитики и разработчики могут использовать AutoML для создания моделей машинного обучения, имеющих высокий масштаб, эффективность и производительность при поддержании качества модели.

Дополнительные сведения см. в следующих ресурсах:

MLflow

Рабочие области машинного обучения совместимы с MLflow, что означает, что вы можете использовать рабочую область машинного обучения так же, как и сервер MLflow. Эта совместимость обеспечивает следующие преимущества.

  • Машинное обучение не размещает экземпляры сервера MLflow, но может напрямую использовать API MLflow.
  • Вы можете использовать рабочую область Машинного обучения в качестве сервера отслеживания для любого кода MLflow независимо от того, выполняется ли он в Машинном обучении. Необходимо настроить MLflow, чтобы указать рабочую область, в которой должна выполняться отслеживание.
  • Вы можете выполнять учебные процедуры, использующие MLflow в машинном обучении без внесения изменений.

Дополнительную информацию см. в разделе MLflow и машинообучения и MLflow.

Средства создания искусственного интеллекта

  • Foundry предоставляет платформу, которая помогает экспериментировать, разрабатывать и развертывать созданные приложения ИИ и API ответственно. Используйте портал Foundry, чтобы найти инструменты Foundry, базовые модели, площадку и ресурсы, которые помогут вам точно настроить, оценить и развернуть модели искусственного интеллекта и агентов искусственного интеллекта.

    Служба агентов Foundry размещает агентов, которых вы определяете. Эти агенты подключаются к базовой модели в каталоге моделей ИИ и, по желанию, к вашим собственным пользовательским хранилищам знаний или API. Эти агенты можно определить декларативно или Foundry может контейнеризировать и размещать их.

  • Copilot Studio расширяет Copilot в Microsoft 365. С помощью Copilot Studio можно создавать настраиваемые помощники для внутренних и внешних сценариев. Используйте холст разработки для проектирования, тестирования и публикации ассистентов. Вы можете легко создавать беседы с поддержкой генеративного искусственного интеллекта, обеспечивать более широкий контроль ответов для существующих копилотов и ускорить производительность с помощью автоматизированных рабочих процессов.

Платформы данных для искусственного интеллекта

Следующие платформы предоставляют решения для перемещения данных, обработки, приема, преобразования, аналитики в режиме реального времени и создания отчетов.

Microsoft Fabric

Microsoft Fabric — это сквозная аналитика и платформа данных для предприятий, требующих единого решения. Команды рабочей нагрузки могут использовать данные в Fabric. Платформа охватывает перемещение данных, обработку, прием, преобразование, маршрутизацию событий в режиме реального времени и построение отчетов. Он предоставляет набор служб, включая инженера данных Fabric, фабрику данных Fabric, обработку и анализ данных Fabric, аналитику Real-Time Fabric, хранилище данных Fabric и базы данных Fabric.

Структура интегрирует отдельные компоненты в сплоченный стек. Вместо того чтобы полагаться на разные базы данных или хранилища данных, вы можете централизировать хранилище данных с помощью OneLake. Возможности искусственного интеллекта внедрены в Fabric, что устраняет необходимость интеграции вручную.

Дополнительные сведения см. в следующих ресурсах:

Копилоты в «Fabric»

Вы можете использовать Copilot и другие функции создания ИИ для преобразования и анализа данных, создания аналитических сведений и создания визуализаций и отчетов в Fabric и Power BI. Вы можете создать собственный копилот или же выбрать один из следующих предварительно разработанных копилотов:

Агент данных в Fabric

Агент данных в Fabric — это функция, которую можно использовать для создания собственных систем общения Q&A с помощью создания искусственного интеллекта. Агент данных Fabric упрощает использование и более эффективную аналитику данных для всех пользователей в организации.

Дополнительные сведения см. в следующих ресурсах:

Платформы данных на основе Apache Spark для искусственного интеллекта

Apache Spark — это платформа параллельной обработки, которая поддерживает обработку в памяти, чтобы повысить производительность приложений для анализа больших данных. Spark предоставляет базовые стандартные блоки для вычислений кластера в памяти. Задание Spark может загружать и кэшировать данные в память и запрашивать их многократно, что быстрее, чем приложения на основе дисков, например Hadoop.

Spark в среде Fabric

Среда выполнения Fabric — это интегрированная с Azure платформа на основе Spark, которую можно использовать для реализации проектов в области инженерии данных и аналитики данных. Среда выполнения Fabric объединяет ключевые компоненты из внутренних и открытых источников, которые предоставляют комплексное решение.

Среда выполнения Fabric содержит следующие ключевые компоненты:

  • Spark — это распределенная библиотека распределенных вычислений с открытым кодом, которую можно использовать для крупномасштабных задач обработки и анализа данных. Spark предоставляет универсальную платформу для разработки и обработки и анализа данных.

  • Delta Lake — это слой хранения с открытым исходным кодом, который интегрирует атомарность, согласованность, изоляцию и устойчивость (ACID) и другие функции надежности данных с Spark. Интегрированная в Fabric Runtime, Delta Lake улучшает возможности обработки данных и помогает обеспечить согласованность данных в нескольких параллельных задачах.

  • пакеты уровня по умолчанию для Java, Scala, Python и R — это пакеты, поддерживающие различные языки программирования и среды. Эти пакеты устанавливаются и настраиваются автоматически, поэтому разработчики могут применять предпочитаемые языки программирования для задач обработки данных.

Среда выполнения Fabric основана на операционной системе с открытым исходным кодом, которая обеспечивает совместимость с различными конфигурациями оборудования и требованиями к системе.

Дополнительную информацию см. в разделе Среды выполнения Spark в Fabric.

Azure Databricks Runtime для машинного обучения

Azure Databricks — это платформа аналитики на основе Spark, которая включает рабочие процессы и интерактивную рабочую область для совместной работы между специалистами по обработке и анализу данных, инженерами и бизнес-аналитиками.

Среду выполнения Databricks для машинного обучения можно использовать для запуска кластера Databricks, имеющего все библиотеки, необходимые для распределенного обучения. Эта функция предоставляет среду для машинного обучения и обработки и анализа данных. Она имеет несколько популярных библиотек, включая TensorFlow, PyTorch, Keras и XGBoost. Он также поддерживает распределенное обучение через Horovod.

Дополнительные сведения см. в следующих ресурсах:

Spark в Azure HDInsight

Spark в Azure HDInsight — это реализация Spark в облаке. Кластеры Spark в HDInsight совместимы с службами хранилища Azure и Azure Data Lake Storage, чтобы использовать кластеры HDInsight Spark для обработки данных, которые хранятся в Azure.

SynapseML — это библиотека машинного обучения Майкрософт для Spark. Эта библиотека с открытым кодом добавляет множество средств глубокого обучения и обработки и анализа данных, сетевых возможностей и производительности рабочей среды в экосистему Spark.

Дополнительные сведения см. в следующих ресурсах:

Хранилище данных для искусственного интеллекта

Для эффективного хранения, использования и анализа больших объемов данных можно использовать следующие платформы.

Fabric OneLake

OneLake в Fabric — это унифицированное и логически структурированное озеро данных, которое можно адаптировать для всей организации. Это центральный центр для всех аналитических данных и входит в состав каждого клиента Fabric. OneLake в Fabric построен на основе хранилища данных Data Lake.

OneLake в Fabric обеспечивает следующие преимущества:

  • Поддерживает структурированные и неструктурированные типы файлов
  • Сохраняет все табличные данные в формате Delta-Parquet
  • Предоставляет единое озеро данных в пределах границ арендатора, которое регулируется по умолчанию.
  • Поддерживает создание рабочих областей в арендаторе, чтобы организация могла распределять политики владения и доступа.
  • Поддерживает создание различных элементов данных, таких как озерохранилища и хранилища данных, в которых можно использовать данные.

Дополнительные сведения см. в разделе OneLake, OneDrive для данных.

Хранилище данных на озере

Data Lake Storage — это единый централизованный репозиторий, в котором можно хранить структурированные и неструктурированные данные. Используйте озеро данных для быстрого и простого хранения, использования и анализа различных данных в одном расположении. Вам не нужно изменять данные, чтобы они соответствовали существующей структуре. Вместо этого можно хранить ваши данные в их необработанном или собственном формате, как правило, в виде файлов или двоичных больших объектов.

Data Lake Storage обеспечивает семантику файловой системы, безопасность на уровне файлов и масштабирование. Поскольку эти возможности основаны на хранилище BLOB-объектов Azure, вы также получаете недорогое многоуровневое хранилище с высокой доступностью и возможностями для аварийного восстановления.

Data Lake Storage использует инфраструктуру хранилища для создания фундамента для создания корпоративных озер данных в Azure. Data Lake Storage может обслуживать несколько петабайт данных, сохраняя сотни гигабит пропускной способности, чтобы управлять большим объемом данных.

Дополнительные сведения см. в следующих ресурсах:

Обработка данных для искусственного интеллекта

Для подготовки данных для машинного обучения и приложений искусственного интеллекта можно использовать следующие средства. Убедитесь, что данные чисты и структурированы, чтобы их можно было использовать для расширенной аналитики.

Фабрика данных Fabric

Фабрику данных Fabric можно использовать для приема, подготовки и преобразования данных из нескольких источников данных, таких как базы данных, хранилища данных, озера и потоки данных в режиме реального времени. Эта функция поможет вам удовлетворить требования к операциям с данными при разработке рабочих нагрузок.

Фабрика данных поддерживает кодовые решения, а также безкодовые или малокодовые решения.

  • Используйте конвейеры данных для создания функциональных возможностей рабочих процессов в масштабе облака. Используйте интерфейс выбора и перемещения для создания рабочих процессов, которые могут обновлять поток данных, перемещать данные по размеру петабайтов и определять конвейеры потока управления.

  • Используйте потоки данных в качестве интерфейса с низким кодом для приема данных из сотен источников данных и их преобразования с помощью более чем 300 преобразований данных.

Дополнительные сведения см. в комплексном сценарии фабрики данных: введение и архитектура.

Azure Databricks

Платформу Databricks Data Intelligence можно использовать для написания кода для создания рабочего процесса машинного обучения с помощью проектирования функций. проектирование компонентов — это процесс преобразования необработанных данных в функции, которые можно использовать для обучения моделей машинного обучения. Платформа аналитики данных Databricks включает ключевые функции, поддерживающие проектирование функций:

  • Конвейеры данных прием необработанных данных, создание таблиц признаков, обучение моделей и выполнение пакетного вывода. При использовании инженерии признаков в каталоге Unity для обучения и логирования модели модель упаковывается с метаданными признаков. При использовании модели для пакетной оценки или онлайн-инференции он автоматически получает значения признаков. Вызывающему не нужно знать о значениях или включать логику для поиска или объединения признаков для оценки новых данных.

  • Конечные точки обслуживания моделей и функций мгновенно доступны и обеспечивают задержку в миллисекунды.

  • Мониторинг способствует обеспечению эффективности и точности данных и моделей.

Вы также можете использовать Mosaic AI Vector Search для хранения и извлечения векторных представлений. Внедрение имеет решающее значение для приложений, требующих поиска сходства, таких как RAG, системы рекомендаций и распознавание изображений.

Дополнительные сведения см. в статье "Обслуживание данных для машинного обучения и искусственного интеллекта".

Соединители данных для искусственного интеллекта

Фабрика данных Azure и конвейеры Azure Synapse Analytics поддерживают множество хранилищ данных и форматов с помощью копирования, потока данных, поиска, получения метаданных и удаления действий. Чтобы просмотреть доступные соединители хранилища данных, поддерживаемые возможности и соответствующие конфигурации, а также универсальные параметры подключения к базе данных, см. общие сведения о соединителе Azure Data Factory и Azure Synapse Analytics.

Настраиваемый ИИ

Индивидуальные решения в области искусственного интеллекта помогают справляться с конкретными бизнес-потребностями и проблемами. В следующих разделах представлен обзор различных инструментов и служб, которые можно использовать для создания пользовательских моделей ИИ и управления ими.

Машинное обучение Azure

Машинное обучение Azure — это облачная служба для ускорения жизненного цикла проекта машинного обучения и управления ими. Специалисты по машинному обучению, специалисты по обработке и анализу данных и инженеры могут использовать эту службу в рабочих процессах для обучения и развертывания моделей и управления задачами машинного обучения.

Машинное обучение предоставляет следующие возможности:

  • выбор алгоритма: Некоторые алгоритмы делают определенные предположения о структуре данных или нужных результатах. Выберите алгоритм, соответствующий вашим потребностям, чтобы получить более полезные результаты, более точные прогнозы и ускорить обучение. Дополнительные сведения см. в статье "Выбор алгоритмов для машинного обучения".

  • настройке или оптимизации гиперпараметров: вручную этот процесс можно использовать для поиска конфигураций гиперпараметров, которые приводят к лучшей производительности. Эта оптимизация вызывает значительные вычислительные затраты. гиперпараметры являются настраиваемыми параметрами, которые обеспечивают контроль в процессе обучения модели. Например, можно выбрать количество скрытых слоев и количество узлов в каждом слое нейронных сетей. Производительность модели в значительной степени зависит от гиперпараметров.

    Машинное обучение позволяет автоматизировать настройку гиперпараметров и выполнять эксперименты параллельно, чтобы эффективно оптимизировать гиперпараметры.

    Дополнительные сведения см. в следующих ресурсах:

  • Обучение модели: Вы можете итеративно использовать алгоритм для создания или обучения моделей. После обучения моделей их можно использовать для анализа данных и прогнозирования.

    На этапе обучения выполняются следующие действия:

    1. Набор известных данных помечается таким образом, чтобы отдельные поля были идентифицированы.

    2. Алгоритм, настроенный для создания определенного прогноза, получает помеченные данные.

    3. Алгоритм выводит модель, которая фиксирует шаблоны, которые он определил в данных. Модель использует набор параметров для представления этих шаблонов.

    Во время проверки выполняются следующие действия.

    1. Свежие данные маркируются и используются для тестирования модели.

    2. Алгоритм корректируется по мере необходимости и, возможно, проходит дополнительное обучение.

    3. Этап тестирования использует реальные данные без тегов или предварительно выбранных целевых объектов. Если результаты модели точны, она готова к использованию и может быть развернута.

    Дополнительные сведения см. в следующих ресурсах:

  • AutoML: этот процесс автоматизирует трудоемкие итеративные задачи разработки моделей машинного обучения. Это может значительно сократить время, необходимое для создания моделей машинного обучения, готовых к работе. AutoML может помочь в выборе модели, настройке гиперпараметра, обучении модели и других задачах, не требуя обширных знаний по программированию или домену.

    Вы можете использовать AutoML, если требуется, чтобы машинное обучение использовало определенную целевую метрику для обучения и настройки модели. Вам не нужен опыт обработки и анализа данных для поиска проблем в комплексном конвейере машинного обучения.

    Специалисты по машинному обучению и разработчики в различных отраслях могут использовать AutoML для выполнения следующих задач:

    • Реализуйте решения машинного обучения без обширных знаний по программированию или машинному обучению.
    • Экономия времени и ресурсов.
    • Применение рекомендаций по обработке и анализу данных.
    • Предоставление гибкого решения проблем.

    Дополнительные сведения см. в обзоре AutoML.

  • оценка: этот процесс, также называемый прогнозирование, использует обученную модель машинного обучения для генерации значений на базе новых входных данных. Значения или оценки могут представлять прогнозы будущих значений, но они также могут представлять собой скорее категорию или результат.

    Дополнительные сведения см. в следующих ресурсах:

  • Инженерия признаков и феатуризация: данные для обучения состоят из строк и столбцов. Каждая строка представляет собой наблюдение или запись, а столбцы каждой строки — это признаки, описывающие каждую запись. Как правило, вы выбираете функции, которые лучше всего охарактеризуют шаблоны в данных для создания прогнозных моделей.

Несмотря на то, что для обучения модели можно использовать множество необработанных полей данных, может потребоваться создать другие встроенные функции, которые предоставляют информацию для более простого отличия шаблонов в данных. Этот процесс называется проектированием признаков, где вы используете знания о домене для создания функций, которые помогают алгоритмам машинного обучения лучше учиться.

В Машинном обучении методы масштабирования и нормализации данных применяются для упрощения проектирования функций. Все эти методы и проектирование признаков в совокупности называются феатуризацией в экспериментах AutoML. Дополнительные сведения см. в разделе "Фичеризация данных в AutoML".

Microsoft Foundry

В Foundry можно использовать процесс, называемый тонкой настройкой , чтобы адаптировать модели к личным наборам данных. Этот шаг настройки оптимизирует службу, предоставляя следующие преимущества:

  • Более качественные результаты по сравнению с только инженерией запросов
  • Возможность работать с большим количеством примеров, чем максимально допустимый контекст запроса у модели обычно допускает.
  • Экономия токенов из-за более коротких запросов
  • Запросы с меньшей задержкой, особенно когда используются небольшие модели

Дополнительные сведения см. в следующих ресурсах:

Инструменты для создания пользовательского искусственного интеллекта

Средства Foundry предоставляют функции для создания пользовательских моделей и приложений ИИ. В следующих разделах представлен обзор этих ключевых функций.

Настраиваемая речь

Настраиваемая речь — это функция службы "Речь Azure". Вы можете использовать настраиваемую речь для оценки и повышения точности распознавания речи для приложений и продуктов. Используйте заказную модель речи для преобразования речи в режиме реального времени в текст, перевода речи и пакетного транскрибирования.

По умолчанию распознавание речи использует универсальную языковую модель в качестве базовой модели. Эта модель обучена данными, принадлежащими Майкрософт, и отражает часто используемый язык. Базовая модель предварительно обучена диалектами и фонетиками, представляющими общие домены. При выполнении запроса на распознавание речи по умолчанию используется последняя базовая модель поддерживаемого языка. Базовая модель хорошо работает в большинстве сценариев распознавания речи.

Для расширения базовой модели можно использовать пользовательскую модель. Например, можно улучшить распознавание словаря для конкретного домена, относящегося к приложению, предоставив текстовые данные для обучения модели. Вы также можете улучшить распознавание для конкретных звуковых условий приложения, предоставив аудиоданные, включая эталонные транскрипции.

Если данные соответствуют шаблону, можно использовать структурированный текст для обучения модели. Вы можете указать пользовательские произношения и настроить форматирование текста с помощью пользовательской обратной нормализации текста, пользовательской перезаписи и фильтрации ненормативной лексики.

Индивидуальный переводчик

Пользовательский переводчик — это функция Azure Translator. Предприятия, разработчики приложений и поставщики языковых служб могут использовать пользовательский переводчик для создания настраиваемых систем нейронного машинного перевода (NMT). Настраиваемые системы перевода интегрируются в существующие приложения, рабочие процессы и веб-сайты.

Эту функцию можно использовать для создания и публикации пользовательских систем перевода на английский и с английского языка. Пользовательский переводчик поддерживает более трех десятков языков, которые напрямую связаны с языками NMT. Полный список языков см. в поддержке языков переводчика.

Пользовательский переводчик предоставляет следующие функции.

Функция Описание
Применение технологии NMT Примените NMT из пользовательского переводчика для улучшения перевода.
Создание систем, которые знают вашу бизнес-терминологию Настройте и создайте системы перевода с помощью параллельных документов, использующих терминологию в бизнесе и отрасли.
Использование словаря для создания моделей Обучите модель, используя только данные словаря, если у вас нет обучаемого набора данных.
Совместная работа с другими пользователями Сотрудничайте с вашей командой, делясь своей работой с разными людьми.
Использование пользовательской модели перевода Используйте настраиваемую модель перевода в любое время с помощью существующих приложений или программ с помощью API перевода текстов Microsoft Translator версии 3.

Пользовательские модели

Служба "Аналитика документов Azure " использует расширенную технологию машинного обучения для идентификации документов, обнаружения и извлечения информации из форм и документов и возврата извлеченных данных в структурированных выходных данных JSON. Используйте аналитику документов для использования предварительно созданных или предварительно обученных моделей анализа документов или обученных автономных пользовательских моделей.

Пользовательские модели аналитики документов включают пользовательские модели классификации для сценариев, в которых необходимо определить тип документа перед использованием модели извлечения. Вы можете связать модель классификации с пользовательской моделью извлечения для анализа и извлечения полей из форм и документов, относящихся к вашей организации. Объедините отдельные пользовательские модели извлечения для создания составных моделей.

Пользовательский анализатор

Служба "Понимание содержимого Azure " использует генерированный ИИ для обработки или приема множества типов содержимого, включая документы, изображения, видео и аудио, в определяемый пользователем формат выходных данных. Понимание контента включает предварительно созданные анализаторы для распространенных типов контента и сценариев.

Пользовательский анализатор — это функция Распознавания контента, которая создает пользовательские анализаторы, адаптированные к конкретным потребностям обработки содержимого. Вы можете определить пользовательские правила извлечения и шаблоны распознавания сущностей в соответствии с вашими бизнес-требованиями.

Пользовательские инструменты искусственного интеллекта

Предварительно созданные модели искусственного интеллекта полезны и все более гибки, но лучший способ оптимизации ИИ — адаптировать модель в соответствии с вашими потребностями. Двумя основными средствами для создания пользовательских моделей ИИ являются создание искусственного интеллекта и традиционное машинное обучение.

Студия машинного обучения Azure

Студия машинного обучения Azure — это облачная служба для ускорения жизненного цикла проекта машинного обучения и управления ими. Специалисты по машинному обучению, специалисты по обработке и анализу данных и инженеры могут использовать его в рабочих процессах для обучения и развертывания моделей и управления задачами машинного обучения.

  • Создание и обучение моделей машинного обучения с помощью любого типа вычислений, включая Spark и GPU для облачных масштабируемых рабочих нагрузок ИИ.

  • Запустите AutoML и используйте пользовательский интерфейс выбора и перемещения для машинного обучения с низким кодом.

  • Реализуйте комплексные задачи машинного обучения и повторяемые конвейеры.

  • Используйте отвечаемую панель мониторинга ИИ для обнаружения предвзятости и анализа ошибок.

  • Оркеструйте потоки инженерии запросов и языковых моделей и управляйте ими.

  • Развертывание моделей с помощью конечных точек REST API, вывода в режиме реального времени и пакетного вывода.

  • Используйте рабочие области концентраторов для совместного использования вычислительных ресурсов, квоты, безопасности и подключения к корпоративным ресурсам, а также централизованного управления ит-отделами. Настройте концентратор один раз, а затем создайте безопасные рабочие области непосредственно из студии для каждого проекта. Используйте центры для управления работой вашей команды в студии и на портале Foundry.

Литейный завод

Foundry помогает эффективно создавать и развертывать пользовательские созданные приложения ИИ с помощью возможностей ИИ Azure.

  • Стройте вместе как одна команда. Учетная запись Foundry обеспечивает безопасность корпоративного уровня и совместную среду, которая включает общие ресурсы и подключения к предварительно обученным моделям, данным и вычислениям.

  • Организуйте работу. Проект Foundry помогает сохранять состояние, чтобы вы могли выполнять итерацию от первой идеи к первому прототипу и первому развертыванию в производство. Легко пригласить других пользователей для совместной работы с вами.

  • Используйте предпочитаемую платформу разработки и фреймворки, в том числе GitHub, Visual Studio Code, Agent Framework, Semantic Kernel и AutoGen.

  • Исследуйте и сравнивайте модели из широкого каталога.

  • Настройте модели как службу (MaaS) с помощью бессерверных API и размещенной тонкой настройки.

  • Включите несколько моделей, источников данных и модальностей.

  • Создайте RAG с помощью защищенных корпоративных данных без необходимости точной настройки.

  • Оркеструйте потоки разработки запросов и больших языковых моделей и управляйте ими.

  • Разработка и защита приложений и API с помощью настраиваемых фильтров и элементов управления.

  • Оцените ответы модели с помощью встроенных и пользовательских потоков оценки.

  • Развертывание инноваций искусственного интеллекта в управляемой Azure инфраструктуре для обеспечения непрерывного мониторинга и управления в разных средах.

  • В рабочей среде непрерывно отслеживайте развернутые приложения для обеспечения их безопасности, качества и потребления токенов.

Служба агента Foundry на портале Foundry

Служба агентов Foundry — это средство, которое можно использовать для создания агентов ИИ с помощью безкода и недетерминированного подхода. Агенты предоставляются как микрослужбы в учетной записи Foundry.

Каждый агент подключается к базовой модели из каталога моделей Foundry. Агенты могут при необходимости подключаться к пользовательским хранилищам частных знаний или общедоступным данным. Агенты также могут вызывать средства для вызова пользовательского кода и выполнения задач.

Пользовательские языки программирования для ИИ

Основная концепция ИИ — это использование алгоритмов для анализа данных и создания моделей для описания или оценки. Разработчики и специалисты по обработке и анализу данных, а иногда и другие алгоритмы используют код программирования для написания алгоритмов. Два из самых популярных языков программирования для разработки ИИ — Python и R.

Python — это высокоуровневый язык программирования общего назначения. Он имеет простой синтаксис, который подчеркивает удобочитаемость. Вам не нужно выполнять шаг компиляции. Python имеет большую стандартную библиотеку и поддерживает возможность добавления модулей и пакетов. Эта функция поощряет модульность и позволяет расширять возможности при необходимости. Для Python существует большая и растущая экосистема библиотек искусственного интеллекта и машинного обучения, в том числе многие из них в Azure.

Дополнительные сведения см. в следующих ресурсах:

R — это язык и среда для статистических вычислений и графики. Вы можете использовать его для всего, от сопоставления широких социальных и маркетинговых тенденций в Интернете до разработки финансовых и климатических моделей.

Корпорация Майкрософт поддерживает язык программирования R и предоставляет несколько вариантов для разработчиков R для запуска кода в Azure.

Дополнительные сведения см. в статье Интерактивное использование R вмашинного обучения.

Общие сведения о пользовательском ИИ в Azure см. в следующих ресурсах:

Истории клиентов

Многие отрасли применяют ИИ инновационными и вдохновляющими способами. Рассмотрим следующие кейсы клиентов и истории успеха:

Дополнительные истории успешного использования ИИ клиентами

Общие сведения о Microsoft AI

Узнайте больше о Microsoft AI и будьте в курсе связанных новостей:

Следующий шаг

  • Last updated on