Семантическое индексирование для Microsoft Copilot

Microsoft Copilot сопоставляет данные вашей организации с расширенным лексическим и семантическим индексом, чтобы обеспечить релевантность и точность поиска. Copilot может получить доступ к контексту и связям в ваших данных с помощью Microsoft Graph, обеспечивая более точное получение информации с учетом контекста. Индекс улучшает взаимодействие с данными, предлагая пользователям более богатый и удобный интерфейс. Copilot, созданный с использованием комплексного подхода к безопасности, соответствию требованиям и конфиденциальности, гарантирует, что все организационные границы в вашем клиенте соблюдаются. С помощью Microsoft Copilot пользователи могут быть уверены, что их поисковые запросы актуальны, точны и безопасны.

Что такое индекс?

Microsoft Copilot расширяет возможности поиска за счет расширенного лексического и семантического понимания данных вашей организации.

Концепция индексирования данных хорошо известна в Microsoft 365. Индексирование — один из важных способов доступа служб Microsoft 365 к огромному объему данных в Microsoft Graph, где находится ваш клиент Microsoft 365. С помощью индексирования пользователи видят результаты поиска из Microsoft Graph, включая контент и сигналы из большинства приложений Microsoft 365 в вашем клиенте. Это гарантирует, что результаты поиска персонализированы и повышены на основе ваших подключений между контентом и людьми в вашей сети.

Семантический индекс создается на основе содержимого в Microsoft Graph. Он используется для помощи в создании соответствующих контексту ответов на запросы пользователей. Он позволяет организациям выполнять поиск по миллиардам векторов (математических представлений признаков или атрибутов) и возвращать соответствующие результаты. В сочетании с улучшениями в Microsoft Graph семантический индекс связывает вас с релевантной информацией в вашей организации. Она основана на комплексном подходе корпорации Майкрософт к безопасности, соответствию требованиям и конфиденциальности и учитывает все организационные границы в рамках вашего клиента.

Взаимодействие с данными в Microsoft Graph основано на сопоставлении ключевых слов, персонализации и сопоставлении в социальных сетях. Поисковые запросы по ключевым словам, относящиеся к индексу Microsoft Graph, который сопоставляется с расположениями в документах или наборе документов. Microsoft 365 использует Microsoft Graph для ранжирования наиболее релевантного контента на основе знаний о дополнительных сигналах для пользователей и их близкой сети. В Microsoft 365 это называется персонализацией и сопоставлением в социальных сетях. Это обеспечивает релевантность запросов к контенту в вашей организации. Доступ к данным клиента в Microsoft Graph ограничен ролевым управлением доступом. Организации всегда контролируют возможности Поиска (Майкрософт) через портал "Поиск и аналитика" в Центре администрирования Microsoft 365.

Как семантическое индексирование помогает управлять данными

Семантический индекс расширяет возможности Microsoft Copilot как в Microsoft 365 Chat, так и в приложениях Microsoft 365. Он поддерживает расширенное базирование содержимого и концептуальное понимание ваших сетевых данных, которые автоматически включаются корпорацией Майкрософт. Это достигается путем создания векторизованных индексов. Вектор — это числовое представление слова, пикселя изображения или другой точки данных. Вектор упорядочивается или сопоставляется с близкими числами, расположенными в непосредственной близости друг от друга, чтобы представить сходство. Векторы хранятся в многомерных пространствах, где семантически похожие точки данных группируются вместе в векторном пространстве, что позволяет Microsoft 365 обрабатывать более широкий набор поисковых запросов, выходящий за рамки "точного совпадения".

На практике это означает, что службы Microsoft 365, такие как Microsoft Copilot, могут:

• Понимать взаимосвязи между различными формами слов (например, tech, technology, technologies; США, США, США, США Америки; собака, кошка, домашнее животное).
• Запись синонимы, чтобы увеличить объем информации, доступной для поиска, включая назначение предложений, фрагментов, документов и собраний.
• Определите ресурсы, связанные с вашим запросом или примером контента.

На следующем рисунке вместо чисел, используемых векторизованными индексами, используется текст (вместо чисел, используемых векторизованными индексами), чтобы показать пример сходства между точками данных:

Семантическая индексация обеспечивает быстрый и точный поиск сходства и извлечение данных на основе их векторного расстояния или сходства. Это означает, что в дополнение к использованию традиционных лексических методов запросов на основе точных совпадений или заранее определенных критериев, семантическое индексирование может находить наиболее похожие или релевантные данные на основе семантического или контекстуального значения.

Возможности

Следующие функции семантической индексации не только улучшают результаты поиска; Их совместная работа помогает анализировать данные, быстрее находить информацию и повышать производительность. Пользователи могут изначально взаимодействовать с семантическим индексом через интеграцию Microsoft Copilot. Мы создаем семантический индекс для пользователей с платной лицензией Microsoft Copilot. Ниже приведены подробные сведения о том, как работает каждая функция.

Microsoft Copilot с Microsoft Graph

Семантическое индексирование предоставляет данные заземления для получения знаний через Microsoft Copilot, понимая цель вашего запроса и добавляя дополнительную информацию в запрос Microsoft Copilot.

Соответствующая информация получается в Microsoft Graph и семантическом индексе, чтобы предоставить большой языковой модели (LLM) больше информации для анализа. Например, предположим, что вы хотите, чтобы Microsoft Copilot нашел сообщение электронной почты, в котором коллега хвалил работу поставщика по разработке. Семантическая индексация включает в поиск близлежащие слова (например, «ликующий», «взволнованный», «удивленный»), чтобы расширить область поиска и дать наилучший результат. Вся эта работа происходит за кулисами, чтобы добавить релевантности результатам, которые вы ищете с помощью Microsoft Copilot, не усложняя их.

Когда пользователь присоединяет библиотеку документов SharePoint или папку либо вводит ее URL-адрес в запрос Copilot, этап граундинга включает эту область и использует метаданные столбца библиотеки вместе с содержимым файла для ограничения и ранжирования результатов.

Запросы с областями задач с библиотеками и папками SharePoint

Когда пользователь присоединяет библиотеку документов SharePoint или папку (или указывает ее URL-адрес) в Copilot, Copilot может использовать метаданные столбцов библиотеки в качестве дополнительных сигналов для уточнения основы, улучшения контекстной релевантности и повышения точности ответов. Такое понимание метаданных применяется к запросам, относящимся к определенной библиотеке или папке, и доступно в веб-интерфейсе.

Как работает семантическое индексирование

Семантическое индексирование обеспечивает результаты поиска Microsoft Copilot, позволяя концептуально понять ваши сетевые данные в дополнение к лексическому пониманию, которое у нас также есть. Индексирование включается корпорацией Майкрософт автоматически.

Сегодня семантический индекс создается для каждой подписки на уровне клиента и пользователя. Это индекс для всей организации, созданный на основе текстовых файлов SharePoint Online. Тем не менее, результаты становятся доступны пользователю лишь в том случае, если пользователь уже имеет доступ к содержимому, контролируемому системой управления доступом на основе ролей. Кроме того, сайт SharePoint Online должен оставаться доступным для поиска. Для элементов SharePoint метаданные связанных столбцов могут быть включены в качестве сигналов во время извлечения, когда запрос ограничен определенной библиотекой или папкой. Со временем мы также создадим содержимое индекса на уровне пользователя. При этом добавляется персонализированный индекс рабочего набора данных, доступный пользователям, выполняющим повседневные задачи. Это включает в себя любое текстовое содержимое, которое вы создаете или с которым взаимодействуете, например электронные письма, документы, в которых вы упоминание, или которые вы комментируете или которыми делитесь.

В следующем разделе объясняется, как включить каждый индекс, как поток данных в Microsoft Copilot использует семантическое индексирование, какие типы файлов может обрабатывать каждый индекс и как каждый индекс обрабатывает обновления.

Включение

Теперь у каждого клиента Microsoft Copilot есть индекс на уровне клиента. Процесс индексирования не требует участия администратора.

Потоки данных

Microsoft Copilot повышает точность поиска, используя расширенные лексические и семантические аналитические сведения из данных Microsoft Graph. На следующей схеме показано, как работает поток данных для запроса с помощью Microsoft Copilot.

Запросы пользователей из приложений Microsoft 365 отправляются в Copilot (1), и Copilot получает доступ к Microsoft Graph и семантическому индексу для обработки (2). Copilot отправляет измененный запрос в большую языковую модель (3), получает ответ LLM (4), а затем обращается к Microsoft Graph и семантическому индексу для постобработки (5). Затем Copilot отправляет ответ и команду приложения обратно в приложения Microsoft 365. Все запросы шифруются по протоколу HTTPS, а данные клиентов остаются зашифрованными при хранении.

Поддерживаемые типы контента

Ответы на основе Microsoft Graph могут использовать семантическое понимание почтовых ящиков пользователей и типов файлов, перечисленных в следующей таблице. Со временем типы файлов будут поддерживаться дополнительными способами. В дополнение к контенту из поддерживаемых типов файлов, метаданные элементов SharePoint можно использовать в качестве сигналов релевантности, когда пользователи области запросы Copilot для определенной библиотеки документов или папки. Список поддерживаемых типов файлов для индекса уровня пользователя и индекса уровня клиента приведен в таблицу.

Индексация обновлений

Когда данные Microsoft Graph индексируются для клиента в первый раз, документы, созданные пользователями, индексируются в почтовом ящике пользователя практически в режиме реального времени. Новые документы, добавляемые на сайты SharePoint Online, которые доступны двум или более пользователям путем наследования сайта, индексируются ежедневно. При обновлении индексированного документа уровня пользователя и клиента изменения индексируются немедленно.

Администрирование

Мы предоставляем администраторам дополнительные действия для подготовки семантического индексирования и управления им через Центр администрирования Microsoft 365. Для включения семантического индексирования не требуется участие администратора, так как служба автоматически включается корпорацией Майкрософт. Семантическое индексирование — это улучшение Поиска Microsoft 365, которое невозможно отключить.

Администраторы могут подготовить семантическое индексирование и управлять им, ознакомившись с рекомендациями по планированию и развертыванию совместной работы над файлами в SharePoint, а также с разрешениями на общий доступ в современном интерфейсе SharePoint. Администраторы могут исключить файлы из семантического индексирования, просмотрев рекомендации по исключению данных с помощью защиты от потери данных Microsoft Purview (DLP). Если решение DLP отсутствует, администраторы могут исключить сайты SharePoint Online из индекса на уровне клиента.
Чтобы воспользоваться преимуществами запросов с поддержкой метаданных, убедитесь, что соответствующий сайт или библиотека SharePoint остается доступным для поиска (для параметра Поиск и автономная доступность настроено на разрешение поиска), чтобы содержимое и метаданные столбцов были доступны Copilot, когда пользователи присоединяют эту библиотеку или папку.

Кроме сайтов SharePoint Online

Бывают случаи, когда организации, не использующие защиту от потери данных Microsoft Purview, могут захотеть исключить сайт SharePoint Online из индексации данных в Поиске (Майкрософт). Эти действия следует учитывать только для конфиденциальных данных, таких как зарплата, отдел кадров или финансовая информация. Чтобы исключить сайт SharePoint Online, выполните указанные ниже действия.

1. Перейдите на сайт с соответствующими правами администратора.

2. Выберите "Параметры", а затем "Сведения о сайте" в раскрывающемся меню.

3. Выберите "Просмотреть все параметры сайта ", чтобы открыть страницу "Параметры сайта".

4. Выберите "Поиск и доступность в автономном режиме" в категории "Поиск" и нажмите "Нет" для параметра "Разрешить этому сайту появляться в результатах поиска", чтобы исключить его из Поиска (Майкрософт) и поиска семантического индекса. Это также можно сделать с помощью PowerShell для нескольких сайтов.

   

Поиск (Майкрософт) и семантическое индексирование поддерживают исключение контента SharePoint Online только из индекса на уровне клиента. Нет возможности исключить результаты только из Поиска (Майкрософт) или только семантического индексирования; Действия применяются к обеим сторонам одновременно.

Настройка аналитики элементов

На странице "Поиск и аналитика" в Центре администрирования Microsoft 365 аналитика элементов включена по умолчанию. Отключение аналитики о людях или элементах снижает возможности Поиска (Майкрософт) и семантического индексирования, так как результаты не будут включать соответствующих людей, которые были бы получены из групп рассылки или организационной диаграммы.

• People Insights предоставляет пользователям список людей, имеющих отношение к пользователю, на основе их совместной работы в Microsoft 365. К участникам совместной работы относятся участники общедоступной группы рассылки и отдельные лица, связанные с помощью организационной диаграммы.

• Аналитика элементов позволяет сотрудникам организации давать рекомендации на основе их совместной работы в Microsoft 365. Эти рекомендации могут включать, помимо прочего, документы или другие типы содержимого и отображаться в карточках людей (контактах), Delve, приложении Microsoft 365, результатах Microsoft Copilot и других расположениях.

Как аналитика элементов, так и аналитика People не охватывают функции персонализации, основанные на собственных данных пользователя.

Включение сторонних сведений

С помощью соединителей Copilot организации могут переносить организационные данные или содержимое из внешних источников в Microsoft Graph. В Microsoft Graph это содержимое индексируется, чтобы Copilot мог получить к нему доступ, при этом сохраняются элементы управления доступом к содержимому. Это расширяет типы источников контента, доступных для поиска в приложениях для повышения производительности Microsoft 365 и в более широкой экосистеме Майкрософт. Обратите внимание, что этот процесс лучше всего работает, когда содержимое соединителя имеет объемный текст. Данные сторонних поставщиков могут размещаться локально, в общедоступном или частном облаке. Дополнительные сведения о требованиях к лицензированию соединителя Copilot для Microsoft 365 корпоративный и Microsoft Copilot см. в разделе "Требования к лицензиям и цены".

Конфиденциальность, соответствие требованиям и безопасность

Модель разрешений в вашем клиенте Microsoft 365 может помочь предотвратить непреднамеренную утечку данных между пользователями, группами и клиентами. Microsoft Copilot представляет только те данные, к которым каждый человек может получить доступ, используя те же базовые элементы управления доступом к данным, которые используются в других службах Microsoft 365. При индексации данных мы продолжаем соблюдать границу доступа на основе удостоверения пользователя, чтобы процесс граундинга получал доступ только к тому содержимому, на доступ которого у текущего пользователя есть разрешения. Дополнительные сведения см. в политике конфиденциальности и сервисной документации Майкрософт.

Microsoft Copilot соответствует нашим существующим обязательствам по конфиденциальности, безопасности и соответствию требованиям перед коммерческими клиентами Microsoft 365, включая Общий регламент по защите данных (GDPR) и Границу данных Европейского союза (ЕС). Запросы, ответы и данные, доступ к которым осуществляется посредством семантического индексирования, не используются для обучения базовых LLM, включая те, которые используются Microsoft Copilot. Дополнительные сведения см. в разделе Данные, конфиденциальность и безопасность для Microsoft Copilot.

Хранение и переработка

Данные, созданные с помощью индексирования, остаются в клиенте компании и соответствуют политикам и процессам безопасности, соответствия требованиям, удостоверениям и конфиденциальности. Семантическое индексирование работает только с контентом, на доступ к которому у пользователей уже есть доступ, и не влияет на квоты хранилища.

Сведения об индексе на уровне пользователя хранятся там, где находится почтовый ящик пользователя. С другой стороны, сведения об индексе на уровне клиента хранятся в изолированном и защищенном контейнере клиента клиента. Этот контейнер расположен в регионе, где расположен сайт SharePoint, который может быть домашним регионом или другим регионом, указанным администратором клиента. Для клиентов в пределах границы данных Европейского союза (EUDB) индекс хранится в центре обработки данных на основе ЕС/ЕАСТ. Обработка других клиентов может выполняться либо в регионе клиента, либо в США. Для организаций с несколькими регионами все географические границы соблюдаются. Данные внутри региона сохраняются и обрабатываются в каждом регионе.

Поддержка ключа клиента Microsoft Purview (BYOK)

Майкрософт обеспечивает поддержку создания собственных ключей (BYOK) для предприятий, которые включили BYOK в своей среде. Microsoft автоматически включает семантическое индексирование для клиентов с поддержкой BYOK без какого-либо административного участия.

Защита информации

В контексте поиска нет других способов исключить данные из семантического индексирования с помощью возможностей защиты информации. Семантическое индексирование наследует параметры безопасности и конфиденциальности от Поиска (Майкрософт), а данным, полученным от сторонних соединителей, предоставляются те же хранилища и средства защиты, что и другим данным Microsoft 365. Для организаций, которые изучают дополнительные варианты защиты информации, Microsoft 365 предоставляет встроенные возможности в приложениях Microsoft 365. Также доступны надстройки, помогающие администраторам защитить данные организации за счет минимизации объема данных и сокращения чрезмерного общего доступа. В следующих разделах описываются варианты, доступные для организаций только для справки.

Минимизация трафика

При минимизации данных сокращается объем доступных данных, к которым может получить доступ ваша организация. Сохранение и удаление контента часто требуется для соответствия нормативным требованиям и нормативным требованиям, но удаление контента, который больше не имеет ценности для бизнеса, также помогает управлять рисками и обязательствами. Управление жизненным циклом данных Microsoft Purview, который лицензируется отдельно, можно использовать для удаления содержимого, которое больше не требуется, с помощью политик хранения для управления в масштабе и меток хранения для исключений и детального контроля.

Сократите чрезмерный общий доступ

Организации уже давно могут принять меры по сокращению чрезмерного совместного использования в Microsoft 365 с помощью существующих элементов управления в Центре администрирования Microsoft 365 и SharePoint Online. Важно отметить, что индексирование данных не меняет разрешений на доступ к содержимому и не меняет принципов предоставления пользователями доступа к информации коллегам. Например, предоставление общего доступа к содержимому с помощью ссылки, которая работает для всех в моей организации, не делает информацию частью индекса на уровне клиента. Только пользователи, выбравшие ссылку, к которой у них есть доступ, получат информацию в свой пользовательский индекс. При изучении вариантов защиты информации организациям рекомендуется учитывать следующее:

• Планирование безопасной совместной работы с файлами — просмотрите , спланируйте и разверните совместную работу над файлами , чтобы узнать больше о рекомендуемых методах работы с безопасной и продуктивной средой совместной работы с файлами для ваших пользователей.

• Правильный размер доступа пользователя к данным Чтобы уменьшить список : уменьшите чрезмерный общий доступ, наследуя списки исключений для сайтов SharePoint Online и выполняя проверки управления доступом в режиме реального времени. Организации могут использовать надстройку Syntex Расширенное управление SharePoint для управления этими разрешениями.

• Использование меток конфиденциальности - Еще один способ уменьшить чрезмерный общий доступ к контенту - использовать Защита информации Microsoft Purview для применения меток конфиденциальности, которые позволяют классифицировать данные на основе их конфиденциальности, а также применять средства защиты, такие как шифрование и маркетинг контента. Метки конфиденциальности также включены в оптимизацию поиска (то есть поддерживаются для фильтрации и правил на стороне приложения, используемые для визуальной маркировки и ограничения доступа).

• Ограничение доступа — защита от потери данных Microsoft Purview доступна в Microsoft 365 E5 и может использоваться для задним числом и временного ограничения доступа к документам, которые были помечены как чрезмерно распространенные. Организации, у которых нет лицензий Microsoft 365 E5, могут использовать 90-дневную пробную версию решений Microsoft Purview, чтобы узнать, как дополнительные возможности Purview могут помочь в управлении безопасностью данных и соответствием требованиям.

Если вы хотите узнать, как развертывать расширенные решения для защиты информации, ознакомьтесь со следующей статьей, в которой объясняется, как развернуть решение по защите информации с помощью Microsoft Purview. Дополнительные сведения о том, как Microsoft Purview может помочь вам усилить требования к безопасности данных и соответствию для Microsoft Copilot, см. в статье Защита и управление взаимодействием Microsoft Copilot с помощью Microsoft Purview.

Дополнительные ресурсы

Чтобы узнать больше о Microsoft Copilot, проверка следующие ресурсы:

• Начало работы с Microsoft Copilot
• Данные, конфиденциальность и безопасность для Microsoft Copilot
• Сайт принятия Microsoft Copilot