Более десяти лет спустя после неудачной попытки Microsoft приучить пользователей общаться с голосовым помощником Cortana на ПК, компания делает новую ставку на голосовое управление с помощью своего ИИ-ассистента Copilot в Windows 11. Начиная с сегодняшнего дня Microsoft выпускает обновление функций Copilot Voice и Vision, которое позволит обращаться к компьютеру фразой «Hey, Copilot» и задавать вопросы, основываясь на содержимом экрана. Например, если на экране открыты фотографии Гавайев, можно попросить Copilot определить место съёмки, проложить маршрут и даже предложить советы по планированию бюджета для поездки.
Microsoft стремится приблизиться к уровню удобства, напоминающему компьютер на борту корабля из Star Trek. Аналогичные цели когда-то подтолкнули Amazon к многомиллиардным инвестициям в устройства Echo и ассистента Alexa. Отличие Copilot в том, что он не просто реагирует на голос — Windows 11 теперь понимает, что происходит на экране. Функция «Hey, Copilot» и технология Copilot Vision работают через облако, что подразумевает передачу изображений рабочего стола на серверы Microsoft. Это требует доверия, которое компания частично утратила после проблемного запуска функции Recall — первой крупной возможности Windows, основанной на ИИ.
Дополнительным фактором недовольства пользователей стало прекращение поддержки Windows 10 на этой неделе. Microsoft подчёркивает, что активация «Hey, Copilot» — опция по выбору, доступная в настройках приложения Copilot. Однако в будущем политика компании может измениться, если она решит повысить вовлечённость пользователей в использование ИИ.
Copilot Actions
Microsoft также экспериментирует с расширением возможностей Copilot, позволяя ему самостоятельно выполнять задачи в Windows. Этого компания планирует достичь с помощью новой функции Copilot Actions, которая впервые появилась как инструмент для выполнения действий на веб-сайтах. После активации Copilot Actions сможет выполнять рутинные операции — например, изменять размер и выравнивать фотографии в папке. Если для выполнения задачи потребуется подтверждение, Copilot запросит его прямо в приложении. Пока Copilot выполняет задание в фоновом режиме, пользователь может продолжать работать за компьютером.
Концептуально Copilot Actions напоминает работу с реальным ассистентом, которому можно поручить задачу, но с тем же риском, что что-то может пойти не по плану. Кроме того, функция потенциально может представлять уязвимость, если будет использована вредоносным ПО, так как фактически представляет собой сценарий Windows с дружественным интерфейсом. Microsoft утверждает, что Copilot Actions прошёл обширное внутреннее тестирование и будет внедряться постепенно для сбора отзывов.
Как и «Hey, Copilot», эта функция является опциональной. Все действия Copilot можно отслеживать пошагово в интерфейсе приложения. Microsoft заявляет, что пользователь сможет в любой момент вмешаться, прервать выполнение задачи или изменить разрешения для ИИ-агентов в настройках Windows 11. Все операции Copilot выполняются в изолированной среде, что обеспечивает дополнительные уровни контроля и безопасности.
Новые элементы интерфейса Copilot
Помимо этого, Microsoft планирует добавить функцию «Ask Copilot» прямо на панель задач Windows 11. Компания описывает её как часть стратегии по превращению панели задач в «динамический центр» для выполнения действий. Все нововведения, включая панель Ask Copilot, будут также опциональными.
Microsoft также расширяет список встроенных ИИ-инструментов Windows 11. Среди них — интеграция с Manus, агентом, который может преобразовывать несколько документов в веб-сайт, и Filmora, позволяющей создавать видео с помощью ИИ прямо из проводника.
Доступность
Новые функции «Hey, Copilot» и Copilot Vision становятся доступны с сегодняшнего дня на всех компьютерах с Windows 11, где уже работает Copilot. Расширение доступности Copilot Vision также началось по всему миру. Функции Copilot Actions и Ask Copilot будут постепенно внедряться для участников программы Windows 11 Insider.