ニュース

すべてのWindows 11をAI PCに　AIと人が「同じ画面で対話」するエージェント

  • 西田 宗千佳

2025年10月16日 22:00

マイクロソフトは16日、Windows 11における今後のAI機能搭載の方針について発表した。人と対話し、共同作業するPCの実現に向け、多くの機能強化を図っていく。

同社は2024年から、オンデバイスAIを強化したPC「Copilot+PC」を推進してきたが、今回はCopilot+PCだけでなく、すべてのWindows 11搭載PCに搭載していく。同社は「すべてのWindows PCをAI PCに」としており、Windows 11移行とCopilot利用促進、双方を目指す。

Copilot on Windows 11 | Meet the Computer You Can Talk To

「Hey, Copilot」でAIと共同作業

発表前日の10月15日(現地時間)、WindowsのX公式アカウントはいくつかの思わせぶりな投稿をしている。

"What if we told you that you could introduce your parents to their new go-to tech helper starting Thursday? (Spoiler alert, it’s not going to be you anymore!)"

(もしみんなに、木曜から両親のための新しいテックヘルパーを紹介できるって言ったら？ (ネタバレ注意。もちろんあなたのことじゃないよ！))

"The average person types around 40 words per minute but can speak up to 130 words per minute. It’s time to move a little quicker ⏰"

(人は平均1分間で約40ワード分タイプできますが、話す場合には一分間で130ワードになります。そろそろもっと素早くなる時間です)

これこそ、Windows 11の新機能をほのめかすキーワードだ。

中核となるのは、同社のAIサービスである「Copilot Vision」。Copilotが画面に表示されている内容を理解し、利用者と対話できるようにする機能だ。

昨年10月に発表されたものだが改良が続いており、「Copilot Vision on Windows」として全世界で利用可能となる。

さらに、Windows 11のCopilotに音声認識キーワード「Hey, Copilot」が実装され、キーボードなどに触れずに会話だけでCopilotが使えるようになる。マイクロソフトは音声でのAIとの連携を、マウス・キーボードに続く新しい「PCのUI」のひとつに位置づける。

音声でAIと対話する機能が、すべてのWindows 11 PCに搭載される

といっても、今までのように「音声認識で命令」や「音声で文字入力」が重要なのではない。

Copilot Visionと連携し、「人間が見ている画面をCopilotも見て、内容を認識して語りながら作業を進める」という点が大きい。

Microsoftの公開した動画では、利用者が「あのマイクはなに?」と語りかけると、Copilot Visionが画面に映っているマイクを認識して商品名を伝え、「どこで売ってる？」と聞くと近くの店舗を伝える。

Want a personal shopper? Ask Copilot on Windows 11

2つ目の動画では、自分の作品をまとめたポートフォリオを画面に表示しながら、Copilotに自分の経歴を考えてもらう。Copilotは生成した系列を読み上げ、その中から必要な部分を利用者が書きのこしてまとめている。

Feeling Stuck? Ask Copilot on Windows 11

これらのデモに関して重要なのは、人間が見ているものをAIも同時に見て、なにを見ているか・どうすべきかを判断していることだ。人と同じものを見て判断することで、人とAIの共同作業を実現している。

こうした機能を使うために、アプリやサービスの改修は不要。すべてのWindows 11 PCで利用可能になる。オンデバイスAIを強化した「Copilot+PC」向けの機能も強化されていくが、多くの機能をクラウドで動かすことで、機器の性能に依存しないでリアルタイムで反応することを目指す。

さらに、Word・Excel・PowerPointのファイルについては「画面に表示されていない部分」も認識する。例えばPowerPointのプレゼン資料を読み込んでチェックしてもらう場合、ページをめくらなくても全体の分析が可能だという。

同じ技術はゲームでも使われる。

10月16日に発売された「ROG Xbox Ally」には、「Gaming Copilot」という機能が搭載されている。これもCopilot Visionを利用しているため、プレイ中の画面を認識し、Copilotがゲームを助ける。ゲームで先に進むためにどうすべきか、アイテムをどうとるべきかなどをたずねると、音声で教えてくれる。

ゲームプレイを補助する「Gaming Copilot」も幅広く使えるようになる

Copilotに作業を任せる「Copilot Actions」も

また、いくつかの機能の実験も始まる。

特に重要なものは「Copilot Actions」だ。こちらはテスト版である「Windows Insider」「Copilot Labs」を経由して提供される。

前述の機能はあくまで、 Copilotが人間と同じものを「見ながら対応する」もの。作業をするのは人間側だ。だがCopilot Actionsは、人間と同時にCopilotがPCに入り、人間の代わりに作業をする。

例えば、大量の画像ファイルに一定の処理を繰り返す場合、命令を与えれば後は終わるまで任せればいい。人間は別の作業に移れる。

Copilot Actions on Windows

こうした技術にはセキュリティ上の懸念もあり、マイクロソフトも多数の対策を行なっている。ファイルへのアクセスなどはユーザーの許諾がないと行なえないし、Copilotが使う領域はユーザーの利用エリアとは異なる専用領域になる。

Copilot Actionsはデフォルトではオフ。明示的に機能をオンにしないと使えない

また、Copilotと他のサービスをつなぐ「コネクター」機能も用意される。これを使うとOutlookなどマイクロソフトのクラウドサービスが連携できるのはもちろん、GmailなどGoogleのサービストも連携する。CopilotからGmailやGoogleカレンダー内の予定を確認する、といったことも可能になる。