旅行や趣味･仕事をアシスト　Geminiの「画面共有」を便利に使おう

Geminiの画面共有機能を2種類のスマホで試す

GoogleのAIサービス「Gemini」には、スマートフォンの画面に表示された内容について、その場で検索や要約ができる「画面共有」機能が備わっている。この機能はスマートフォン使用中の多くのシーンで利用でき、Webページの文字や写真、さらに動画の音声や一部映像情報からも必要な情報の抽出が可能だ。さらにマルチモーダル機能により、得られた検索結果を他のアプリで活用することも容易に行なえる。今回は、サムスン電子の「Galaxy Z Fold7」とGoogle 「Pixel 9 Pro」でこの機能を実際に使ってみた。

長い動画も内容を要約、メモまで作成

最近は動画から情報収集することも多いだろう。たとえばこれから行く旅行先の観光地情報などは現地の公的機関からインフルエンサーまでさまざまな動画がYouTubeなどにアップロードされている。しかし動画を全て見るのも、たとえ倍速で再生しても時間がかかる。そんな時に使えるのが動画の要約機能だ。この機能は動画の音声を要約したり、ポイントをまとめることができる。

実際にYouTubeで旅行先の動画を見つけたら、再生しながらGalaxy Z Fold7の電源ボタンを長押ししてGeminiを起動。すると画面右下に「動画について質問する」と表示されるのでタップする。続けて開いたウィンドウにはYouTube動画のURLが表示され、その下にテキストウィンドウがあるので音声または文字入力で「動画の要点をまとめて、Keepに保存して」と指示する。

左：動画視聴中に電源ボタンを長押し→右：音声か文字入力で指示を出す

すると数秒から10数秒でウィンドウが開き、動画の要点がまとめられると共に、その内容がGoogle Keepに保存される。Keepを開けば実際にテキストが保存されており、テキスト最後のGeminiをタップすればGeminiの結果画面に移動するので、元の動画もそこから再び見ることができる。観光地の気になる動画があれば同じように要約を作れば自分だけの観光ガイドブックができるだろう。

左：Geminiが動画の音声を要約、Keepへも保存される→右：Keepを開くと保存されている

また、視聴する動画に対して「動画内のレストラン情報だけをまとめて」とか「動画内で訪問した観光地の入場料を教えて」のように、特定の情報だけをまとめることも可能なのだ。

お店のざっくり検索や予約も簡単

実際に観光地について、付近のお店を検索するときにもGeminiの画面共有機能は便利だ。Google Mapを開いて現在地を確認したら、Geminiを起動。すると画面右下に「場所について質問する」と表示される。

一般的にお店を検索する場合は、Google Mapに直接「沖縄料理店」などと入力するだろう。Geminiなら「この付近の沖縄料理店を教えて」と音声または文字入力すればよい。さらにそれだけではなく「お勧めのお店を教えて」とか「1000円以下で食べられるお店を教えて」という指示もできる。

予算を伝えればお店を教えてくれる

そしてお店を予約したければ「XXXX(お店の名前)に電話して」あるいはお店を選ぶのが面倒であれば、簡単に「一番近いお店に電話して」と指示もできる。するとGeminiがお店の電話番号を検索し、さらに電話アプリが自動的に起動し電話をかけてくれる。電話番号を検索や確認する手間もないし、自分で番号を入力する必要もないため番号を間違って発信してしまうことも防げるのだ。

電話番号を自分で入力する必要もなく一番近いお店に電話をかけてくれた

レシピ検索もより簡単になる

旅行から帰ってきて、現地で食べた食事が美味しく、自分でも作ってみたいと思うことがあるだろう。気になった料理を検索して写真が表示されたらGeminiを起動して「この料理のレシピの作り方を教えて」と質問。Geminiが直接作り方を回答してくれなくても、料理サイトなどのURLを表示してくれる。そしてURLを開いた先に料理方法が記載されていても、自分で疑問があれば「料理するときの注意点を教えて」と聞いたり、あるいは冷蔵庫にレシピの材料がない場合は「XXX肉の代わりに使える別の肉は何?」と聞くこともできる。自宅にある材料だけで旅先の料理を再現することもできるわけだ。

料理の作り方や注意点も聞ける

仕事でも使えるGemini、プレゼン資料のチェックも可能

プレゼン資料作成に悩んだときもGeminiにアドバイスを受けることができる。今回はスプレッドシートを開いて事前に作ったプレゼン資料を表示。ここからGeminiで「文字が見にくいのでどのように変えるといいか」「3分のプレゼン時間に枚数は多くないか?削除するならどのページが妥当か」と聞き、その結果を参考にすることで資料の完成度を高めることができる。実際にやってみたところ、文字に縁取りをつけた事例を表示してくれ、また全体のシートで重複していると思われるページを削除するように指摘してくれた。

プレゼン資料のアドバイスも可能だ

なお、ここまでの事例は画面の大きなGalaxy Z Fold7を使ったが、一般的なスマートフォンでももちろん可能だ。Pixel 9 Proで同じことを行なってみたがもちろん同等の結果が得られた。画面サイズが狭いものの、音声指示で操作できるため移動中やスキマ時間でも業務を進めることができるだろう。しかしこうして画面の大きさを見比べてみると、AI機能の活用には折りたたみスマートフォンがより向いていると言えそうだ。

一般的なスマホでも音声操作でGemini画面共有が活用できる

AIアプリを立ち上げて指示を出すのではなく、画面に表示されている内容に対して電源ボタン長押しでGeminiを起動、音声で質問を投げかける動作は「AIを使う」ということを意識させない。スマートフォンを使っているなら日常的に使うアシスタントツールとしてGeminiの画面共有は積極的に利用したい。