【iPhone活用】アクションボタン×Geminiが最強。画面認識もできる「擬似かこって検索」の作り方

Androidの「あの便利さ」が忘れられない

Google Pixel 9aをはじめ、Android端末を使っていた頃、電源ボタンを長押しするだけですぐにGeminiが起動する機能、便利でした。

iPhoneに戻して・乗り換えて一番最初に感じるストレスが「AIへのアクセスの悪さ」ではないでしょうか。 Siriは現状だと生成AIほどの回答は期待できません。「優秀なGeminiを、iPhoneでもサクサク使いたい」そう思って設定を完全に見直しました。

_________________________

iPhone のアクションボタンが最適解

元々使用していたiPhone 15（無印）の時には搭載されていなかった「アクションボタン」や、「カメラコントロールボタン」。ここの進化はすごくよかったなと思います。

今回は、このアクションボタンに「Gemini起動スイッチ」を割り当てることにしました。 ただ普通にアプリを開くだけではありません。一工夫加えることで、劇的に使い勝手が向上します。

_________________________

「スクショ→Gemini」で画面内検索を実現する

Androidには「かこって検索」や画面上のポップアップで文脈を理解する機能がありますが、iPhone版Geminiアプリでは、標準でそこまでの連携はできません。

そこで、ショートカットアプリを使って以下のフローを組みました。

1. 今開いている画面のスクリーンショットを撮る

2. 画像をクリップボードにコピーする

3. Geminiを起動する

この一連の動作をアクションボタン1回で実行するように設定します。

こうすることで、ブラウザやSNSを見ている最中にボタンを押し、Geminiに移動したらペーストボタンを押すだけで「この画像（今の画面）について教えて」と、画像を添付した状態でGeminiに質問できるようになります。 まさにAndroidの画面内検索に近い体験が、iPhoneでも「すっ」とできるようになるのです。

_________________________

まとめ：Siriが進化するまでの「最適解」

Androidなら標準機能でできることですが、現状のiPhoneでGeminiをフル活用するには、この設定が最適解だと感じています。

もちろん、将来的にApple Intelligenceが本格稼働し、Gemini搭載版のSiriが登場すれば、こんな工夫は不要になるでしょう。しかし、それが実現するまでは、この自作ショートカットが強力な相棒になってくれるはずです。

アクションボタンとカメラコントロールボタンは、アプリ起動やショートカット起動との組み合わせで色々な使い方ができてとても便利です。
僕みたいな非搭載機を使用していた方なら感動するはず。

_______________________
おすすめ記事