Gemini完全理解マスタープログラム5 画像と音声を使う
「Geminiは、文字だけでなく『画像・音声・PDFファイル』を同時に理解できる優秀な相棒です。キーボード入力から卒業し、スマホのカメラで撮って見せる、ハンズフリーで話しかける、資料をそのまま渡す。この3つの使い方を覚えるだけで、情報処理のスピードが劇的に変わります。」
第5章:文字入力はもう古い。画像・音声・PDF(ファイル)のフル活用術
Geminiの真の力は、キーボードでテキストを打ち込んでいるだけでは半分も引き出せません。スマホのカメラやマイクを組み合わせることで、日常のあらゆる面倒な作業が「写真を撮るだけ」「話しかけるだけ」で終わるようになります。
この章では、明日からすぐに見える世界が変わる、3つのマルチモーダル(複合入力)テクニックを解説します。
「目(カメラ)」を使う:写真から情報を丸投げする
手打ちするのが面倒な情報は、すべて写真に撮ってGeminiに読ませてしまいましょう。文字起こしから状況判断まで、一瞬で処理してくれます。
・プロンプト例
1、手書きメモやホワイトボードのテキスト化 (※会議のホワイトボードや手書きノートの写真を添付して) この写真に書かれている内容をテキスト化して。さらに、決定事項と次にやるべきタスク(ToDo)を箇条書きで分かりやすく整理して。
2、冷蔵庫の余り物からレシピを考案させる (※冷蔵庫の中身の写真を添付して) この写真に写っている食材を使って、調理時間15分以内で作れる夕食のレシピを3つ提案して。
3、エラー画面や取扱説明書の解読 (※パソコンのエラー画面や、英語で書かれたマニュアルの写真を添付して) この画面(書類)は何のエラー(内容)を警告していますか?私が次にすべき具体的な解決策を、IT初心者にもわかるように日本語で3ステップで教えて。
・紙ベースの表や手書きの表を写真撮って、「この表をCSV形式でテキスト化して」と指示すると、そのままエクセルやスプレッドシートにコピペできるデータに変換してくれます。
「耳と口(音声)」を使う:ハンズフリーの壁打ち相手にする
スマホアプリ版のGeminiには、高性能な音声対話機能(Gemini ライブアシストなど)が搭載されています。
画面を見ずに、まるで人間と電話している感覚で相談や練習ができます。
スマホ版のみの機能です。
新規チャットを開いて、マイクアイコンの横にある縦3本線から使えます。
超便利です。
英会話の練習にもけっこう使えます。
・バッテリー消費と通信料の消費が激しいとのことです。
面倒な「PDF・長文」は読まずにGeminiに丸投げする
日常生活には、読まなければいけないけれど面倒くさい長文があふれています。Geminiのファイル読み込み機能を使えば、何十ページもあるPDFを数秒で要約させたり、自分に必要な情報だけをピンポイントで探し出すことができます。
・プロンプト例
1、複雑な書類から「自分がやるべきこと」を抽出する (※自治体のルールや、サービスの規約変更などのPDFを添付して) この書類の内容を、小学生でもわかる言葉で要約して。結局のところ、私が「いつまでに」「何を」しなければならないのか、具体的なアクションを箇条書きで教えて。
2、分厚いマニュアルからの「逆引き」検索 (※家電の取扱説明書のPDFを添付して) 電子レンジの「エラー番号 H01」が表示されました。このマニュアルの中から原因を探し出して、自力で直せるのか、修理に出すべきなのかを結論から教えて。
・複数のファイルを同時に読み込ませて比較させる。
・個人情報や機密情報は読み込ませない。
Gemini完全理解マスタープログラム 目次

