マルチモーダルとは——文字だけでなく、写真や音声も読むAI
文章だけでなく、画像・音声・動画も入力として扱えるAI。手書きの帳票や現場写真を、文字に起こさずそのまま渡せます。
AIに何かを頼むとき、いちばん手間なのは材料を渡すところです。紙の帳票を打ち直す、写真の内容を文章で説明する、会議の録音を書き起こす。この前工程が消えるかどうかで、実務での使い勝手はかなり変わります。
マルチモーダルは、その前工程を減らす方向の性質です。
文字以外も、そのまま渡せる
初期の生成AIは、文字だけを受け取っていました。今は、多くのサービスが画像・音声・文書ファイルをそのまま扱えます。
現場での使われ方は、こういう形です。
- 現場で撮った写真を渡して、状況の説明文にする
- 手書きの日報を撮影して、テキストに起こす
- 図表を含む資料を渡して、内容を要約させる
- 打ち合わせの録音を渡して、決定事項と宿題を抜き出す
- 画面のスクリーンショットを渡して、エラーの内容を説明させる
どれも「人が文字に直してから渡す」工程が消えています。この工程は地味に時間を食っていて、しかも担当者しかやり方を知らないことが多い部分です。
部活の現場でいうと
「肘が落ちてる」と言われても、自分では分かりません。
水泳で何度も言われました。言葉としては理解できる。でも、自分の肘がどうなっているかは水の中では見えない。動画で撮ってもらった一本で、一瞬で分かります。
言葉で伝わることと、見れば分かることは別です。指導する側も、口で十回説明するより、横から撮った一本を見せたほうが早い。
マルチモーダルは、AIの側で同じことができるようになったという話です。文字に起こさなくても、写真を渡せば読む。録音を渡せば起こす。人が打ち直す工程が消えます。
ただ、映像にも映らないものがあります。水の抵抗の重さは、外から見ても分からない。読み取りは任せて、間違いが表に出る項目だけ人が確かめる——見る場所を決めておく、ということです。
読み違いは、文字より見えにくい
便利なぶん、注意も要ります。
画像から数字を読ませたとき、間違いに気づきにくいのが実務での課題です。文章の要約なら、元の文書を読めば検算できます。写真の数値を読み違えた場合、確認するには写真を人が見ることになり、結局そこに手間が戻ります。
現場で置いている線は、この二つです。
読み取りは任せ、確認は人が担う。全項目を人が見るのではなく、金額・数量・日付のように間違いが表に出る項目だけを目視する。この絞り方なら、確認の負担は現実的な範囲に収まります。
書式を揃える。同じ様式の帳票なら、読み取りの精度は安定します。様式がばらばらのものを一度に処理させると、当たり外れが大きくなります。様式ごとに分けて渡すだけで、結果が変わります。
映像AIとは、別の道具
「写真を読めるなら、現場のカメラも見られますか」という質問をよく受けます。
できますが、向いていません。生成AIは、渡された一枚を読み解くのが得意です。カメラの映像を常時見続けて、変化が起きた瞬間を捉えるのは、別の作りのほうが向いています。処理の量が桁違いになるためです。
実務では、組み合わせます。常時の監視は専用の仕組みが担い、何かを捉えたときだけ、その場面を生成AIに渡して説明文や報告にする。役割を分けたほうが、費用も精度も収まります。
当社では映像側を「Soundtec Eyes」として別に扱っています。現場の目視・確認作業が主題なら、そちらから見ていただくほうが早いはずです。
顧問先によく聞かれること
- 手書きの伝票を読ませたいのですが、実用になりますか。
- 書式が揃っていれば、下読みとしては使えます。ただし、数字の読み違いは起きます。金額や数量のように間違いが表に出る項目は、人が確認する工程を残してください。読み取り自体を任せて、確認を人が担う分担が現実的です。
- 現場カメラの映像を常時見せることもできますか。
- できますが、常時の監視は別の設計になります。生成AIに映像を流し続けるより、変化が起きたときだけ切り出して判断させる作りのほうが、費用も精度も現実的です。ここは映像AIの領域と重なります。