VLM（Vision-Language Model）は、画像や文書、映像などの視覚情報と、質問や指示などの言語情報を組み合わせて扱うモデルです。
画像の説明、スクリーンショットへの質問応答、帳票からの項目抽出など、文字だけでは完結しない作業に利用できます。
ただし、VLMは画像を常に正しく読み取る仕組みではありません。
実務で価値を出すには、対象業務を絞り、出力形式、検証方法、不確実な場合の扱い、人が確認する範囲を先に設計する必要があります。
最初に押さえるVLMの要点
- VLMは視覚情報と言語を同じ処理の中で扱います。
- 画像の特徴を取り出す部分と、指示を解釈して文章を返す部分を連携させる構成が一般的です。
- OCR、検索、計算処理を組み合わせると、各工程の役割と検証点を分けられます。
- ベンチマークの成績だけでなく、実際の帳票や画像を使った評価が必要です。
- 誤読や推測を前提に、不回答と人手確認を業務フローへ組み込みます。
VLMとOCR、画像認識、LLMの違い
似た技術を区別すると、VLMに任せる作業を決めやすくなります。
それぞれが扱う入力と得意な処理は同じではありません。
| 技術 | 主な入力 | 得意な処理 | 確認したい点 |
|---|---|---|---|
| VLM | 画像とテキスト | 画像説明、視覚質問応答、項目整理 | 見えていない内容を補っていないか |
| OCR | 画像やスキャン文書 | 画像内の文字を文字データへ変換 | 小さい文字、罫線、傾きによる誤認識 |
| 画像認識モデル | 画像や映像 | 分類、検出、領域の特定 | 学習対象と実際の画像条件の違い |
| LLM | 主にテキスト | 文章の要約、分類、生成 | 視覚入力を扱える構成かどうか |
VQA（Visual Question Answering）は、画像について自然言語で質問し、内容に基づく回答を得る処理です。
一方、OCRは文字の抽出が中心であり、抽出した文字の意味づけや業務判断まで保証するものではありません。
VLMの基本構造
VLMの構成はモデルごとに異なりますが、役割を三つに分けると理解しやすくなります。
- 視覚エンコーダ：画像を小さな領域に分け、形、色、位置などの特徴をモデルが扱える数値表現へ変換します。
- 接続部分：画像側の表現を言語側が参照できる形へ変換します。
プロジェクタやクロスアテンションなどが使われます。 - 言語モデル：質問や出力条件を解釈し、視覚情報を参照しながら回答を組み立てます。
たとえば請求書を処理する場合、画像から文字候補を取り出し、項目名と値の関係を判断し、指定した形式へ整える流れになります。
金額の整合性まで確認したいなら、計算は別の検算処理へ渡したほうが、どの工程で誤りが起きたかを追いやすくなります。
画像と言語を同じ表現空間で扱う考え方は、CLIPの公式解説で確認できます。
視覚側と言語側を接続する研究例としては、BLIP-2の論文がQ-Formerを用いた構成を示しています。
学習方法と利用時の処理を分けて考える
VLMの説明では、モデルを作る学習工程と、導入後に画像を処理する工程が混同されがちです。
利用企業が、導入のたびにモデル全体を学習し直すとは限りません。
- 対照学習：対応する画像とテキストを近い表現にし、関係の薄い組み合わせと区別できるようにします。
- 生成学習：画像の説明や質問への回答を作る能力を学びます。
- 指示チューニング：箇条書きやJSONなど、人の指示に沿った応答を学びます。
- 検索や外部ツールとの連携：社内文書の検索、OCR、計算などを別工程として呼び出します。
RAG（Retrieval-Augmented Generation）は、回答前に関連情報を検索し、その内容を入力へ加える方法です。
VLMが画像から読み取った情報を社内の製品情報や手順書と照合したい場合に、役割を分けて構成できます。
業務で検討しやすい活用例
VLMの導入候補は、「画像を見る作業があるか」だけで選べません。
入力、期待する出力、誤りを見つける方法まで決められる業務から検討します。
| 業務 | 入力例 | 出力例 | 確認項目 |
|---|---|---|---|
| 帳票処理 | 請求書、申請書 | 項目名と値のJSON | 原文との一致、未入力、計算結果 |
| 図表の読解補助 | グラフ、ダッシュボード | 変化点と確認候補 | 軸、単位、凡例、推測の区別 |
| ECの商品整理 | 商品画像と説明文 | 色、柄、素材の候補 | 登録語彙との一致、画像で確認できない属性 |
| 問い合わせ対応 | 画面のスクリーンショット | 表示文言と案内候補 | 製品版、利用環境、公式手順との一致 |
| 現場記録 | 設備や施工箇所の写真 | 候補領域と説明 | 撮影条件、見逃し、専門担当者の判断 |
| アクセシビリティ支援 | Webページ内の画像 | 代替テキストの草案 | 画像の目的、周辺文脈、推測の混入 |
帳票の文字抽出を中心に検討する場合は、DifyでOCRを使う確認フローも参考になります。
指示文で決める五つの要素
指示文は、役割を演じさせる文章よりも、入力と完了条件を明確にするほうが検証しやすくなります。
次の五つを固定すると、担当者ごとの指示の違いを減らせます。
- 対象：どの画像の、どの範囲を読むか。
- 抽出項目：日付、金額、エラー文など、何を返すか。
- 根拠：座標、引用した文字列、対象領域を併記するか。
- 出力形式：表、JSON、所定の選択肢など、後工程が扱える形を指定するか。
- 不明時の動作：推測せず、空欄や
nullを返す条件を決めるか。
請求書から発行日、支払期日、小計、税、合計を抽出してください。
値ごとに画像内の文字列を根拠として付け、読み取れない項目はnullにしてください。
出力は指定したJSON項目だけとし、合計の検算結果は別項目へ記録してください。
モデルが返す信頼度は、正しさそのものではありません。
信頼度を運用に使う場合も、実データで誤りとの関係を測り、人へ回すしきい値を決めます。
VLMを評価する方法
公開ベンチマークはモデル候補を比較する材料になりますが、業務での採用判断には自社データが必要です。
帳票の様式、撮影環境、文字の大きさ、質問の仕方が変われば、失敗の出方も変わるからです。
評価項目
- 正確性：期待した値や説明と一致した割合。
- 完全性：必要な項目を欠かさず返した割合。
- 誤警告と見逃し：存在しない対象を指摘した回数と、必要な対象を落とした回数。
- 不回答の適切さ：読めない入力で推測せず、人へ回せたか。
- 後工程の負荷：確認、修正、再入力に要した作業。
- 処理条件：応答時間、利用量、保存条件が業務要件に収まるか。
評価の進め方
- 対象業務を一つに絞り、成功と失敗の条件を文章で決めます。
- 通常例だけでなく、低解像度、傾き、未記入、新しい様式などを含む評価用データを用意します。
- 正解データを人が確認し、入力と出力を同じ条件で比較します。
- 前処理、指示文、モデルを一度に変えず、変更ごとの差を記録します。
- モデルや業務様式が変わったときに、同じ評価を再実行します。
主なリスクと運用上の対策
| リスク | 起こり得ること | 対策 |
|---|---|---|
| 視覚ハルシネーション | 画像にない文字や物体をあるように説明する | 根拠領域を残し、不明時は回答せず、人が原画像と照合する |
| 図表の誤読 | 軸、単位、凡例を取り違える | 軸と単位を先に抽出し、数値計算は検算処理へ分ける |
| 様式変更 | 新しい帳票や画面で項目を対応付けられない | 未登録様式を検知し、評価データと処理ルールを更新する |
| 個人情報や機密情報 | 入力、ログ、外部連携へ不要な情報が残る | 入力を最小化し、保存期間、権限、送信先を確認する |
| 人物属性の推測 | 画像だけでは確認できない属性を補う | 推測を禁止し、業務上必要な客観情報だけを対象にする |
| モデル更新 | 同じ入力でも出力形式や判断が変わる | モデル情報とテスト結果を記録し、更新前後で回帰評価する |
法務、医療、安全判断など、誤りの影響が大きい業務では、VLMの回答を最終判断にしない運用が必要です。
出力を誰が確認し、どの条件で差し戻すかを手順に含めます。
API利用と自社運用の選び方
導入方式は、機能の多さだけで決められません。
入力する情報、必要な応答時間、運用担当者、更新頻度を整理して比較します。
| 方式 | 検討しやすい状況 | 事前に確認する点 |
|---|---|---|
| 外部API | 小さく試し、複数の候補を比較したい | データの送信先、保存、利用条件、モデル更新 |
| 自社環境 | 処理場所や構成を自社で管理する必要がある | 基盤の構築、監視、更新、評価を担う体制 |
| ハイブリッド | 情報の種類ごとに処理場所を分けたい | 境界ごとの権限、データ形式、障害時の切り分け |
実装では、前処理、VLM、検算、人手確認、保存を一つの処理に詰め込まず、工程ごとに記録を残します。
生成AIの業務導入全体については、業務フローと確認責任を先に決める手順もあわせて確認できます。
アクセシビリティ支援での使い方
VLMは代替テキストの草案作成を支援できますが、VLMを導入しただけでWebサイトがWCAGの適合等級を満たすわけではありません。
適合性は、ページやサイトの実装とコンテンツを、該当する達成基準に照らして評価します。
代替テキストは、画像の見た目を一律に説明する文章ではありません。
W3Cの画像チュートリアルが示すように、情報を伝える画像、機能を持つ画像、装飾画像、複雑な図表では、必要なテキストの役割が異なります。
- 画像がページ内で果たす目的を人が決めます。
- VLMには客観的に確認できる情報だけを草案にさせます。
- 人物属性などの推測、周辺本文との重複、重要情報の欠落を確認します。
- CMSへ反映し、ページ全体の読み上げ順やリンクの目的とあわせて検証します。
サイト全体の改善手順は、Webアクセシビリティの実務ポイントで整理しています。
よくある質問
VLMにはOCRが含まれていますか
構成や提供機能はモデルごとに異なります。
文字抽出の結果を検証しやすくするため、外部OCRとVLMを別工程で組み合わせる方法もあります。
高解像度の画像ほど正確ですか
解像度を上げれば常に正確になるわけではありません。
モデルが受け取れる画像条件、文字の大きさ、圧縮、処理時間を確認し、全体画像と必要部分の切り出しを比較します。
信頼度が高ければ人の確認は不要ですか
信頼度だけでは、個々の回答が正しいことを保証できません。
実データで誤りとの関係を測り、影響の大きい項目は原画像や別の検算結果と照合します。
最初に何から試せばよいですか
入力の種類と正解が明確で、人が結果を確認できる一つの作業から始めます。
帳票の数項目を抽出する例なら、正解データ、出力形式、不明時の扱いを決めて比較できます。
VLM導入前の確認リスト
- 対象業務と、VLMに任せない判断を区別したか。
- 入力できる情報と、入力してはいけない情報を決めたか。
- 期待する出力形式と、不明時の値を決めたか。
- 実際の画像を使った正解データを用意したか。
- 誤りを検出する方法と、人へ回す条件を決めたか。
- モデル、指示文、出力、修正結果を追跡できるか。
- モデルや帳票の変更後に再評価できるか。
VLMは、視覚情報を文章へ変えるだけの機能ではありません。
入力から検証までを分け、失敗時の行き先を決めることで、画像や文書を扱う業務の一工程として評価できます。
この記事に関連する株式会社greedenの取り組み
VLM活用は、モデル選びよりも対象業務、確認責任、評価方法を先に決めることが出発点です。
株式会社greedenは、生成AIを用いた施策について、相談から業務フロー改善、システム実装、定着まで支援します。