【授業レポート】システム開発入門第25週｜生成AIの出力を検証し、プロンプトを改善する

greeden

1年前

システム開発入門の第25週では、前週に学んだ生成AIの仕組みとプロンプトの基礎を、実際の操作と検証につなげました。

プロンプトとは、生成AIに目的、条件、出力形式などを伝える指示文です。授業では、指示を書いて終わりにせず、出力を観察し、根拠と表現を確かめ、指示を直してもう一度試す流れを実践しました。

今回の授業で身につけること

今回の目標は、生成AIから答えを得ることだけではありません。出力を完成品として扱わず、人が確認して使える状態へ整えることを目指しました。

最初の実習では、各自が作成したプロンプトを実行し、出力をそのまま読んで問題点を探しました。形式が整っていても、内容まで正しいとは限りません。そこで、確認する対象を分けました。

生成AIの出力を読む四つの観点
観点	確認する内容	授業で見た例
形式	件数、文字数、箇条書き、コードブロックなどの指定を守っているか	三つの候補が箇条書きで示されているか
事実性	名称、場所、数値などに誤りや矛盾がないか	最寄り駅や概算予算を確認できるか
偏り	文化的、社会的な説明が一方的になっていないか	特定の見方だけで説明していないか
表現と安全性	差別的な表現や不適切な内容を含んでいないか	人を傷つける表現が紛れ込んでいないか

高校生向けに、東京都内で日帰りで行ける自然スポットを3つ、
電車での行き方（最寄り駅）と概算予算（往復）を含めて、
箇条書きで教えてください。

この例では、三つの候補が並んでいるだけでは確認を終えられません。最寄り駅の表記、交通費の目安、地名の表記ゆれまで読む必要があります。授業では、形式は整っていても、予算や交通時間が曖昧な出力があることに気づきました。

ファクトチェックとは、出力に含まれる事実を、根拠となる情報と照らし合わせる作業です。授業では、駅名や施設名をウェブや公式サイトで確認し、歴史や統計のように事実性が重い情報は複数の情報源で照合しました。

バイアスは、出力の見方や扱いに現れる偏りを指します。誤字や数値の誤りだけでなく、文化的、社会的な説明が一方へ寄っていないかも読みました。正しそうな文章を受け入れるのではなく、「何を根拠に判断できるか」を確かめる練習です。

田中先生は、生成結果を「考えの下書き」と捉え、最終的には人が責任を持って検証し、修正する必要があると説明しました。

検証で問題を見つけたら、その内容を次の指示へ反映します。班ごとに、出力形式を具体化する、推測を明示させる、個人情報を含めない制約を加えるといった方法を話し合い、改良版を再実行しました。

プロンプトを具体化した例
段階	指示文	確認しやすくなった点
改良前	おすすめの観光地を教えて	対象、件数、時間、移動条件が定まっていない
改良後	中学生が半日で楽しめる東京都内の屋外スポットを3つ、最寄り駅と所要時間（電車だけ）を含めて各1行で教えてください。事実に自信がない場合は「要確認」と明記してください。	対象、範囲、件数、形式、確認が必要な情報を区別できる

改良後も検証は必要です。詳しい条件を加えると出力を点検しやすくなりますが、指示が具体的であること自体は、事実の正しさを保証しないためです。授業では、再実行した出力を同じ観点で読み直し、期待に近づいたかを確認しました。

出力を誰かに見せる場面では、内容を整えるだけでなく、確認が必要な範囲を利用者へ伝えます。授業では、交通費や所要時間を例に、目安であることと公式情報での確認が必要であることを注記しました。

※交通費と所要時間は目安です。利用前に公式サイトで最新情報をご確認ください。

注意書きは、誤りをなくす仕組みではありません。どの情報を利用者自身が確かめる必要があるかを、誤解のない言葉で示す役割を持ちます。

プロンプトと出力の内容だけでなく、入力する情報や認証情報の扱いも確認しました。

便利さを理由に確認を省かず、間違いが含まれる可能性を前提として扱うことが、授業全体に共通するルールでした。

プロンプトの良し悪しを文章だけで判断するのではなく、出力を見て問題を特定し、次の指示へ反映する経験が、学びを具体的にしました。

次週は、今回の「実行、検証、改良」を土台に、入力の確認、出力の検証、利用者への表示をアプリの設計へ落とし込みます。続きは、第26週の生成AIをアプリに組み込む設計で扱います。

出力を鵜呑みにせず、試行と検証を重ねる力は、生成AIを安全に使う土台です。株式会社greedenは、現場の課題に合わせた生成AI勉強会を通じて、業務で活用し続けるための学びと定着を支援します。