こんにちは、大平です。
AIを業務に入れたものの、「正答率が低い」「もっともらしい一般論しか返ってこない」という声は少なくありません。
このとき、モデルの変更や長大なプロンプトを書く前に試してほしいことがあります。
具体的な問いと、自社にとっての正解例を1つセットで渡すことです。
これはOne-shot Prompting、複数の例を渡す場合はFew-shot Promptingと呼ばれる手法です。小さなプロンプトの工夫に見えますが、その先にはもっと大きな経営課題があります。AIに見せられる正解例を自社がどれだけ持っているかが、AI活用の精度だけでなく、将来の競争優位にも影響するからです。
AIが「まとめブログのような答え」しか返さないのはなぜか
AIに「この商談メモを分かりやすくまとめてください」「新規事業の案を考えてください」と頼むと、文章としては整っていても、意思決定には使いにくい答えが返ってくることがあります。
原因は、AIの能力不足だけではありません。
自社にとって何が良い答えなのかを、AIが判断できる材料を渡していないことにもあります。
「分かりやすく」「経営者向けに」「具体的に」といった指示は、人によって解釈が変わります。AIも同じです。評価基準が曖昧なままでは、広く反論されにくい表現や、インターネット上でよく見かける平均的な構成へ寄ります。その結果、間違ってはいないけれど、自社の判断には役立たない「まとめブログのような答え」になります。
まず疑うべきなのは、AIが何を知らないかではありません。
こちらが正解の輪郭を見せられているかです。
長い指示を書く前に、問いと正解例を1つセットで渡す
抽象的な条件を何行も追加するより、完成形を1つ見せた方が早く伝わることがあります。
たとえば、商談メモを経営会議向けに要約させるなら、次のように入力と期待する出力をセットで渡します。
次の商談メモを、経営会議で案件化を判断できる形に整理してください。
【例】
入力：問い合わせ対応の遅れが課題。繁忙期は返信に3日かかる。
予算は未定。月間件数と失注への影響は未確認。
期待する出力：
- 判断：現時点では提案前。追加ヒアリングを行う
- 根拠：課題は明確だが、投資対効果を判断する数値がない
- 次に確認すること：月間問い合わせ件数、対応工数、失注件数、予算上限
【今回】
入力：{今回の商談メモ}
この例で伝えているのは、文章のトーンだけではありません。「要約」とは情報を短くすることではなく、判断、根拠、未確認事項を分けることだと示しています。
例が1つなら厳密にはOne-shot、数個ならFew-shotです。ただ、最初から大量に用意する必要はありません。
まず1つの代表例で出力の方向を合わせ、足りない場合に例を増やす。この順序なら、小さく試しながら改善できます。
Few-shot Promptingは「何を良しとするか」をAIに見せる技術
Few-shot Promptingの基礎としてよく参照されるのが、GPT-3を発表した2020年の論文『Language Models are Few-Shot Learners』です。研究チームは、モデルのパラメータを更新する追加学習を行わず、プロンプト内に少数の実例を示すだけで、翻訳、質問応答、穴埋めなど多くのタスクにおいて強い性能を確認しました。一方で、すべてのデータセットで有効だったわけではなく、苦手なタスクも報告しています。
その後の研究では、例が効く理由も単純ではないことが分かっています。2022年の『Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?』では、分類タスクなどの実験を通じて、実例が入力の分布、選択肢の範囲、出力形式を伝えることが性能向上に寄与すると示されました。
つまり、Few-shotは正解を暗記させる魔法ではありません。
指示文だけでは曖昧だった仕事の境界と完成条件を、具体例によって狭める技術です。効果はモデル、タスク、例の選び方に左右されるため、自社の実務で検証する必要があります。
また、例をプロンプトに入れても、通常はモデル自体を追加学習したことにはなりません。その場の回答に使う文脈を渡しているだけです。この違いは、社内でAI投資を判断するときに押さえておく必要があります。
正解例を蓄積すると、AI活用は個人技から組織の資産に変わる
1回うまくいったプロンプトを個人のチャット履歴に残すだけでは、組織の資産にはなりません。担当者が変われば失われ、別の部署では同じ試行錯誤が繰り返されます。
残すべきなのは、プロンプトの文面だけではなく、次の組み合わせです。
- AIに渡した問いや入力
- 人間が承認した出力
- その出力を正解と判断した理由
- 有効な業務範囲、作成日、更新責任者
この単位で蓄積すると、正解例は3つの用途を持ちます。AIに見せる実例、モデルやプロンプトを比較する評価問題、そして人間が業務を引き継ぐための判断記録です。
ここまで整って初めて、AI活用は「プロンプトがうまい人」の個人技から、再現できる組織能力へ変わります。プロンプト以外の資料や履歴も含め、AIに何を見せるかを設計する考え方は「コンテキストエンジニアリングとは？」でも詳しく整理しています。
事業ドメインの一次情報が、後発に模倣されにくいAIのMoatになる
基盤モデルは購入できます。新しいAIツールも、競合が同じタイミングで導入できます。公開されているプロンプトのテクニックも、すぐに模倣されます。
その中で差が残るのが、事業を運営する中で生まれた一次情報です。顧客が実際に使った言葉、提案が通った理由と断られた理由、例外対応の判断、品質事故の原因、現場でしか分からない制約。こうした情報には、自社が意思決定してきた履歴が含まれています。
ただし、データを大量に保有しているだけではMoatになりません。
競争優位になるのは、一次情報を正解例へ変換し、AIの出力を評価し、業務へ戻す循環を持っている会社です。
この循環があれば、利用するモデルが変わっても、自社の評価基準を持ち運べます。新しいモデルが登場したときも、「以前より賢そう」という印象ではなく、自社の正解データに対してどれだけ改善したかで選べます。モデルへの依存を下げながら、モデルの進化だけを取り込めることも大きな利点です。
過去の正解が、現在のAIを局地最適へ導くこともある
正解例は多ければ多いほどよいわけではありません。過去の正解には、その時点の顧客、組織、商品、規制、経営方針が埋め込まれています。状況が変わった後も同じ例を使い続けると、AIは古い成功パターンを高い精度で再生します。
たとえば、既存顧客の解約防止を最優先していた時期の提案例ばかりを渡せば、新規市場を開拓したい局面でも、保守的な案へ寄りやすくなります。精度が上がったように見えて、会社が進みたい方向からは遠ざかる。これが局地最適です。
Few-shotの研究でも、例の選び方や並び順によって結果が大きく変わることが報告されています。2022年の『Fantastically Ordered Prompts and Where to Find Them』では、テキスト分類の実験において、同じ例でも提示順によって、最先端に近い性能からランダム推測に近い性能まで差が出る場合が示されました。
だからこそ、正解例は保存するだけでなく、棚卸しが必要です。
- 現在の経営方針や商品に合っているか
- 頻出する代表例か、特殊な例外か
- どの条件で使い、どの条件では使わないか
- モデルやプロンプトを変えても再現するか
- 残す、更新する、参照対象から外すの判断を誰が行うか
古いデータは、履歴として保管する価値と、現在のAIに見せる価値を分けて考えます。削除するか残すかの二択ではありません。
保管はするが参照させないという管理が必要です。
経営が決めるべきは、正解データを誰が作り、誰が更新するか
正解データの整備をAI担当者だけに任せると、技術的には扱いやすくても、事業として間違った基準が固定される可能性があります。何を正解とするかは、現場の専門知識と経営方針の両方に関わるからです。
まず、売上や品質への影響が大きく、繰り返し発生している業務を1つ選びます。問い合わせ分類、商談要約、提案書レビュー、仕様確認など、出力の良し悪しを人間が判定できる仕事が始めやすい対象です。
次に、その業務の責任者が代表的な問いと正解例を作り、AI担当者がプロンプトや参照方法へ組み込みます。そのうえで、実際の出力を人間が評価し、採用した例と差し戻した例の理由を残します。
見るべき指標は、プロンプトの本数やAIの利用回数ではありません。初回出力をそのまま採用できた割合、修正にかかった時間、重大な見落としの件数です。これらが改善しているかを確認しながら、対象業務を広げます。
経営が担うのは、正解例を自分で書くことではありません。
誰が正解を承認し、どの変化をきっかけに見直すかを決めることです。商品改定、法改正、顧客層の変化、重大な失敗があったときに更新が走る仕組みまで含めて、データを資産として管理します。
まとめ
- まず1つの正解例を見せる：抽象的な指示を重ねる前に、問いと期待する出力をセットで渡します
- Few-shotの効果は実務で検証する：研究上の有効性は確認されていますが、モデル、タスク、例の選択によって結果は変わります
- 正解例を組織の評価資産にする：入力、承認済み出力、判断理由、有効範囲をセットで残します
- 一次情報を循環させてMoatを作る：保有量ではなく、選別、評価、業務への反映が競争優位を生みます
- 過去の正解を定期的に外す：古い成功例による局地最適を防ぎ、現在の方針に合う例だけをAIへ見せます
AIの精度改善は、モデル選びだけの問題ではありません。自社が何を正解とするのかを言語化し、更新できる会社ほど、新しいモデルの能力を事業成果へ変えやすくなります。