回答が合わないという報告を、現象の単位まで分ける
社内の規程やマニュアルを検索して答えるAIを用意したものの、返ってくる内容が使えない。この状態で最初に起きやすいのは、「精度が低い」という報告のまま設定を触り始めることです。どこが外れているかが決まっていないので、直したつもりの箇所と原因が一致しません。
手を入れる前に、外れた質問を1件ずつ集めます。集めるのは次の4つです。
- 実際に聞いた質問文（要約せず、そのままの表現で）
- 返ってきた回答
- 回答に示された出典（どの資料のどこか）
- 期待していた答えと、その根拠が書かれている資料と箇所
4つ目が書けない報告は、ここで止めて聞き直します。期待していた答えの根拠がどこにあるか誰も示せない場合、社内にその記述が無い可能性があります。記述が無ければ、検索も回答も直しようがありません。切り分けの前に判明することがあるため、報告の様式としてこの4つを固定しておくと後の作業が短くなります。
切り分けは2つの確認で終わる
集めた質問は、次の2つを順に確かめるだけで、直す場所が3つのどれかに決まります。
確認1。引いてきた出典に、答えが書かれているか。 出典として示された箇所を人が読み、期待していた答えがそこに書いてあるかを見ます。書いてあるのに違う回答が出ているなら、読み取りと指示の問題です。回答の段を直します。
確認2。正しい記述が、対象の資料の中にあるか。 確認1で「書かれていない」となった場合に行います。正式名称や条文の番号で全文検索し、担当者にも当たって、期待している答えの根拠が対象の資料に存在するかを探します。存在するのに引けていないなら検索の段、存在しないか改定前の記述しか無いなら文書の段です。
順番を固定するのは、手前の段の外れが後ろの段に伝わるためです。検索が該当箇所を渡していない状態で回答の指示だけを書き直しても、返せる材料が無いので変わりません。逆に、資料にそもそも記述が無いのに検索の設定を触ると、当たらない理由が分からないまま設定だけが複雑になります。
モデルの入れ替えは、この切り分けが終わるまで行いません。同時に替えると、どの変更が効いたのか追えなくなります。方式そのものの選び方と、学習させる形との違いは RAGとファインチューニングの違い で扱っています。
文書側を直せば済む例
「文書の段」に落ちたものは、資料そのものを直します。設定の変更より地味ですが、1件直せばその資料を使う質問すべてに効き、他の質問の答えを悪くすることがありません。
| 起きていること | 文書側の状態 | 直し方 |
|---|---|---|
| 改定前の内容が返る | 同じ主題の資料が複数あり、旧版も対象に入っている | 有効な1件だけを対象にし、旧版は置き場を分ける |
| 長い資料の後半が引けない | 見出しが無く、区切る位置を機械が決められない | 章と節に見出しを付ける。番号だけの見出しに内容の語を入れる |
| 表や別紙の値を外す | PDFの表が画像で、文字として取り出せていない | 文字として取り出せる形式にする。できない資料は対象から外す |
| 部署や年度で違うべき答えが混ざる | 資料に対象者と適用開始日が書かれていない | 資料の先頭に適用範囲と適用日を書く |
| 社内の呼び方で聞くと当たらない | 資料に正式名称しか出てこない | 資料の中に呼び方の対応を1行入れる |
| 「分かりません」しか返らない | 手順が口頭で回っており、記述が無い | 書き起こす。書けないうちは対象から外して人へ回す |
見出しの欠落は、検索の当たり方に直接効きます。多くの仕組みは資料を見出しか文字数で区切って扱うため、見出しが無ければ文字数で切られ、条件を書いた段落と例外を書いた段落が別々の断片に落ちます。片方だけが引かれると、条件を満たさない場合の答えが抜けます。見出しを付け直すのは資料の書き手の作業で、検索の設定では代替できません。
呼び方の対応も同じです。正式名称でしか書かれていない資料に対して、利用者は社内の通称で聞きます。用語集を別ファイルで持つ形もありますが、その資料の冒頭に1行「（社内では○○と呼んでいる制度）」と書くほうが早く、検索の対象がその資料である限り確実に引けます。
対象にする資料の絞り込みと、旧版の混在や更新担当の不在といった状態の見分け方は 生成AIに社内データを読ませる前の準備 で扱っています。運用に入ってから文書側の直しが多く出る場合は、この準備が済んでいないことが多く、質問への対処を続けるより対象の資料をまとめて見直すほうが早く収まります。
検索の設定を変えるべき例
資料に正しい記述があるのに引けていない場合だけ、検索の側を触ります。
| 変えるところ | どんなときに変えるか | 変えた後に見る数字 |
|---|---|---|
| 分割の単位 | 出典が質問と無関係な節を指す。条件と例外が別々に引かれる | 出典の当たり方 |
| 渡す件数 | 該当箇所が候補には入っているのに、回答に使われていない | 正答率と誤った断定の割合 |
| 言葉の一致で引く検索の併用 | 規程番号・型番・固有名詞を含む質問で当たらない | 該当語を含む質問だけを抜き出した出典の当たり方 |
| 絞り込みの条件 | 他部門や過去年度の資料が候補に混ざる | 誤った出典を示した割合 |
| 質問の書き換え | 1つの文に複数の問いが入った質問で外す | 正答率 |
| 候補の並べ替え | 上位には入っているが1位にならない | 出典の当たり方 |
一度に1つだけ変えます。 検索の設定変更は、当たるようになる質問と当たらなくなる質問が同時に出ます。2つ同時に触ると、どちらが効いたのかも、戻すべきかも判断できません。
個別の質問で判断しません。 目の前の1問が当たるように分割の単位を変えると、他の質問が外れることがあります。判断は、固定した質問の一覧に対する集計で行います。
絞り込みの条件は、文書側の記載が前提です。 部門や適用日で候補を絞る仕組みは、資料にその情報が書かれていて初めて機能します。書かれていない場合は、検索の設定ではなく文書の段に戻ります。ここを取り違えると、設定を作り込んでも効かない状態が続きます。
散らばった資料をどう集め、閲覧権限を検索結果へどう持ち込むかは 社内文書検索をAIで横断する で扱っています。権限の設計は精度とは別の話に見えますが、権限で見えない資料は当たらないため、切り分けのときは対象範囲も併せて確認します。
回答の段で直すこと
出典に答えが書かれているのに違う回答が出る場合は、渡し方と指示を直します。
引用を必須にし、渡した範囲の外にあることは答えない指示を置きます。そのうえで、答えの根拠が見つからないときは答えないことを明示します。ここを書いておかないと、近い内容の記述から埋め合わせた回答が返り、出典は付いているのに中身が違う状態になります。
複数の資料に別々の答えがある場合は、1つに選ばせず並べて返す形にします。どちらが有効かの判断は、適用範囲や改定日を見て人が行うほうが確実です。選ばせると、選んだ理由が回答に残りません。
渡す件数は、多いほどよいわけではありません。増やすと該当箇所が入る確率は上がりますが、関係のない記述が混ざって答えが薄まることがあります。件数は、出典の当たり方と正答率の両方を見ながら決めます。
出典の粒度も回答の段の設計に入ります。資料名だけでは利用者が確かめられません。節や見出しまで返せば、返ってきた答えを自分で検証できます。
精度をどの単位で測るか
1つの数字にまとめると、どの段が足を引いているか分からなくなります。分けて数えます。
| 測るもの | 数え方 | 分かること |
|---|---|---|
| 正答率 | 期待した答えと同じ内容を返した質問の割合 | 全体として業務で使える状態か |
| 出典の当たり方 | 正解の記述を含む箇所が、渡した範囲に入っていた質問の割合 | 検索の段が上限を作っていないか |
| 答えなかった割合 | 記載が見つからないとして答えを返さなかった質問の割合 | 慎重な側へ振れすぎていないか |
| 誤った断定の割合 | 出典に無いことを、根拠があるかのように返した質問の割合 | そのまま利用者に見せてよいか |
正答率の上限は、出典の当たり方で決まります。 該当箇所が渡っていない質問には正しく答えようがありません。この2つを並べると、次に手を入れる段が数字で決まります。出典の当たり方が低いのに回答の指示を直し続けても、正答率は動きません。
答えなかった割合と誤った断定の割合は、片方を下げるともう片方が上がります。 指示を厳しくすれば答えない質問が増え、緩めれば埋め合わせた回答が増えます。どこで釣り合わせるかは用途で決めるもので、両方を同時に下げようとすると設計が止まります。
評価に使う質問は、実際に来ているものから取ります。 資料を読みながら作った質問は、書いてある表現をなぞる形になりやすく、当たりやすくなります。問い合わせの記録や、担当者が繰り返し説明している内容から集めます。
質問の種類ごとに集計します。 一問一答で答えられるもの、条件によって答えが変わるもの、複数の資料をまたぐもの、社内に記載が無いもの。この4種類は当たり方がまるで違うため、全体の1つの数字ではどこで落ちているかが見えません。記載が無い質問については、答えないことが正解になります。
合格ラインをどう置くか
一律の数字はありません。決め方を3つ用意しておくと、議論が止まりにくくなります。
今の手段と比べます。 人が資料を探して答えている現状の所要時間と、誤りの頻度を先に測っておきます。この基準が無いと、8割で足りるのかという問いに誰も答えられません。
誤りの影響で分けます。 答えなかった質問は、人へ渡す経路を用意すれば損失になりません。誤った断定にはその経路がありません。ラインは誤った断定の側に厳しく置きます。
人の確認が入るかで変えます。
| 使い方 | 誤ったときに起きること | ラインの置き方 |
|---|---|---|
| 下書きを作り、人が確定させる | 人が直す手間が増える | 正答率より、出典の当たり方を先に上げる |
| 社内の問い合わせに直接答える | 誤った案内のまま作業が進む | 誤った断定の割合を先に決め、達しないうちは答えさせず人へ回す |
| 社外へ出る文面の根拠に使う | 訂正の連絡が必要になる | 数字でラインを引かず、記載の有無にかかわらず人の確認を通す |
用途ごとの合格ラインの置き方と、本番に出す前の確認手順は AIエージェントの精度をどう評価するか で扱っています。上の表は、社内文書を検索して答える用途に絞った見方です。
直しを1周させる
切り分けと測り方が決まったら、次の順で回します。
- 評価に使う質問の一覧を固定する（当たっている質問も残す）
- 現状の4つの数字を取る
- 変更を1つだけ入れる
- 同じ一覧で測り直し、何を変えてどの数字がどう動いたかを記録する
当たっていた質問を一覧から外さないのは、変更で外れるものが出るためです。外れたものだけを集めた一覧で測ると、良くなったように見えて全体が下がっている状態に気づけません。
手を入れる順は、文書の段、検索の段、回答の段です。効果の大きさではなく、後戻りのしにくさで決めています。文書側の直しは他の質問へ悪く効きませんが、検索の設定変更は当たり外れが入れ替わります。
運用に入ってからは、実際に来た質問のうち答えを返さなかったものを定期的に見ます。これがそのまま、資料に記述が足りていない箇所の一覧になります。件数が多い順に書き起こしていけば、質問が来る範囲から順に埋まります。
この一周を外部への依頼ではなく社内で回せるようにしておくと、資料が改定されるたびに設定を見直す作業も自社で完結します。どこまでを自社で持つかの線引きは 生成AI・AIエージェントの内製化とは を参照してください。
まとめ：社内RAGの精度を上げるときの要点
- 「精度が低い」という報告のまま設定を触らない。質問文、回答、示された出典、期待していた答えの根拠の4つを集めてから始める
- 切り分けは2つの確認で終わる。出典に答えが書かれているか、書かれていない場合は正しい記述が対象の中にあるか
- 文書の段は、旧版の混在、見出しの欠落、画像のままの表、適用範囲の未記載、社内の呼び方が出てこないこと。資料を直せば他の質問へ悪く効かない
- 検索の段は、資料に記述があるのに引けていない場合だけ触る。一度に1つだけ変え、個別の質問ではなく固定した一覧の集計で判断する
- 回答の段では、引用を必須にし、根拠が無いときは答えない指示を置く。複数の答えがあるときは並べて返す
- 精度は4つに分けて測る。正答率、出典の当たり方、答えなかった割合、誤った断定の割合。正答率の上限は出典の当たり方で決まる
- 合格ラインは今の手段と比べて置く。答えなかった質問は人へ渡す経路で受けられるが、誤った断定は受けられない
- 直しは文書、検索、回答の順に1つずつ入れ、同じ質問の一覧で測り直して記録する
Augueでは、社内文書を参照して答える仕組みの構築と、精度が出ないときの切り分けから改善までの支援を行っており、測り方と合格ラインの決め方を社内に残す形で進められます。手を入れる場所の見当が付かず止まっている方は、是非ご相談ください。
関連する記事
読ませる資料の絞り込みと、精度を落とす資料の見分け方は 生成AIに社内データを読ませる前の準備、知識をどこに置くかという方式の選び方は RAGとファインチューニングの違い で扱っています。
散らばった資料の集め方と閲覧権限の設計は 社内文書検索をAIで横断する、本番に出してよいかを数字で決める手順は AIエージェントの精度をどう評価するか、社内で改善を回せる体制づくりは 生成AI・AIエージェントの内製化とは を参照してください。
よくある質問
評価に使う質問は何問くらい用意すればよいですか？
一律の数は出せません。問数より、質問の種類が揃っているかで決めます。一問一答で答えられるもの、条件によって答えが変わるもの、複数の資料をまたぐもの、社内に記載が無いものの4種類を、それぞれ実際に来ている質問から集めます。種類ごとに集計できる件数が入っていれば、少なくても判断に使えます。
モデルを新しいものに替えれば精度は上がりますか？
出典に答えが書かれているのに読み違える場合は改善することがありますが、検索が外れている場合と文書に記述が無い場合は変わりません。切り分けの前に替えると、何が効いたのか分からなくなります。評価用の質問を固定し、他を変えずに替えて同じ集計を取る形にすると比較できます。
改善にはどれくらいの期間がかかりますか？
期間の目安は状況によって変わるため一律には出せません。見積もる材料になるのは、外れた質問のうち文書側の直しが必要な件数と、そのうち資料を書き起こす必要があるものの件数です。判定と設定の直しは短く済み、記述そのものを書く作業だけ1件あたりの時間が大きく変わります。
市販のRAG製品を使っている場合、どこまで手を入れられますか？
製品によって、分割の単位や渡す件数、絞り込みの条件を設定として開けているものと、開けていないものがあります。開いていない場合でも文書側の直しは自社で行えるため、先にそちらを済ませます。そのうえで残った外れを持ち込むと、提供元へ確認する内容が具体的になります。