「精度が上がらない」の原因が、仕組みの側にないことがある

社内の規程やマニュアルをAIに参照させる仕組みを作ったのに、返ってくる答えが使えない。よくある反応は、検索の設定を変える、文書の分割の仕方を変える、モデルを替える、という順に手を入れることです。それでも改善しない場合、原因が仕組みの側ではなく、読ませている資料の側にあることがあります。

読ませた資料の中に、改定前の規程と改定後の規程が両方入っていれば、どちらが引かれるかは運になります。5年前に作られたまま誰も直していない手順書が入っていれば、その内容がそのまま答えとして返ります。手順の要点が資料に書かれておらず、担当者の口頭の申し送りで回っていた業務なら、読ませても答えられるだけの記述がありません。

こうした状態は、検索の当たり方をいくら調整しても解消しません。引くべき正しい記述が、そもそも対象の中に無いか、誤った記述と区別できない形で混ざっているためです。仕組みを作り込む前に、どの資料を対象にしてどれを外すかを決めておくと、後から原因を探す作業が減ります。

知識をどこに置くかという方式の選び方は RAGとファインチューニングの違い で扱っています。ここでは方式を決めた後、あるいは決める前に共通して要る、読ませる資料そのものの準備を書きます。

対象にする資料を、性質で3つに分ける

社内にある資料を全部読ませる必要はありません。むしろ全部入れると、参照されない資料が検索結果を占め、正しい記述が埋もれます。最初に、資料を次の3つに分けます。

分類 どういう資料か 扱い
読ませる 正本が決まっていて、更新の担当者がいて、今も参照されている 対象に入れる。整備の手を先に入れる
整えてから読ませる 内容は必要だが、版の新旧や記述の欠けがある 直す作業を積む。直るまでは対象外
読ませない 検討途中の案、個人の作業用、期限切れの掲示、閲覧範囲が限られる資料 保存はするが、検索の対象からは外す

判断の順序は、上から当てるのではなく「読ませない」から先に決めるほうが早く進みます。外す条件は資料を開かなくても判定できるものが多く、置き場やフォルダの単位でまとめて処理できるためです。個人フォルダ、下書き用のフォルダ、年度で区切られた過年度の掲示は、中身を1件ずつ見るまでもなく外せます。

残ったものを1件ずつ見て、「読ませる」と「整えてから読ませる」に分けます。この2つの境目は、内容の善し悪しではなく、いま読ませて誤った答えが出るかどうかです。書き方が古くても内容が正しいなら対象に入れて構いません。逆に、体裁は整っていても改定前の記述なら外します。

精度と安全性を落とす4つの状態

「整えてから読ませる」に落ちる資料は、たいてい次の4つのどれかに当てはまります。それぞれ見分け方が違います。

旧版が混ざっている

同じ主題の資料が複数あり、どれが有効か分からない状態です。共有ドライブでは、改定のたびに新しいファイルを作り、旧版をそのまま隣に残す運用が起きやすく、ファイル名の末尾に日付や「最新」「確定」が付いたものが並びます。

見分けるには、資料を主題ごとにまとめて件数を数えます。1つの主題に対してファイルが2つ以上あるものが候補です。そのうえで、それぞれの本文に書かれた改定日を見ます。ファイルの更新日時ではなく本文の日付で見るのは、フォルダを移動しただけで更新日時が変わることがあるためです。版の新旧の扱いは 社内の文書管理をAIエージェントで回す でも触れています。

処置は、有効な1件を残して他を対象から外すことです。旧版を削除する必要はありません。検索の対象から外し、置き場を分ければ足ります。

更新の担当者が決まっていない

内容は書かれているが、直す人が決まっていない資料です。この状態の資料は、今は正しくても次の改定で置き去りになります。読ませ始めた後に古くなる資料は、最初から誤っている資料より厄介です。誰も気づかないまま、古い内容が出典付きで返り続けます。

見分け方は、資料ごとに所管部門と担当者名を書けるかを確かめることです。書けない資料は、作った人が異動した、複数部門にまたがって誰の持ち物か決まっていない、のどちらかです。「情報システム部門が置き場を管理している」ことは、内容の担当者がいることを意味しません。

処置は、担当を決めるか、対象から外すかの二択です。担当が決まらない資料を対象に入れる場合は、次に見直す期日だけでも設定し、その日を過ぎたら対象から自動で外れる扱いにしておきます。

社外秘の区分が曖昧

閲覧範囲が資料そのものに書かれておらず、置き場のフォルダ権限だけで守られている状態です。読ませる仕組みに取り込むと、この置き場の権限が外れることがあります。人事評価の基準、与信の判断材料、取引先ごとの単価のように、社内でも見てよい人が限られる資料が混ざると、質問した人の役職に関係なく内容が返ります。

見分けるには、資料に区分の表示があるかを見ます。表示が無いものは、置き場の権限設定を見て、全社に開いているか一部に絞っているかを確認します。絞られているのに理由が資料から読み取れないものが、この状態です。

処置は、区分が確定するまで対象から外すことです。取り込んでから権限で絞る作りにする方法もありますが、権限の持ち込み方が決まっていない段階では、外しておくほうが戻しやすくなります。閲覧権限を検索へ持ち込む設計は 社内文書検索をAIで横断する で扱っています。

口頭運用が前提で、書かれていない

資料はあるが、実際の手順の一部が書かれていない状態です。手順書には「所定の様式で申請する」とだけ書かれ、どの様式をどこから取るかは隣の席で教わってきた、という形が典型です。

これは他の3つと違い、資料を見ただけでは分かりません。見分けるには、その業務に来ている質問を並べ、資料の記述だけで答えられるかを1問ずつ確かめます。答えられない質問が続く箇所が、書かれていない部分です。実際に来た質問が残っていない場合は、担当者に「新しく入った人から何を聞かれるか」を挙げてもらうと、同じところが出てきます。

処置は、書き起こすことです。この作業だけは省けません。準備にかかる手間の大半は、実はここに集まります。

社内資料を仕分けて、読ませる対象を決めるまでの流れ 社内の資料をまず置き場の単位で外し、残ったものを1件ずつ4つの状態で判定する。手直しが要るものは書き起こしや担当の決定を経て対象へ入れ、判定が付かないものは所管部門の確認へ回す。 機械が処理する 人が判断する 社内の資料 (置き場ごと) 読ませる対象 1業務ぶん 置き場で外す 4つの状態で 1件ずつ判定 所管部門へ確認 書き起こす 担当を決める 個人・下書き・過年度 区分が確定するまで保留 ここに手間が集まる
置き場の単位でまとめて外し、残った資料だけを1件ずつ判定する。手間が集まるのは書き起こしの工程。

4つの状態の見分け方と処置

状態 どう確かめるか どうするか
旧版が混ざっている 主題ごとに資料を数え、複数あるものの本文の改定日を見る 有効な1件だけを対象にする。旧版は置き場を分ける
更新の担当者がいない 資料ごとに所管部門と担当者名を書けるか確かめる 担当を決める。決まらなければ見直し期日を付けて外す
社外秘の区分が曖昧 資料の区分表示と、置き場の権限設定が一致するか見る 区分が決まるまで対象から外す
書かれていない部分がある 実際に来ている質問に、記述だけで答えられるか1問ずつ試す 答えられない箇所を書き起こす

表の右列はどれも人の作業ですが、負荷は同じではありません。上の3つは判定と設定の作業で、資料の中身を書く必要はありません。4つ目だけが執筆の作業になり、1件あたりの時間が桁で変わります。準備期間を見積もるときは、この4つ目に該当する件数を先に数えます。

最初に整える範囲を1業務ぶんに絞る

全社の資料を整えてから始めようとすると、たいてい途中で止まります。件数が多いことに加えて、整備を進めている間に対象が改定され、終わりが来ないためです。最初に整えるのは1業務ぶんに絞ります。

絞るときに見るのは次の4つです。

  • 同じ質問が繰り返し来ているか。 問い合わせの記録や、担当者の体感で足ります。同じ内容を何度も説明している業務は、資料を整えた効果がすぐ見えます
  • 資料の件数が数えられる規模か。 数十件までなら1件ずつ判定できます。数百件になる場合は、その業務の中でさらに手続き単位へ割ります
  • 閲覧範囲が単純か。 全社に開いてよい資料でまとまっている業務から始めます。役職や部門で見せ方が変わる業務は、権限の設計とセットになるため後に回します
  • 改定の頻度が高すぎないか。 毎月内容が変わる業務は、整備が終わる前に対象が動きます

この4つは、業務そのものをAI化する対象として選ぶときの条件とは別物です。効果の大きさで選ぶ順番は 生成AI内製化の最初の1業務の選び方 で扱っており、ここで見ているのは資料の側の条件です。両方を並べて、重なる業務があればそこから始めます。重ならない場合は、資料の条件を優先します。効果が大きい業務でも、資料が整わなければ答えが出ないためです。

整備の作業を誰が持つか

準備が進まない理由の多くは、作業量ではなく分担が決まっていないことです。資料の内容を判断できるのは業務の所管部門ですが、置き場や権限を触れるのは情報システム部門で、どちらか一方では終わりません。

作業 持つ人 なぜそこか
置き場の単位で外す範囲を決める 情報システム部門 フォルダ構成と権限設定を把握している
資料が有効な版かを判定する 業務の所管部門 本文の内容を見ないと判定できない
更新の担当者を決める 所管部門の管理者 人に作業を割り当てる権限が要る
社外秘の区分を確定する 所管部門と、社内規程の担当 区分の基準は全社で統一する必要がある
書かれていない手順を書き起こす 実際に手を動かしている担当者 手順を知っているのは本人だけ
整えた資料を取り込む 情報システム部門か推進担当 取り込みの設定と実行を扱う

書き起こしを推進担当が肩代わりする形はうまくいきません。手順を知らない人が書くと、聞き取り、書く、確認してもらう、直す、という往復が発生し、担当者本人が書くより時間がかかります。推進担当が持つのは、どの質問に答えられていないかを示すことと、書き起こしの雛形を用意することです。

この分担は、内製化を進めるときの体制づくりと同じ考え方になります。全体の体制の組み方は 生成AI・AIエージェントの内製化とは で扱っています。

整えた状態を保つための最低限

準備は一度で終わりません。整えた資料も改定され、担当者も異動します。ただし、保つための仕組みを最初から作り込む必要はなく、次の2つがあれば当面は足ります。

1つは、対象の資料に所管部門・担当者・次の見直し期日の3つを持たせることです。表計算ソフト1枚で構いません。期日が過ぎた資料を一覧で出せれば、放置されている資料が見えます。

もう1つは、答えられなかった質問を残すことです。AIが答えられなかった質問、出典を示せなかった質問を記録しておくと、それがそのまま次に整える資料の一覧になります。使われ方から整備対象を決めるほうが、資料の一覧を上から順に整えるより早く効きます。

まとめ:社内データを読ませる前に決めること

  • 答えが使えない原因は、検索の設定ではなく読ませている資料の側にあることがある
  • 資料は「読ませる」「整えてから読ませる」「読ませない」に分ける。外す条件から先に決めると早い
  • 精度と安全性を落とすのは、旧版の混在・更新担当の不在・社外秘の区分が曖昧・書かれていない部分がある、の4つ
  • 見分け方は状態ごとに違う。手間が集まるのは、書かれていない手順の書き起こし
  • 最初に整えるのは1業務ぶん。質問の繰り返し・件数・閲覧範囲の単純さ・改定の頻度で選ぶ
  • 分担は、内容の判定は所管部門、置き場と権限は情報システム部門、書き起こしは担当者本人が持つ
  • 保つために要るのは、担当と見直し期日の一覧と、答えられなかった質問の記録

Augueでは、社内データの棚卸しから対象範囲の絞り込み、社内文書を参照するAIの構築と運用までを、お客様の担当者と一緒に進める形で支援しています。どの資料から手を付けるべきか判断がつかない段階でも構いませんので、ご興味がある方は是非ご相談ください。

関連する記事

まずは現状をお聞かせください

弊社では具体的な要件が固まっていない段階でも、無料相談で現状をお聞きしていますので、お困りの際はご相談ください。

無料相談を予約する →

よくある質問

資料を整えるのに、どれくらいの期間と費用を見ておけばよいですか?

一律の目安は出せません。同じ100件でも、文章として整っている資料が大半なのか、口頭で補ってきた手順を書き起こすところからなのかで、かかる時間が変わるためです。見積もるなら、対象候補を20件ほど抜き出して実際に判定と手直しをしてみて、1件あたりの平均時間を出します。その値に全体の件数を掛ければ、社内で説明できる形の見込みになります。件数だけで決めた見積もりは、書かれていない手順が出てきた時点で外れます。

PDFやExcel、スキャンした紙の資料はどう扱えばよいですか?

文章として読める形になっているかで分けます。文字が埋め込まれたPDFはそのまま扱えますが、表計算ソフトの集計表やスライドは、行と列の関係や図の位置に意味があり、機械が読むと意味が崩れることがあります。スキャンした紙は文字を読み取る工程が要り、読み違いがあると出典を示していても内容が誤ります。最初はそのまま読める資料だけを対象にし、参照の多いものから文章として作り直すほうが早く動く状態になります。

文書管理ツールの整理をするのと、何が違いますか?

目的が違うため、残す基準が変わります。文書管理は保存義務と証跡のために「捨てないこと」を軸に置き、参照されない資料も年限まで残します。AIに読ませる準備は、答えの正しさのために「読ませないものを決めること」が軸になります。保存はしておくが検索の対象からは外す、という扱いが多く発生します。片方の整理をもう片方の代わりにはできません。

整った資料がほとんど無い場合、AIの活用そのものを後回しにすべきですか?

全社の資料がそろうのを待つ必要はありません。参照される資料は一部に偏るのが普通で、よく聞かれる質問に対応する数十件が整えば、その範囲では使えるようになります。むしろ全体を整えてから始めると、整備の途中で対象が変わったり、整えた資料が使われないまま古くなったりします。狭く始めて、使われた範囲を広げる順番のほうが無駄が出ません。