RAGとファインチューニングの違いは知識の置き場所｜社内データなら基本はRAGから始める

社内データをAIに使わせる2つのやり方

社内の規程やマニュアル、過去案件の資料をAIに扱わせたいとき、やり方は大きく2つに分かれます。質問のたびに関係する文書を検索して渡すやり方と、その内容をモデル側に覚えさせるやり方です。前者は検索拡張生成（RAG）、後者はファインチューニングと呼ばれます。

検索して渡す形では、モデルそのものは変えません。質問を受けたら社内文書から関係しそうな箇所を取り出し、それを添えて答えさせます。モデルは渡された文章を読んで答える役に回り、知識は文書側に置かれたままです。

覚えさせる形では、追加の学習でモデルの重みを書き換えます。入力と出力の対を用意して学習させ、その傾向を反映したモデルを作ります。学習が終われば、文書を渡さなくてもその傾向で答えます。

どちらも出来上がりは「社内のことを知っているAI」に見えますが、知識の置き場所が違います。この違いが、更新の反映のしかた、根拠の示し方、直せる場所の違いとして後から出てきます。

6つの観点で並べて比べる

比べる観点	検索して渡す（RAG）	覚えさせる（ファインチューニング）
回答の根拠	参照した文書と箇所を出典として示せる	どの学習データが効いたかを個別に示せない
情報が更新されたとき	元の文書を差し替えれば次の回答から反映される	学習をやり直すまで古い内容で答える
初期の手間	文書を集め、検索できる形に整える	入力と出力の対を、狙う振る舞いが安定する量までそろえる
継続してかかる費用	質問ごとに文書を渡す処理費用と、検索基盤の維持	更新のたびの学習費用と、専用モデルを置く費用
機密情報の扱い	文書は自社側に置き、必要な箇所だけ渡す	学習した内容はモデルの重みに入る
精度が出ないときの直し方	検索の当たり方か、元の文書の書き方を直す	学習データを見直して再学習する

回答の根拠。 社内文書を扱う用途では、答えの正しさを受け取った人が確かめられるかが実務上の分かれ目になります。検索して渡す形なら、回答と一緒に「どの規程の何条か」を返せるため、読んだ人が原本を開いて確認できます。覚えさせた形では、モデルは学習した傾向として答えるので、その根拠を特定の文書に結び付けて示せません。出典を書かせても、それが本当の参照先である保証がありません。

更新の反映。 社内規程やマニュアルは改定されます。検索して渡す形では、正本の文書を差し替えれば次の質問から新しい記述で答えます。覚えさせた形では、改定のたびに学習データを直して学習をやり直すことになり、その間は古い内容で答え続けます。改定の頻度が高い文書ほど、この差が運用の負担として積み上がります。

機密情報の持ち出し範囲。 見落としやすいのは、閲覧権限の扱いです。検索して渡す形なら、質問した人が見てよい文書だけを検索対象に絞ることで、権限をそのまま持ち込めます。覚えさせた形では、学習に使った内容がモデルの重みに入るため、そのモデルを呼び出せる人が事実上その内容を参照できる状態になります。人事や与信のように閲覧範囲が限られる資料を学習データに混ぜると、後から範囲を戻せません。

直せる場所。 期待した答えが返らないとき、検索して渡す形では原因が検索の側か文書の側かに分かれ、どちらも人が中身を見て直せます。覚えさせた形では、直す手段が学習データの入れ替えと再学習に限られ、1件の誤りに対して打てる手が粗くなります。

社内文書が対象なら、まず検索して渡す形から

社内の規程やマニュアル、過去案件を参照させる用途では、検索して渡す形から始めるのが基本の順番になります。理由は3つあり、いずれも文書という対象の性質から来ています。

1つ目は、答えの正しさが「今どう書かれているか」で決まることです。規程の解釈を尋ねる質問に対して、去年の記載で答えるのは誤りです。知識を文書側に置いておけば、正しさの管理は文書の管理と同じ作業になります。

2つ目は、根拠を示す必要があることです。社内の照会は、答えを受け取った人が申請や説明に使います。出典が付いていれば、判断が要る部分だけ原本で確かめて進められます。根拠のない断定は、確認の手間を減らすどころか増やします。

3つ目は、外れたときに切り分けられることです。検索して渡す形は工程が分かれているため、どこで外れたかを工程ごとに確かめられます。学習で覚えさせた形は工程が1つにまとまっているため、外れの原因を分けて見ることができません。

社内文書を検索できる形に整える手順や、人へ渡す境界の決め方は 社内問い合わせ対応をAIで自動化する で扱っています。

ファインチューニングが効く場面

一方で、検索して渡す形では埋まらない問題があります。知識の不足ではなく、出力の癖に関わる部分です。

直したいこと	検索して渡す	覚えさせる
規程の最新の記載に沿って答える	向く。文書を差し替えれば反映される	改定のたびに再学習が必要
決まった項目と並び順のJSONで返す	指示で寄せられるが、稀に崩れる	向く。形式が安定する
社内で使う言い回しや語調に合わせる	例を渡す形になり、入力量が増える	向く。指示に書かなくても寄る
似た過去案件を挙げる	向く。案件が増えても対象に足すだけ	案件が増えるたびに再学習
問い合わせを社内の区分へ振り分ける	区分の定義を渡せば動く	向く。判断の傾向まで寄せられる
根拠が無いことは答えない	出典を必須にする作りで担保できる	学習だけでは担保しきれない

出力形式の固定。 後続のシステムへ値を渡す用途では、項目名と並び順が毎回同じであることが要件になります。指示で形式を指定しても、入力が長いときや例外的な内容のときに崩れることがあります。同じ形式の例を数そろえて学習させると、この崩れが減ります。

文体や語調。 社内の申請案内や顧客への文面には、その組織で使ってきた言い方があります。これを指示文で伝えようとすると、例文を毎回添えることになり、入力量と処理費用が増えます。学習で寄せておけば、指示は短く済みます。

分類の癖付け。 問い合わせの振り分けや案件の区分のように、判断の基準が言葉にしきれない場合です。「この内容はこの区分」という過去の判断が蓄まっているなら、定義を書き起こすより、その判断そのものを学習させたほうが実態に合います。

いずれも共通するのは、答えの中身ではなく答え方に関わる課題だという点です。知識が足りないのか、形が揃わないのかを分けて見ると、どちらの手段が要るのかは切り分けられます。

併用する形と、その順番

実務では、片方だけで完結しないことがあります。最新の規程に沿って答えつつ、返す形式は毎回固定したい、という要件がその例です。この場合は併用になり、役割は次のように分かれます。知識は検索で渡し、答え方は学習で固定します。

ただし、最初から併用で組む必要はありません。学習データは運用の記録から作れるためです。まず検索して渡す形で動かし、返した答えと人が直した内容を残しておきます。形の崩れが繰り返し起きる箇所が見えてきたら、その修正前後の対を学習データに回します。順番を逆にすると、まだ実態の分からない振る舞いを想像で学習させることになり、作り直しが増えます。

検証から本番運用までの進め方と、工程ごとの見積の考え方は AIエージェント開発の進め方 を参照してください。

うまくいかないときに、どちらの段を疑うか

検索して渡す形で期待した答えが返らないとき、原因は大きく2か所に分かれます。検索の段で正しい文書が引けていないのか、渡した文書から読み取れていないのかです。この2つは対処がまったく違うため、先に切り分けます。

切り分けは、次の手順で確かめられます。まず、質問に対する正解の文書と該当箇所を人が特定します。次に、その箇所を直接渡して同じ質問をします。ここで正しく答えられるなら、読み取りはできているので検索の段が原因です。渡しても答えられないなら、読み取りか指示の側に原因があります。この一手間を省いて回答文の指示だけを直し続けると、検索が原因の場合はいつまでも改善しません。

症状ごとの見方は次のとおりです。

起きていること	疑う段	確かめ方
記載があるのに「分かりません」と返る	検索	検索結果の上位に該当文書が入っているかを見る。入っていなければ分割の単位を見直す
出典の文書は合っているが答えが違う	読み取り	渡した箇所を人が読み、答えが書いてあるかを確認する
出典が質問と無関係な節を指す	検索	見出し単位で区切り直し、文書名と節を検索の手がかりに含める
略語や社内の呼び方で聞くと当たらない	検索と文書	正式名称で聞くと当たるかを試す。当たるなら呼び方の対応を持たせる
表や別紙の中の値を外す	文書	その表が文字として取り出せているかを確認する
部署や年度で違うべき答えを一つに混ぜる	検索	適用範囲を絞る条件が効いているかを見る。文書側に対象者の記載が無い場合もある
答えは合っているが出典が付かない	指示	引用を必須にした指示で通し直す。それでも付かないなら、渡す件数を絞る

覚えさせた形で同じ問題が起きたときは、この切り分けが使えません。誤りが1件見つかっても、学習データのどこが影響したかを追えないためです。対処は学習データ全体の見直しになり、確かめられるのは再学習して評価セットを通したあとです。この差は、運用に入ってから効いてきます。

費用と手間はどこに出るか

比較が「どちらが安いか」に寄ると判断を誤ります。かかり方が違うため、同じ範囲で並べる必要があります。

かかる場面	検索して渡す	覚えさせる
立ち上げ	文書を集め、正本を決め、検索できる形に整える	学習データを作る人の作業。既存の記録が使えるかで大きく変わる
1回の質問	渡す文書の量に応じて処理費用が増える	渡す文書が減るため1回は軽くなる
文書が更新されたとき	差し替えのみ。追加費用はほぼ発生しない	学習データの修正と再学習が毎回発生する
精度を上げるとき	分割や検索の条件を変えて測り直す	学習データを足して再学習し、評価セットで測り直す
常時かかるもの	検索基盤の維持と、文書の棚卸し	専用モデルを置く費用

行の3つ目が、社内文書を扱う用途で最も差が出ます。文書は改定されるため、更新の反映が1回きりの作業では終わりません。改定の頻度に学習の作業が比例して増える構成にすると、運用が続くほど負担が積み上がります。

もう一つ見落としやすいのは、立ち上げの作業量が文書の状態で決まる点です。同じ規程の旧版が複数の場所に残っている、どれが正本か分からない、という状態では、どちらの手段を選んでも先にその整理が要ります。整理を飛ばして構成を作り込むと、古い記載を根拠に答える状態を作ることになります。

着手の順番

自社の用途に対してどちらから手を付けるかは、次の順に決められます。

社内から実際に来ている質問を集める。 想定で作らず、問い合わせの履歴やチャットの記録から拾います。ここで集めた質問と正解の組が、後の判断すべての土台になります。

質問を性質で分ける。 文書に記載があれば答えられるもの、記載の解釈が要るもの、決まった形式で出力する必要があるもの、判断の癖を再現したいものに分けます。前2つは検索して渡す形の対象、後ろ2つが学習を検討する対象です。

文書の正本を1つに決める。 対象にする文書を選び、旧版を検索の対象から外します。ここを決めないまま先に進めると、精度の測定結果が信用できません。

検索して渡す形で通し、評価セットで測る。 集めた質問を通し、正しく答えられた件数、出典が正しかった件数、答えられなかった件数を数えます。答えられなかったものは、先の切り分けで検索か読み取りかに振り分けます。

残った課題が形の問題なら、学習を検討する。 出力形式の崩れや語調のずれが繰り返し残る場合に限って、学習データの用意に進みます。運用の記録から作れるため、この段階まで来ていれば材料はそろっています。

この過程では、どの文書を扱いどこまで外部へ送るかを先に決めておく必要があります。判断の基準と社内での合意の作り方は 生成AIの社内利用ルールをどう作るか で扱っています。

迷いやすい点への短い答え

結局、どちらから始めればよいですか

答えが社内の文書に書いてあるものが対象なら、検索して渡す形（RAG）から始めます。文書の側を直せば答えも変わり、根拠も示せるためです。答えの中身は足りていて、決まった形式で返す、言い回しをそろえるといった答え方だけが問題なら、学習を検討します。両方が当てはまる場合も、先に検索して渡す形で動かしてから学習を足す順番になります。

使うモデルを新しいものへ乗り換えるときはどうなりますか

検索して渡す形なら、集めた文書と検索の仕組みはそのまま使えます。差し替えるのは答えを書かせる部分だけなので、評価セットを通し直して確かめれば済みます。学習で覚えさせた形では、新しいモデルに対して学習をやり直すことになり、乗り換えのたびに同じ作業が発生します。モデルの世代交代が続くうちは、この差が乗り換えのしやすさとして出ます。

精度が上がらないと言われたら、学習に切り替えるべきですか

切り替える前に、外れているのが知識なのか答え方なのかを見ます。正解の箇所を人が直接渡して正しく答えられるなら、知識は届いていて検索の段が外れているので、学習に切り替えても直りません。逆に、渡しても答えられない、あるいは答えは合っているのに形が毎回崩れるという症状なら、学習を検討する側に入ります。

文書ではなく、表計算や基幹システムの数値を参照させたい場合は

どちらの手段も向きません。文章を検索して渡す形は、集計や条件を絞った抽出には向かず、覚えさせる形は数値が変わるたびに古い値を答えます。この用途では、AIに数値そのものを持たせず、問い合わせを組み立てさせて元のシステムから取ってこさせる形にします。文書への質問と数値への質問が混ざる場合は、入り口で振り分けて別々に扱います。

まとめ：社内データを使うAIをどちらで組むか

• 検索して渡す形は知識を文書側に置き、覚えさせる形はモデルの重みに入れる。この違いが根拠の示し方と更新の反映に出る
• 社内の規程やマニュアルのように改定される文書が対象なら、検索して渡す形から始める。差し替えで反映でき、出典を示せて、外れた工程を特定できる
• 学習が効くのは答えの中身ではなく答え方の課題。出力形式の固定、文体の統一、分類の癖付けがこれにあたる
• 併用する場合も順番がある。まず検索して渡す形で運用し、繰り返し残る崩れを運用の記録から学習データに回す
• 外れたときは、正解の箇所を人が直接渡して答えられるかを見て、検索の段と読み取りの段を切り分ける
• 費用は更新のたびに何が発生するかまで含めて並べる。改定の頻度に作業が比例する構成は、運用が続くほど重くなる
• 閲覧範囲が限られる資料を学習データに混ぜると、モデルを呼べる人がその内容を参照できる状態になり、後から範囲を戻せない

Augueでは、社内文書を検索して参照させる構成の設計と、出力形式や判断の癖を学習で寄せるかどうかの切り分けまで含めた開発に対応しています。自社のデータでどちらから着手すべきか整理したい方は、是非ご相談ください。

関連する記事

社内文書を検索して問い合わせに答えさせる設計は 社内問い合わせ対応をAIで自動化する、検証から本番運用までの進め方は AIエージェント開発の進め方、扱うデータの範囲と社内ルールの作り方は 生成AIの社内利用ルールをどう作るか を参照してください。

よくある質問

文書を検索せず、指示文に全部貼り付ける方法では足りませんか？

扱う文書が少なく、内容が変わらないなら成り立ちます。ただし文書が増えると入力量に応じて処理費用と待ち時間が増え、関係のない記述が混ざるほど答えが揺れます。また、誰がどの文書を見てよいかを分けられないため、権限のある人にしか見せられない資料を含む場合は使えません。件数が増える見込みがあるなら、最初から検索して絞る形にしておくほうが後戻りが少なくなります。

ファインチューニングの費用はどれくらいかかりますか？

一律の目安は出せません。学習データを何件そろえるか、どのモデルを使うか、専用モデルを常時置くのかで桁が変わります。判断するなら、学習データを作る人の作業時間、学習を実行する費用、更新のたびに同じ作業が発生する頻度の3つを見積もって並べます。この3つ目を入れずに初回の費用だけで比べると、運用に入ってから合わなくなります。

社内データを学習に使うと、外部へ出てしまいますか？

契約と設定で決まるため、使う環境ごとに確認します。見るべきは、送ったデータが提供元の学習に使われない条件になっているか、保存される期間と場所、作ったモデルを誰が呼び出せるかです。特に3つ目は見落としやすく、学習に使った文書の内容は、そのモデルを呼べる人が事実上参照できる状態になります。閲覧権限のある資料を混ぜるかどうかは、ここを確認したうえで決めます。

どちらから始めるにしても、判断までにどれくらいかかりますか？

期間そのものより、判断材料がそろう順番で考えます。社内から実際に来ている質問を集めて正解を付けた評価セットを作り、それを通して当たり外れを数えられる状態になれば判断できます。逆に、この評価セットが無いまま構成を作り込むと、直したときに良くなったのかが分からず、判断が先延ばしになります。