AI導入の効果測定｜KPIの例と導入前後の比べ方、継続・中止の判断

AI導入の効果測定は、導入前に対象業務の件数と1件あたりの時間を取っておき、導入後に同じ条件で取り直して比べるのが基本です。差が出た時間に単価をかけ、運用費用を引いた金額が、継続するか中止するかを決める数字になります。AIの効果検証で数字が説明できなくなるのは、たいてい計算式ではなく、比べる条件がそろっていないことが原因です。

この記事の答え

• AI導入の効果は、業務ごとに件数・1件あたりの時間・修正率を導入前後で同じ条件で測り、削減額に直して判断する
• 利用率は入口の数字で、それだけでは費用が減ったかどうかは分からない。時間と品質の指標と組み合わせて見る
• 3か月を1区切りに、業務ごとに拡大・継続・作り直し・中止を決める。基準は区切りに入る前に書いておく

AI導入の効果測定で見るKPIの例

KPIは業務の種類によって変わりますが、どの業務でも「件数」「時間」「品質」「使われ方」の4つの方向から1つずつ選ぶと、後で削減額まで計算がつながります。件数と時間だけを見ていると、速くなった代わりに差し戻しが増えていても気づけません。

この表のKPIは、どれも導入前と導入後で同じ取り方ができるものに絞っています。導入後にしか取れない数字（AIへの質問の回数など）は、導入前と比べられないため、効果の説明には使えません。

効果が出たかを見る指標と、その手前で見る指標を分ける

利用率や修正率は効果が出る手前の指標で、削減時間と削減額が効果そのものの指標です。手前の指標は毎月動くため、改善の打ち手を決めるのに向いています。一方で、経営会議や稟議で問われるのは削減時間と削減額です。報告では両方を並べ、手前の指標が動いているのに削減額が増えない場合は、どこで止まっているかを説明します。

品質の指標を1つは必ず入れる

処理が速くなっても差し戻しが増えていれば、効果は相殺されます。修正率、手戻りの回数、後で見つかった誤りの件数のどれかを、業務ごとに1つは選んでおきます。品質の指標が無いと、AIに任せる範囲を広げたときに誤りが増えていても、時間の数字だけが良く見えてしまいます。

導入前に取っておくベースライン

生成AIの効果を金額で説明できるかどうかは、導入後の集計より前に決まります。ツールを配って利用を促す形で入ると、後から手元に残るのはアカウント数とログイン回数だけで、どちらも費用が減ったかどうかを示しません。比較する相手が残っていないため、次の予算を申請する段で削減額を出そうとして詰まります。

順序としては、対象業務を先に決め、その業務の現状を数字で押さえ、導入後に同じ数字を取り直します。ベースラインは導入前しか取れないため、少なくとも次の4つを対象業務ごとに記録しておきます。

所要時間は全件を計る必要はなく、代表的な10件程度を実際に計測するだけでも後の換算の精度が変わります。定例で繰り返す業務では、1件あたりの時間をさらに工程ごとに分けておくと、どの工程が置き換わったのかまで説明できます。

関連記事：広告運用レポート自動化の進め方｜6工程のうち3工程を機械に任せる

すでに導入が進んでいて、導入前の数字が無い場合

導入前の数字が無ければ、いまの状態から実測し直します。同じ業務を従来の手順で処理している分が残っていれば、その所要時間をそのまま計ります。全件がAIを通っている場合は、AIを使わずに処理したときの時間を代表数件で計り直します。手間はかかりますが、稟議で根拠を問われたときに残るのはこの実測値のほうです。記憶や推定で過去の所要時間を置くと、金額を出したあとで数字の出どころを聞かれた段に説明が崩れます。

取り直しの実測は、削減額を出したい業務に絞って構いません。全業務で揃えようとすると着手が遅れ、そのあいだ効果は説明できないままになります。

AIの効果検証は導入前後をそろえて比べる

効果検証が社内で通るかどうかは、計算式より比べ方で決まります。導入前と導入後で条件が変わっていると、AIで縮んだ分と条件の違いで動いた分が混ざります。経営会議で「その月は件数が少なかっただけでは」と問われたときに、条件をそろえた記録が無ければ返せません。

比べる前に、次の4つがそろっているかを確認します。

案件の構成は見落としやすい項目です。AIを通しやすい案件から先に置き換わるため、導入後に残っている従来手順の分は、もともと時間のかかる案件に偏ります。種類を分けずに平均だけで比べると、この偏りが削減時間として計上されます。

同時に変えたものの扱いは、正直に書いておくほうが後で強く働きます。手順の見直しを併せて行ったのであれば、そのことを注記したうえで両方の合計として報告し、AI単体の効果として主張しない形にします。AIの効果と分けられない分を、分けたことにして報告すると、次の投資判断で同じ数字が使えなくなります。

前後で比べられないときは、同じ期間の中で分ける

導入前の記録が残っていない場合や、業務そのものが前年と変わっている場合は、同じ期間の中で分けて比べます。対象業務の一部だけAIを通し、残りは従来の手順のまま処理して、同じ月の1件あたりの時間を並べます。時期の違いが入らないため、繁閑を理由にした指摘を受けにくくなります。

分け方は、案件の難易度と担当者の習熟が片側に寄らないように決めます。慣れた担当だけをAI側に置くと、差が人の違いなのか手順の違いなのか分かりません。件数が少ないと1件あたりの時間の振れが差を上回るため、対象業務の件数が少ない場合は月をまたいで貯めてから比べます。

どちらの比べ方でも、記録するのは同じ項目です。件数、1件あたりの時間、確認と修正にかかった時間、差し戻しの発生率を毎月同じ形で残しておけば、比べ方を途中で切り替えても数字はつながります。

削減額の計算に使う利用状況の数字

削減額の計算に要る利用状況は、多くありません。AIを通した処理件数と、それが対象業務の全件に占める割合、つまり対象業務での利用率の2つです。分母を全社の業務量にすると数字が薄まって動きが読めなくなるため、分母は対象業務に限定します。この2つは業務システムの処理履歴や台帳から拾えることが多く、生成AIの管理画面を開かなくても揃う場合があります。

継続の判断で使う定着した人数は、対象業務の担当者のうち直近1か月に継続して使った人数です。試しに触った人まで数えると初月だけ高く出るため、継続の定義（週1回以上など）を先に決めておきます。

一方で、誰が使っていて誰が使っていないのか、部署ごとに定着しているのかは、削減額の計算とは別の測定です。取るログも、指標の定義も、月次で並べる形も変わります。この記事では、以降は削減額と投資判断だけを扱います。

関連記事：生成AIの社内の利用状況を把握する方法｜取れるログと部署別の見方

全社で生成AIを配ったときの効果測定

特定の業務に組み込むのではなく、汎用の生成AIを全社員に配った場合は、最初から削減額を出そうとしても数字が作れません。誰がどの業務に使っているかが決まっていないためです。全社に配った生成AIは、利用率から始めて、定着、対象業務での時間の実測、金額への換算の順に、段階を追って測ります。

利用率から時間の削減へつなぐ順序

利用率と定着は全社で取り、時間と金額は対象業務を2〜3個に絞ってから測ります。最初の1〜2か月は利用率と部署ごとの差を見て、使われていない部署に声をかけます。利用が落ち着いてきたら、継続して使っている人に「何の業務に使っているか」を聞き取り、件数が多く繰り返し使われている業務を対象に選びます。その業務で導入前後の1件あたりの時間を実測すれば、ここから先は特定の業務に組み込んだ場合と同じ計算で削減額が出せます。

利用者へのアンケートだけで削減時間を出さない

「1日あたり何分短くなったか」というアンケートの回答は、削減額の根拠としては弱い数字です。記憶による申告は長めにも短めにも振れ、回答する人が使っている人に偏ります。アンケートは、どの業務で使われているかを見つける目的に使い、時間そのものは対象業務での実測で出します。アンケートの数字を報告に載せる場合は、自己申告の値であることを書き添えます。

関連記事：生成AIが社内で使われない・定着しない原因は2つ｜次に広げる部署を決める5つの観点

削減額を積み上げる手順

ベースラインと利用状況が揃っていれば、削減額は次の手順で出せます。計算は1業務ずつ、月単位で行います。複数の業務をまとめて計算すると、後から分解できず、どの業務が効いているのかに答えられなくなります。

手順1〜3：件数と時間を揃える

1. 対象業務を1つに決める。同じ業務でも、扱う案件の種類によって1件あたりの時間が大きく違う場合は、そこまで分けます。平均値でまとめると、時間のかかる案件がAIを通っていないことに気づけません。
2. 月あたりの処理件数を数える。業務システムの処理履歴や台帳から拾います。繁閑の差が大きい業務では、直近3か月の平均と、最も少なかった月の両方を出しておきます。少ない月でも費用を上回れるかどうかが、後の継続判断で効いてきます。
3. 1件あたりの時間を導入前後で揃える。導入後の時間には、人が出力を確認して直している時間を含めます。AIの処理が速くても、見直す工程が残っているならそこまでが実際の所要時間です。

確認と修正の時間を含めずに出した数字は現場の実感と合わず、報告そのものが信用されなくなります。

手順4〜6：時間を金額に直す

4. 削減時間を出す。処理件数 ×（導入前の1件あたり時間 − 導入後の1件あたり時間）で計算します。件数はAIを通した分だけを使います。対象業務の全件で計算すると、まだ従来の手順で処理している分まで削減したことになります。
5. 単価をかける。社員が処理していた業務なら人件費（給与に間接費を含めた時間単価）、外注に出していた業務なら外注単価を使います。この2つは分けて集計します。混ぜると、結局いくら払わなくてよくなったのかに答えられません。
6. 運用費用を引く。ライセンス費用、API利用料、社内で保守にかけている時間を金額に直したものを足し、削減額から引きます。この差引が、投資判断で見る数字です。

削減時間の計算に使う件数は、対象業務の全件ではなく、AIを通した件数だけです。

数字の並べ方は次のようになります。値は手順を示すための仮のもので、実績ではありません。

同じ表を導入前の列と並べて毎月更新すると、どの行が動いて差引が変わったのかが追えます。件数が増えたのか、1件あたりの時間が縮んだのか、利用率が上がったのかで、次に打つ手が違います。

手順7：空いた時間の行き先を書く

外注費の削減は、社内の作業時間の削減より説明が通りやすい指標です。発注をやめた分がそのまま支出の減少として現れます。一方で社内の作業時間は、削れた分が別の作業に吸収されると支出が減りません。社内の作業時間の削減を金額として主張する場合は、空いた時間を何に振り替えたかを併記します。

振り替え先は、増員を見送った、外部への発注を減らした、これまで手が回っていなかった業務に充てた、といった形で書けます。書けない場合は、削減時間までを実績として報告し、金額換算は外注費の分だけに絞るほうが安全です。

報告に出す前に確かめること

計算そのものより、前提の置き方で数字が崩れます。次の4点は、稟議の場でよく聞かれます。

関連記事：AIネイティブ化とは｜業務効率化との違いと進め方。人とAIの担当範囲を引き直す

効果が出ないときに原因を見つける

数字が伸びないとき、原因は業務側とAI側のどちらかにあります。混同したまま改善に入ると、精度を上げる作業に時間を使ったのに定着しないという結果になりがちです。利用率、修正率、削減額と運用費用の比較の順に見ていくと、どこを直すかが決まります。

業務側に原因があるときのサイン

利用率が低く、使われた分の出力はそのまま通っているなら、AIを直しても数字は変わりません。次のような様子が見られるときは、業務の手順のほうに原因があります。

• 一部の担当者だけが使い、他は従来の手順のまま
• 使うと二重作業になる（従来のシステムへの入力が別に残っている）
• 対象業務の件数がもともと少なく、手順を覚える手間に見合わない

この場合は、従来の作業を手順から抜く、入力の経路を1つにする、対象業務を件数の多いものへ変える、といった対応になります。

AI側に原因があるときのサイン

使われてはいるが出力の修正率が高いときは、修正の中身を記録すると原因が絞れます。次のような様子が見られるときは、AI側を見直します。

• 特定の入力パターンで毎回失敗する
• 例外的なケースが想定より多く、人の判断が毎回入る
• 直している箇所が、指示の書き方や、参照している社内情報の不足に集まっている

判断を含む業務に対して任せる範囲を広げすぎている場合は、範囲を狭めて決まった手順の部分だけに絞り直すほうが、早く数字が動くことがあります。

関連記事：AIエージェントの精度をどう評価するか｜合格ラインの決め方と、本番に出す前の確認手順

継続・中止を決めるライン

3か月程度を1区切りにして判断します。どの数字がどうなったら続けるのか、止めるのかは、区切りに入る前に書いておきます。後から決めると、費用をかけた分だけ続けたくなる方向へ基準が動きます。

継続と作り直しを決めるときの注意点

継続は、期限を決めずに続けると判断する機会そのものがなくなります。伸びている要因を説明できる場合に限り、次の区切りまでと期限を切って続けます。作り直しでは、AIの指示や設定だけを変えても、対象業務の件数が少ないという原因は解消しません。作り直す前に、その業務を対象に残すかどうかから見直します。

中止を決めた場合も、ベースラインの記録と定着しなかった理由の整理は残します。次の対象業務を選ぶときの材料になるためです。

判断は業務ごとに行い、初期費用は分けて見る

全社のAI導入としてまとめて可否を決めず、対象業務ごとに決めます。まとめて決めると、1つの業務が伸びなかったことを理由に、伸びていた業務まで一緒に止まります。

初期の構築費用は、この判断とは分けて置きます。月ごとの差引に按分すると、運用として毎月黒字で回っているのかと、初期に払った分を取り戻せたのかが混ざります。回収までの月数は「初期費用 ÷ 月ごとの差引」で別に出し、拡大の可否を決めるときに併せて見ます。

関連記事：AIエージェント導入のROI（投資対効果）試算｜回収期間の計算式と試算例、費用対効果が外れやすい前提

まとめ：AI導入の効果測定で押さえる7点

• AI導入の効果測定では、業務の種類ごとに件数・時間・品質・使われ方の4つの方向からKPIを選び、導入前と導入後で同じ取り方ができる指標に絞る
• ベースライン（件数、1件あたりの所要時間、担当と単価、品質）は導入前しか取れない。取っていなければ、削減額を出したい業務に絞っていまから実測し直す
• 導入前後は、期間の長さと時期、案件の構成、数える工程の範囲、同時に変えたものをそろえてから比べる。前の記録が無ければ、同じ期間の中で一部だけAIを通して残りと並べる
• 全社に配った生成AIは、利用率、定着、対象業務での時間の実測、金額への換算の順に測る。アンケートの自己申告だけで削減時間を出さない
• 削減額は「AIを通した件数 ×（導入前後の1件あたり時間の差）× 時間単価 − 運用費用」で積み上げる。人件費と外注費は分けて集計する
• 数字が伸びないときは、利用率と修正率を並べて、業務側とAI側のどちらを直すかを決める
• 継続・中止は業務ごとに3か月を1区切りで決める。中止のラインは、2区切り（およそ6か月）伸びず原因も特定できていない状態

Augueでは、対象業務の棚卸しから効果の測り方の設計、削減額の算定と次の投資判断までを、導入済みのAIに対しても支援してまいりました。効果の説明に詰まっている段階からでも整理できますので、ご興味がある方は是非ご相談ください。

AI導入、どこから始めるか迷っていませんか？

内製か外注か、どの業務から任せるかは、会社ごとに答えが変わります。無料相談では今の業務をお聞きして、始める順番を一緒に整理します。サービス資料では、支援の進め方と事例を紹介しています。

資料をダウンロードする無料相談に申し込む

よくある質問

導入時にかかった構築費用は、どの月の費用として扱いますか？

月ごとの差引には入れず、別に置いて回収できたかどうかで見ます。毎月へ按分すると、運用として黒字で回っているのかと、初期に払った分を取り戻せたのかが混ざり、どちらの問いにも答えられなくなります。回収までの月数は、初期費用を月ごとの差引で割って出します。

効果測定は誰が担当すると進みやすいですか？

数字を集めるのは対象業務の現場の担当者、計算と報告をまとめるのはAI導入を進める部署、という分け方が多くなります。現場は処理件数と所要時間を一番正確に知っていますが、報告の形を決める役がいないと月ごとに集め方がずれます。集める項目と締め日を最初に決め、毎月同じ表へ書き足す形にします。

効果測定のために専用のツールは必要ですか？

最初は表計算ソフトで足ります。必要なのは、件数、1件あたりの時間、修正率、運用費用を業務ごとに毎月並べた表です。件数は業務システムの処理履歴や台帳から拾えることが多く、時間は代表的な数件を実測すれば計算に使えます。対象業務が増え、集める手間が大きくなってから仕組み化を考えます。

判断はどれくらいの期間で行いますか？

3か月を1区切りにします。中止に踏み切るのは、2区切り（およそ6か月）かけても利用率が動かず、原因も絞れていない場合です。可否は業務ごとに決めます。全社のAI導入としてひとまとめに評価すると、伸びている業務まで一緒に止まります。

関連する記事

生成AIの社内の利用状況を把握する方法｜取れるログと部署別の見方生成AIの社内の利用状況を把握する方法を、取れるログの種類、利用率・定着率の定義、部署別に月次で並べる見方の3点で答えます。利用が落ちた部署の原因の見分け方と、個人単位のデータをどこまで見るかにも触れます。生成AIが社内で使われない・定着しない原因は2つ｜次に広げる部署を決める5つの観点生成AIが社内で使われない原因は、広げた先の業務がAIに向いていないか、作った人以外が直せない体制かの2つです。見えている状態からの切り分け方、次に広げる部署を選ぶ5つの観点、定着の見方をまとめます。AIネイティブ化とは｜業務効率化との違いと進め方。人とAIの担当範囲を引き直す読み終えると、どの業務を人からAIへ移すかと、それを誰が決めるかが定まります。AIネイティブ化とは何かを定義から整理し、業務効率化との違いを対比で示したうえで、棚卸しから削減計画までの進め方を扱います。広告運用レポート自動化の進め方｜6工程のうち3工程を機械に任せる広告運用レポート自動化では、媒体をまたいだ集計と前期間との差の抽出までをAIに任せられ、6工程のうち3工程が機械に移ります。要因の確定を人が持つ線引き、数値を生成させない組み方、作成時間の測り方も扱います。AIエージェント導入のROI（投資対効果）試算｜回収期間の計算式と試算例、費用対効果が外れやすい前提AIエージェント導入のROI（費用対効果）を、月の件数×1件の処理時間×時間単価で削減額を出し、初期費用÷（削減額−月額）で回収期間を求める手順で試算します。計算例と外れやすい前提も扱います。AI導入の失敗パターンと原因｜導入前・PoC・定着の段階別に防ぎ方と立て直し方を整理AI導入の失敗は「使われない」「業務が増える」「費用対効果が合わない」の3つに表れます。導入前・PoC・定着の段階ごとに失敗パターンと原因、防ぎ方を表で整理し、つまずいた導入の立て直し方も示します。生成AIの内製化とは｜メリット・デメリットと始め方、外注に残す範囲生成AIの内製化とは、対象の選定から業務が変わったときの修正までを社内の判断で回せる状態です。メリット・デメリットと何から始めるかを先に答え、層ごとに外注へ残す範囲と、併走を終える判断を表で整理しました。