進まないPoCで、最初にやること
生成AIの検証で「動いた」という結果が出たのに、そこから本番運用へ進まないまま止まっている。半年前の報告書が最後の更新で、いまも検証中という扱いになっている。こうした状態は珍しくありません。
このとき最初に手を付けるのは、精度の改善ではありません。精度は上げようと思えば上げ続けられるため、改善作業に入った瞬間に終わりが見えなくなります。止まっている原因は、検証の題材、精度以外の運用条件、承認の意思決定者のいずれかにあることが多く、どれも精度を上げても解消しません。
止まった状態から動かすには、次の3つをこの順で確認します。いずれも検証をやり直す必要はなく、手元の報告書と関係者への確認だけで済みます。
| 順 | 手元で確認すること | 分かること |
|---|---|---|
| 1 | 精度を上げる作業をいったん止め、報告書から対象業務の月あたり件数を拾う | 題材が本番の量に耐えるか |
| 2 | 例外時の扱い、権限、運用担当、費用の継続負担が報告書に書かれているかを数える | 運用の条件がどれだけ空白か |
| 3 | 本番化の可否を決める人を1人まで特定できるかを確認する | 決めてもらう相手がいるか |
この3つのうち埋まらなかった項目が、止まっている原因です。1が埋まらなければ題材の問題、2が空白なら運用条件の問題、3が出てこなければ決裁の問題として扱います。以降では、それぞれの見分け方と、次に決めることを順に見ていきます。
止まり方は3つの型に分かれる
先ほどの3つの確認は、そのまま次の3つの型に対応しています。
| 型 | こう見えていたら該当する | 次に決めること |
|---|---|---|
| A 題材が本番化に向いていない | 検証結果は良好なのに「毎日誰がどれだけ使うのか」に答えられない。対象業務の件数が月に数件しかない | 件数と頻度の条件を満たす題材へ差し替える |
| B 精度以外の条件が空白 | 報告書に精度の数字は並ぶが、例外時の扱い、権限、運用担当、費用の継続負担の記述がない | 4つの条件を検証中に埋める |
| C 承認する人が決まっていない | 報告のたびに持ち帰りになる。誰の決裁で本番化するのかを特定できない | 決裁者と、その人が見る判断材料を先に置く |
3つは重なることがあります。ただし着手の順序は決まっていて、Aから確認します。題材が本番化に向いていない場合、Bの条件をいくら詰めても使われないためです。
型A：題材の選び方が本番化を阻んでいる
検証の題材は、やりやすいものから選ばれがちです。データが揃っている、担当者が協力してくれる、失敗しても影響が小さい。これらは検証を成立させる条件であって、本番運用が続く条件とは別のものです。
本番化に耐える題材は、次の4つを満たします。
- 件数と頻度がある。 毎月継続して発生し、担当者が手順を覚えるだけの回数がある
- 手順が言葉になる。 判断の根拠を担当者が説明でき、例外の扱いも記述できる
- 出力の受け取り先がある。 後工程がすでに存在し、出力をそのまま渡せる
- 失敗を検知できる。 誤りが後工程の点検か突合で見つかり、そのまま外に出ない
見分けるには、検証の報告書から対象業務の月あたり件数を探します。書かれていない、あるいは数件にとどまるなら型Aです。件数が少ない業務は、担当者が手順を覚える前に次の案件が来るため、本番に乗せても従来のやり方へ戻ります。
差し替える先は、業種や部署ではなく業務の性質で選びます。定型の割合が高く、件数が多く、判断が入る箇所が限定されているもの。この3点で候補を並べると、検証しやすさとは別の順位が出ます。削減額の見込みまで含めて候補を比べる手順は AI導入の効果測定と投資判断 で扱っています。
型B：精度以外の条件が詰められていない
型Bは、精度の数字だけが報告され、運用に必要な残りが空白のまま止まる状態です。埋めるのは次の4つで、いずれも検証中に決められます。
例外処理。 AIが処理できなかったものをどこへ流し、誰が拾うかを決めます。あわせて、滞留していることに気づく仕組みを置きます。エラーで止まったのに誰も知らない状態が、運用開始後にもっとも起きやすい事故です。
権限。 AIが参照するデータの範囲を、既存の閲覧権限と突き合わせます。全員が同じ出力を受け取る作りにすると、人によって見えてはいけない情報が混ざります。誰が何を渡し、何が返ったかの記録も同時に決めます。
運用担当。 業務は変わり続けるため、指示や判定条件を直し続ける担当が要ります。部署名ではなく人まで決めてください。決まっていない仕組みは、最初の業務変更で使われなくなります。
費用の継続負担。 従量の課金は件数に比例します。検証の件数で出た月額は、本番の件数では別の値になります。本番の想定件数で試算し直したうえで、どの部署のどの科目で負担するかを決めます。
精度の目標も、この4つと合わせて決めるものです。何割なら合格という数字を単独で置いても意味は薄く、誤りが起きたときの影響と、それを検知できる手段があるかで必要な水準が変わります。検知できる工程が後段にあるなら、目標を下げても運用は成立します。
型C：承認の意思決定者が検証前に決まっていない
型Cの症状は、報告会が繰り返されることです。回を重ねるほど参加者が増え、指摘は出るのに可否は決まらない。この状態では、検証チームは精度を上げる作業に流れます。指摘に応える形で改善はできるので動いている感覚は残りますが、本番化には近づきません。
必要なのは2つです。本番化の可否を決める人を検証開始前に特定すること。そして、その人が何を見れば決められるかを一覧にしておくことです。判断材料が決まれば、検証はそれを取りに行く作業になります。逆に判断材料が決まっていない検証は、何を測っても足りているかどうかが分かりません。
判断材料には、精度のほかに型Bの4条件、対象業務の件数、本番の想定件数での月額費用が入ります。決裁者が費用の承認者と別なら、両方を先に押さえておきます。
本番へ進める判断基準
3つの型は、そのまま本番化の関門になります。順序を守ると、手戻りが減ります。
検証段階で満たしておく条件を項目に分けると、次のようになります。
| 確認する項目 | 満たしていると言える状態 | 満たしていないときの動き |
|---|---|---|
| 対象業務の件数 | 月あたりの件数が継続して発生し、担当者が手順を覚える回数がある | 題材を差し替える。候補が無ければ撤退する |
| 例外の扱い | 処理できなかったものの行き先と、拾う担当と、滞留に気づく手段が決まっている | 検証を延長せず、業務側の手順として決める |
| 権限と記録 | 参照範囲が既存の閲覧権限と矛盾せず、入出力の記録が残る | 情報システム側と範囲を確定してから進める |
| 運用担当 | 業務変更に追従して直す担当が、部署名ではなく人まで決まっている | 本番化を保留し、担当の確定を先に行う |
| 継続費用 | 本番の想定件数で試算した月額と、負担する部署が決まっている | 件数と単価で試算し直し、負担先を決める |
| 決裁者 | 可否を決める人と、その人が見る判断材料が特定できている | 精度の改善を止め、決裁者の確定を先に行う |
この表を検証の開始時に配ると、検証中に埋める作業として扱えます。終わってから埋めようとすると、権限と費用の2つは関係部署との調整が入るため、そこで数か月止まります。実装や見積の中身まで含めた進め方は AIエージェント開発の進め方 を参照してください。
本番の費用と期間は検証で取った数字から見積もる
判断材料のうち、継続費用と本番化までの期間は、検証中に測っておけば見積もれます。逆に、測らずに終えると本番の金額も期日も置けないまま、精度の報告だけが残ります。
| 出したい数字 | 検証中に測っておくもの | 本番の見積への使い方 |
|---|---|---|
| 月額の利用料 | 1件の処理で使った入力と出力の分量、適用される単価 | 本番の想定件数を掛ける。やり直しと例外の分を上乗せする |
| 人の確認にかかる費用 | 出力を人が確認・修正した1件あたりの時間 | 想定件数を掛け、担当者の時間単価で月あたりに直す |
| 本番化までの期間 | 判断材料のうち埋まっていない項目と、それぞれの決定に関わる部署 | 部署をまたぐ項目を長い側に置いて可否の期日を決める |
利用料は件数に比例するため、検証の件数で出た月額をそのまま報告すると実態より小さく出ます。上乗せするのは、処理できずにやり直した分と、例外として人へ回った分、それに件数が増える月の差です。検証中にこの3つの内訳を分けて記録しておくと、本番の件数を掛けるだけで済みます。単価の構成や初期費用の置き方は AIエージェント開発の費用の決まり方 で扱っています。
人の確認にかかる費用は、金額の比較で抜けやすい項目です。AIが下書きを作っても、確認する時間が従来の作業時間と変わらなければ、削減額は出ません。検証中に1件あたりの確認時間を測り、従来の所要時間と並べて記録します。
期間は、残っている項目の数ではなく、決定に関わる部署の数で決まります。同じ部署の中で決められる項目は短く済み、権限の範囲と費用の負担先のように複数の部署が関わる項目は、そこが長い側になります。関わる部署が2つ以上ある項目を先に着手し、その所要から期日を置いてください。
進めないときの線引き
すべての検証が本番化するわけではありません。進めないと判断した場合、題材の差し替えと撤退を分けて扱います。
題材を差し替えるのは、止まっている原因が題材側にあり、条件を満たす別の業務が社内に挙がっている場合です。処理の枠組みや社内データの受け渡しは流用できることが多いため、ゼロからやり直すことにはなりません。差し替えるときは、前の題材で埋まった条件のうち、どれがそのまま使えるかを先に確認します。
撤退するのは、条件を満たす題材が社内に見当たらない場合と、決裁者を置けない場合です。後者は技術の問題ではないため、検証を続けても状況は変わりません。
いずれの判断も、期日を決めておかないと下せません。検証開始時に可否を出す日を置き、その日に判断材料が揃っていなければ、揃っていない項目を理由として記録します。期日が無いと「もう少し精度を上げてから」で延び続けます。
撤退する場合も、次の3つは残しておきます。対象業務の件数と所要時間の実測値、処理できなかったものの内訳、決められなかった条件です。実測値は次の題材を選ぶときの比較対象になり、決められなかった条件は同じ理由で止まることを防ぎます。ここを残さずに終えると、半年後に似た検証をもう一度立ち上げることになります。
まとめ：進まないPoCを本番へ進める6点
- 止まったらまず精度の改善を止め、対象業務の件数、運用の条件、決裁者の3点を手元の報告書で確認する
- 止まる原因は精度ではなく、題材、精度以外の運用条件、決裁者の不在のいずれかに寄る
- 題材は検証のやりやすさではなく、件数と頻度、手順の言語化、出力の受け取り先、失敗の検知で選ぶ
- 例外処理、権限、運用担当、継続費用の4つは検証中に埋める。終わってからでは調整で止まる
- 可否を決める人と判断材料を検証前に置く。決まっていなければ精度の改善を止めて先に確定する
- 本番の月額と期日は、検証中に測った1件あたりの分量・確認時間と、決定に関わる部署の数から出す
Augueでは、止まっている検証の切り分けから、本番運用に必要な条件の整理と実装までを支援してまいりました。どの型に当てはまるか判断しかねる段階からでも整理できますので、ご興味がある方は是非ご相談ください。
関連する記事
削減額の見込みと投資判断の立て方は AI導入の効果測定と投資判断、実装と見積の中身は AIエージェント開発の進め方、社内で改善を回す体制の作り方は AI内製化の進め方 を参照してください。
よくある質問
PoCの期間はどれくらいが目安ですか？
対象業務の複雑さと既存システムとの接続の有無で変わるため、一律の目安を置くと外れます。期間を先に置く代わりに、開始時に可否を出す期日を決め、その日までに何が揃っていれば決められるかを列挙してください。列挙した項目のうち、まだ埋まっていない数が残り期間の実態を示します。
PoCの費用はどれくらいかかりますか？
対象業務の範囲と接続先の数で桁が変わるため、一律の金額は出せません。見るのは内訳で、外部へ委託する場合の開発費、AIの利用料、社内の担当者が確認と打ち合わせに使う時間の3つに分けます。稟議では、この3つ目が抜けたまま金額が並ぶことが多いので、時間を人件費に直して足したうえで比べてください。
検証の費用を、無料や低額で引き受けてもらえる場合はどう見ればよいですか？
範囲が狭められていないかを確認します。扱う書式や件数が絞られていると、精度の数字は出ますが本番の量では別の結果になります。あわせて、検証で作ったものと処理の設計を自社が引き取れるか、本番の開発を同じ相手へ発注する前提になっていないかを、着手前に文面で確かめてください。
題材を差し替える場合、検証で作ったものは使い回せますか？
処理の枠組み、社内データの受け渡し、ログの取り方は多くが流用できます。作り直しになるのは、業務固有の指示文と判定条件、それに出力の受け渡し先との接続部分です。差し替えを検討する段階で、この境目がどこにあるかを開発側に確認しておくと、次の検証の見積が読めます。
検証を外部のベンダーへ委託している場合、何を確認しておくべきですか？
契約の範囲が検証の実施までで切れていないかを見ます。精度の報告までが範囲で、例外時の扱いや権限設計が含まれていないと、本番化の検討に必要な情報がそろわないまま検証が終わります。あわせて、検証で作ったものと処理の設計を自社で引き取れる形になっているかを確認してください。
止まっているPoCが複数あります。どれから手を付けるべきですか？
対象業務の月あたり件数が多いものから見ます。件数が多ければ、同じ条件整備の手間に対して戻ってくる量が大きくなります。件数が近い場合は、決裁者がすでに特定できているものを先に進めてください。条件を埋める作業より、決める人を探す作業のほうが時間がかかります。