PoC止まりを抜けてPoCを本番化するには、精度を上げる前に、止まっている原因が検証の題材、精度以外の運用の条件、決裁者の不在のどれかを見分けます。手元の報告書で対象業務の件数、運用の条件の記述、可否を決める人の3点を確かめれば、生成AIのPoCがどの型で止まっているかが分かります。この記事では、3つの型の早見表、本番化の前に埋める6条件のチェックリスト、費用と期間の見積り方、本番化を決めた後の始め方、題材を差し替えるか撤退するかの線引きまでを扱います。

この記事の答え

  • PoC止まりの原因は精度ではなく、題材、運用の条件、決裁者の不在のどれかにある
  • 題材、運用の条件、決裁者の順に確かめ、最初に欠けていたところが止まっている理由になる
  • 精度の改善はいったん止め、6条件のチェックリストを埋めて、可否を出す期日を決める

PoC止まりで、最初にやること

PoC止まりとはどういう状態か

PoC止まりとは、検証で「動いた」という結果が出たのに、本番運用へ進む判断が出ないまま検証中の扱いが続いている状態のことです。半年前の報告書が最後の更新になっている、報告会が開かれるたびに持ち帰りになる、といった形で表れます。

この状態で最初に手を付けるのは、精度の改善ではありません。精度は上げようと思えば上げ続けられるため、改善作業に入ると終わりが見えなくなります。止まっている原因は題材、運用の条件、決裁者のどれかにあることが多く、どれも精度を上げても解消しません。

手元の報告書で確かめる3点

止まった状態から動かすには、次の3つをこの順で確かめます。検証をやり直す必要はなく、手元の報告書と関係者への確認だけで済みます。

順番 手元で確かめること 分かること
1 報告書から、対象業務が月に何件あるかを拾う 題材が本番の量に耐えるか
2 例外時の扱い、権限、運用の担当、本番での費用の負担が報告書に書かれているかを数える 運用の条件がどれだけ空いているか
3 本番化の可否を決める人を1人まで挙げられるかを確かめる 決めてもらう相手がいるか

埋まらなかった項目が、止まっている原因です。1が埋まらなければ題材、2が空いていれば運用の条件、3が出てこなければ決裁の問題として扱います。

PoC止まりの3つの型を早見表で見分ける

先ほどの3つの確認は、そのまま次の3つの型に対応しています。自社の状況に近い行を探してください。

型 こう見えていたら当てはまる 次に決めること
A 題材が本番化に向いていない 検証の結果は良いのに「毎日誰がどれだけ使うのか」に答えられない。対象業務が月に数件しかない 件数と頻度の条件を満たす題材へ差し替える
B 精度以外の条件が空いている 報告書に精度の数字は並ぶが、例外時の扱い、権限、運用の担当、本番での費用の負担が書かれていない 4つの条件を検証中に埋める
C 承認する人が決まっていない 報告のたびに持ち帰りになる。誰の決裁で本番化するのかを挙げられない 決裁者と、その人が見る判断材料を先に決める

3つは重なることがあります。重なっていても、確かめる順番はAが先です。題材が本番化に向いていないと、Bの条件をいくら詰めても使われません。

本番へ進める判断基準:本番化の6条件チェックリスト

本番化の前に埋める6条件

3つの型は、そのまま本番化の関門になります。検証の段階で満たしておく条件を項目に分けると、次の6つです。

番号 確かめる項目 満たしていると言える状態 満たしていないときの動き
1 対象業務の件数 毎月続けて発生し、担当者が手順を覚えるだけの回数がある 題材を差し替える。候補が無ければ撤退する
2 例外の扱い AIが処理できなかったものの行き先、拾う担当、たまっていることに気づく手段が決まっている 検証を延長せず、業務側の手順として決める
3 権限と記録 AIが見るデータの範囲が今の閲覧権限と食い違わず、何を渡し何が返ったかの記録が残る 情報システムの担当と範囲を決めてから進める
4 運用の担当 業務が変わったときに指示や判定の条件を直す人が、部署名ではなく個人まで決まっている 本番化を保留し、担当を先に決める
5 本番での費用 本番で見込む件数で計算した月額と、負担する部署が決まっている 件数と単価で計算し直し、負担する部署を決める
6 決裁者 可否を決める人と、その人が見る判断材料が決まっている 精度の改善を止め、決裁者を先に決める

この表は検証を始めるときに関係者へ配り、検証中に埋める作業として扱います。終わってから埋めようとすると、権限と費用の2つは関係部署との調整が入るため、そこで数か月止まります。

関門を確かめる順番

6条件は、題材、運用の条件、決裁者の3つの関門にまとまります。上から順に確かめ、最初に「いいえ」になったところで次の動きが決まります。

PoCを本番化へ進めるかの判断 題材、運用の条件、決裁者の3つを順に確かめ、満たさないところで差し替え・保留・決裁者の確定に回す ・上から順に答え、最初に「いいえ」になったところで次の動きが決まります 対象業務は本番の件数 と頻度に耐えるか 題材を差し替える ・条件を満たす業務が無ければ撤退 いいえ はい 例外・権限・担当・継 続費用が決まっている か 条件を決めるまで保留 ・検証は延長せず業務側で決める いいえ はい 可否を決める人と判断 材料がそろっているか 決裁者を先に確定する ・精度の改善はいったん止める いいえ はい 本番運用へ進める ・範囲を絞って始める
題材、運用の条件、決裁者の順に確かめます。
逆から進めると、条件を詰め終えた後で題材が向いていないと分かります。

型A:題材の選び方が本番化を阻んでいる

本番化に耐える題材の4条件

検証の題材は、やりやすいものから選ばれがちです。データが揃っている、担当者が協力してくれる、失敗しても影響が小さい。これらは検証を成り立たせる条件で、本番運用が続く条件とは別のものです。本番化に耐える題材は、次の4つを満たします。

  1. 毎月続けて発生し、担当者が手順を覚えるだけの件数と頻度がある
  2. 判断の根拠を担当者が言葉で説明でき、例外の扱いも書き出せる
  3. 後の工程がすでにあり、AIの出力をそのまま渡せる
  4. 誤りが後の工程の点検や突き合わせで見つかり、そのまま社外に出ない

報告書に月あたりの件数が書かれていない、あるいは数件にとどまるなら型Aです。件数が少ない業務は、担当者が手順を覚える前に次の案件が来るため、本番に乗せても従来のやり方へ戻ります。

差し替える先の選び方

差し替える先は、業種や部署ではなく業務の性質で選びます。決まった手順で済む割合が高く、件数が多く、人の判断が要る箇所が限られているもの。この3点で候補を並べると、検証のしやすさとは別の順位が出ます。候補ごとに削減額の見込みを並べると、どれから本番化するかを決めやすくなります。

型B:精度以外の条件が詰められていない

検証中に埋める4つの条件

型Bは、精度の数字だけが報告され、運用に必要な残りが空いたまま止まる状態です。埋めるのは次の4つで、いずれも検証中に決められます。

例外処理

AIが処理できなかったものをどこへ流し、誰が拾うかを決めます。あわせて、未処理のものがたまっていることに気づく仕組みを置きます。エラーで止まったのに誰も気づかない状態が、運用を始めた後にもっとも起きやすい事故です。

権限

AIが見るデータの範囲を、今の閲覧権限と突き合わせます。全員が同じ出力を受け取る作りにすると、人によっては見てはいけない情報が混ざります。誰が何を渡し、何が返ったかの記録も同時に決めます。

運用の担当

業務は変わり続けるため、指示や判定の条件を直し続ける担当が要ります。部署名ではなく個人まで決めてください。担当のいない仕組みは、最初の業務変更で使われなくなります。

本番での費用の負担

使った分だけかかる料金は、件数に比例して増えます。検証の件数で出た月額は、本番の件数では別の値になります。本番で見込む件数で計算し直したうえで、どの部署のどの予算で負担するかを決めます。

精度の目標は4条件と合わせて決める

何割なら合格という数字を単独で置いても、意味は薄くなります。必要な精度は、誤りが起きたときの影響と、それに気づける手段があるかで変わります。後の工程で誤りに気づけるなら、目標を下げても運用は成り立ちます。

型C:承認の意思決定者が検証前に決まっていない

報告会が繰り返されるのが目印

型Cの症状は、報告会が繰り返されることです。回を重ねるほど参加者が増え、指摘は出るのに可否は決まらない。この状態では、検証チームは精度を上げる作業に流れます。指摘に応える形で改善はできるので動いている感覚は残りますが、本番化には近づきません。

決裁者と判断材料を検証の前に決める

必要なのは、本番化の可否を決める人を検証開始前に決めることと、その人が何を見れば決められるかを一覧にしておくことの2つです。判断材料が決まれば、検証はそれを取りに行く作業になります。判断材料が決まっていない検証は、何を測っても足りているかどうかが分かりません。

判断材料には、精度のほかに型Bの4条件、対象業務の件数、本番で見込む件数での月額が入ります。可否を決める人と費用を承認する人が別なら、両方を先に押さえておきます。

本番の費用と期間は検証で取った数字から見積もる

本番での費用と本番化までの期間は、検証中に測っておけば見積もれます。測らずに終えると、本番の金額も期日も置けないまま、精度の報告だけが残ります。

出したい数字 検証中に測っておくもの 本番の見積への使い方
月々のAIの利用料 1件の処理で使った入力と出力の分量と、かかる単価 本番で見込む件数を掛け、やり直しと例外の分を上乗せする
人の確認にかかる費用 出力を人が確認・修正した1件あたりの時間 見込む件数を掛け、担当者の時間あたりの人件費で月の金額に直す
本番化までの期間 判断材料のうち埋まっていない項目と、その決定に関わる部署 部署をまたぐ項目に合わせて可否の期日を決める

AIの利用料は検証の件数のまま報告しない

利用料は件数に比例するため、検証の件数で出た月額をそのまま報告すると実態より小さく出ます。上乗せするのは、処理できずにやり直した分、例外として人へ回った分、件数が増える月との差の3つです。検証中にこの内訳を分けて記録しておけば、本番の件数を掛けるだけで済みます。

人の確認時間は抜けやすい

AIが下書きを作っても、確認する時間が従来の作業時間と変わらなければ、削減額は出ません。検証中に1件あたりの確認時間を測り、従来の所要時間と並べて記録します。

期間は関わる部署の数で決まる

期間は、残っている項目の数ではなく、決定に関わる部署の数で決まります。同じ部署の中で決められる項目は短く済み、権限の範囲と費用の負担先のように複数の部署が関わる項目が長くかかります。関わる部署が2つ以上ある項目から先に着手し、その所要から期日を置いてください。

本番化を決めた後、最初の1か月で置くもの

開始時に決める4項目

可否が出たら、そのまま全件をAIへ渡すのではなく、範囲を絞って始めます。検証で測った精度は、検証に使った件数と書式の範囲で出た値です。本番の量に広げると、検証では出なかった書式や例外が混ざり、処理できない割合が上がります。開始と同時に決めておくのは次の4つです。

開始時に決めること 置き方 決めずに始めるとどうなるか
最初に流す範囲 検証で扱った書式と件数に近い分だけを先に通す 処理できないものが一度に出て、担当者が従来のやり方へ戻る
従来の手順の残し方 止まったときに手作業へ戻せる状態を、最初の期間は残す 止まった日の業務が丸ごと滞る
止める条件 処理できなかった割合や誤りの件数で、いったん止める線を先に決める 止めるかどうかの相談が毎回発生し、判断が遅れる
引き継ぐ相手 指示文と判定の条件を直す担当へ、直し方と確認の手順を渡す 最初の業務変更で直せる人がおらず、使われなくなる

どれも動かし始めてからでは決めにくくなるため、開始の前に決めます。

範囲を広げる判断は期間ではなく数字で決める

最初の範囲で処理できなかった割合が想定内に収まり、人の確認時間が検証で測った値から大きく外れていなければ、次の書式や件数へ広げます。外れた場合は、どの書式で外れたかを分けて記録し、その書式だけを対象から外すか、指示と判定の条件を直します。

測る項目は、検証中に測ったものと同じにします。1件あたりの入力と出力の分量、人が確認・修正した時間、処理できなかったものの内訳の3つです。検証の値と本番の値を並べられるので、削減額の見込みが外れたときに原因の箇所が分かります。

PoCを本番化しないときの、差し替えるか撤退するかの線引き

4つの状況と下す判断

すべての検証が本番化するわけではありません。本番化しないと判断した場合は、題材の差し替えと撤退を分けて扱います。混ぜると、条件を満たす業務が社内にあるのに検証そのものを畳んでしまうか、候補が無いまま題材を変え続けることになります。

いまの状況 手元で確かめること 下す判断
題材が本番の件数と頻度に耐えないが、条件を満たす別の業務が社内にある 前の題材で埋まった条件のうち、次の題材へそのまま持ち込めるもの 題材を差し替える
運用の条件が空いたままだが、決める部署は分かっている 空いている項目ごとに、決定に関わる部署の数 期日を置いて条件が決まるのを待つ
件数と頻度の条件で候補を並べても、当てはまる業務が社内に無い 候補に挙がった業務の月あたり件数 撤退する
可否を決める人を置けない 費用を承認する人と業務側の責任者のどちらかを決裁者にできるか 撤退する。精度の追加検証には進まない

2行目だけは、進めないという判断ではありません。条件が埋まるまで本番化を保留する状態で、検証の延長とは分けて扱います。延長すると精度の改善作業が続き、条件は埋まらないままになります。

題材を差し替えるときに確かめること

止まっている原因が題材側にあり、条件を満たす別の業務が社内にあるなら、題材を差し替えます。処理の枠組みや社内データの受け渡しは流用できることが多く、ゼロからのやり直しにはなりません。差し替える前に、前の題材で埋まった条件のうち、どれがそのまま使えるかを確かめます。

撤退するときに残す3つの記録

条件を満たす題材が社内に見当たらない場合と、決裁者を置けない場合は撤退します。後者は技術の問題ではないため、検証を続けても状況は変わりません。撤退する場合も、次の3つは残しておきます。

  1. 対象業務の件数と所要時間の実測値。次の題材を選ぶときの比較の基準になる
  2. 処理できなかったものの内訳。次の検証で、同じ書式や例外でつまずくのを防ぐ
  3. 決められなかった条件。同じ理由で再び止まるのを防ぐ

ここを残さずに終えると、半年後に似た検証をもう一度立ち上げることになります。

可否を出す期日を開始時に置く

差し替えも撤退も、期日を決めておかないと下せません。検証を始めるときに可否を出す日を決め、その日に判断材料がそろっていなければ、そろっていない項目を理由として記録します。期日が無いと「もう少し精度を上げてから」で延び続けます。

まとめ:PoC止まりを本番化するか撤退するかの判断

  • PoC止まりの原因は精度ではなく、題材、精度以外の運用の条件、決裁者の不在のどれかにある。PoCを本番化する前に、どこで止まっているかを見分ける
  • 止まったらまず精度の改善を止め、対象業務の件数、運用の条件、決裁者の3点を手元の報告書で確かめる
  • 本番化の6条件(件数、例外の扱い、権限と記録、運用の担当、本番での費用、決裁者)は、検証を始めるときに配って検証中に埋める
  • 題材は検証のしやすさではなく、件数と頻度、手順を言葉で説明できるか、出力の受け取り先、誤りに気づけるかで選ぶ
  • 本番の月額と期日は、検証中に測った1件あたりの分量と確認時間、決定に関わる部署の数から出す
  • 本番化を決めたら範囲を絞って始め、最初に流す範囲、従来の手順の残し方、止める条件、引き継ぐ相手を開始時に決める
  • 本番化しない場合は、条件を満たす業務が社内にあれば題材の差し替え、無ければ撤退として分ける。どちらも可否を出す期日が無いと下せない

Augueでは、止まっている生成AIの検証について、どこで止まっているかの見極めから、本番運用に必要な条件の整理と実装までを支援してまいりました。どの型に当てはまるか判断しかねる段階からでも整理できますので、ご興味がある方は是非ご相談ください。

AI導入、どこから始めるか迷っていませんか?

Augue AX サービス資料 Service Guide

内製か外注か、どの業務から任せるかは、会社ごとに答えが変わります。無料相談では今の業務をお聞きして、始める順番を一緒に整理します。サービス資料では、支援の進め方と事例を紹介しています。

資料をダウンロードする無料相談に申し込む

よくある質問

PoCの期間はどれくらいが目安ですか?

対象業務の複雑さと既存システムとの接続の有無で変わるため、一律の目安を置くと外れます。期間を先に置く代わりに、開始時に可否を出す期日を決め、その日までに何が揃っていれば決められるかを列挙してください。列挙した項目のうち、まだ埋まっていない数が残り期間の実態を示します。

PoCの費用はどれくらいかかりますか?

対象業務の範囲と接続先の数で桁が変わるため、一律の金額は出せません。見るのは内訳で、外部へ委託する場合の開発費、AIの利用料、社内の担当者が確認と打ち合わせに使う時間の3つに分けます。稟議では、この3つ目が抜けたまま金額が並ぶことが多いので、時間を人件費に直して足したうえで比べてください。

検証を外部へ委託している場合、何を確認しておくべきですか?

契約の範囲が検証の実施までで切れていないかを見ます。精度の報告までが範囲で、例外時の扱いや権限の設計が含まれていないと、本番化の検討に必要な情報がそろわないまま検証が終わります。無料や低額で引き受けてもらう場合は、扱う書式や件数が絞られていないか、検証で作ったものを自社で引き取れるか、本番の開発を同じ相手へ発注する前提になっていないかも、着手前に文面で確かめてください。

題材を差し替える場合、検証で作ったものは使い回せますか?

処理の枠組み、社内データの受け渡し、ログの取り方は多くが流用できます。作り直しになるのは、業務固有の指示文と判定条件、それに出力の受け渡し先との接続部分です。差し替えを検討する段階で、この境目がどこにあるかを開発側に確認しておくと、次の検証の見積が読めます。

止まっているPoCが複数あります。どれから手を付けるべきですか?

対象業務の月あたり件数が多いものから見ます。件数が多ければ、同じ条件整備の手間に対して戻ってくる量が大きくなります。件数が近い場合は、決裁者がすでに特定できているものを先に進めてください。条件を埋める作業より、決める人を探す作業のほうが時間がかかります。