「使われているか分からない」を、測れる形にする
全社にアカウントを配ったあと、利用状況を聞かれて答えられない状態はよくあります。契約したアカウント数は分かる、使っている人がいることも分かる、けれども部署ごとにどれだけ使われているかは言えない。この状態だと、次に何をすればよいかも決められません。研修を足すのか、対象業務を選び直すのか、部署ごとに手を入れるのかは、どこが落ちているかが見えて初めて選べます。
測る対象は2つに分かれます。ひとつは、どれだけ使われているかという広がりの測定。もうひとつは、それが何時間・いくら分の効果になったかという効果の測定です。この記事では前者だけを扱います。削減時間の積み上げや金額換算、投資として続けるかどうかの判断は AI導入の効果測定と効果検証 にまとめています。金額の話を先に始めると、分母の取り方が決まらないまま数字だけが動くことになるので、順序としては広がりの測定を先に固めます。
取れるログの種類と、それぞれで分かること
利用状況の集計に使えるものは、大きく6種類です。すべてを最初からそろえる必要はありません。
| 取れるもの | どこから取るか | 分かること・分からないこと |
|---|---|---|
| アカウント単位の利用回数・最終利用日 | 契約している生成AIサービスの管理画面 | 誰が何回使ったかは分かる。何の業務に使ったかは分からない |
| サインインの記録 | 社内のID基盤（シングルサインオンの認証記録） | ツールをまたいで同じ人を追える。回数の粒度は管理画面より粗い |
| 呼び出しの記録 | 自社で組んだ仕組みのログ | 回数と処理件数、失敗しやすい箇所まで取れる。用途の分類を最初から持たせられる |
| 部署・在籍の情報 | 人事の名簿 | 部署別に分けるための分母。異動と入退社の反映が要る |
| 対象業務の処理件数 | 業務システムや台帳 | 発生した件数のうちAIを通った割合を出す分母になる |
| 用途の申告 | 短いアンケートや利用の台帳 | 業務別の用途。ログだけでは埋まらない部分を補う |
最初に手を付けるなら、管理画面のアカウント単位の記録と、人事の名簿の2つです。この2つを突き合わせるだけで、部署別の利用者比率までは出せます。呼び出しの記録や用途の申告は、部署別の数字を見たあとで、原因を追うために足すという順番で足ります。
用途の分類は、ログからは自動的に取れません。自社で組んだ仕組みなら入口ごとに分類を持たせられますが、汎用のツールを配っている場合は、利用者に聞くか、使い方の申告を業務の台帳として残すかのどちらかになります。分類を細かくしすぎると申告されなくなるので、最初は5つ前後に抑えます。
指標の定義を先に決める
同じ「利用率」という言葉でも、分母の取り方で数字は大きく変わります。定義を決めずに集計を始めると、翌月に別の人が別の分母で出し、前月と比べられなくなります。
| 指標 | 計算のしかた | 決めておくこと |
|---|---|---|
| 利用者比率 | 直近1か月に1回以上使った人数 ÷ 対象者数 | 対象者に誰を含めるか（配布した全員か、対象業務の担当者だけか） |
| 定着率 | 直近4週のうち3週以上使った人数 ÷ 対象者数 | 何週続けば定着とみなすか |
| 1人あたりの利用回数 | 使った人の利用回数の中央値 | 平均ではなく中央値を使う |
| 業務通過率 | AIを通った件数 ÷ 対象業務で発生した件数 | 対象業務をどこまでに限定するか |
| 出入りの人数 | 今月から使い始めた人数と、先月使っていて今月使わなかった人数 | 判定に使う期間の区切り |
利用者比率と定着率は分けて持ちます。利用者比率だけを見ていると、月に1回触っただけの人と毎週使っている人が同じ1人として数えられ、実態より高く出ます。逆に定着率だけだと、使い始めた人が増えている動きが見えません。
1人あたりの利用回数で平均を避けるのは、一部の人が突出して使うと平均が引き上げられるためです。中央値なら、大半の人がどれくらい使っているかに近い値になります。
出入りの人数は、合計だけを見ていると気付けない動きを拾います。利用者比率が2か月続けて同じでも、中身の人が入れ替わっていることがあります。この場合、新しく使い始めた人が入ってきた分だけ、前月まで使っていた人が離脱しているので、手を打つ場所は「広げること」ではなく「離脱の原因」になります。
集計から手当てまでの流れ
名簿との突き合わせは、思ったより手が要る工程です。ログに残るのはアカウントの識別子で、部署は入っていません。異動があった月は、前月と同じ人が別の部署に数えられるため、どの時点の名簿を使うかを決めておきます。月末時点の在籍で固定しておくと、あとから同じ集計を作り直せます。
月次でどう並べるか
集計した数字は、部署を縦、月を横に置いた表にします。1枚の表で見るのは1つの指標だけにして、利用者比率の表と定着率の表を分けます。2つの指標を同じ表に混ぜると、どちらが動いたのかを読むのに時間がかかります。
各行に置くのは、部署名、対象者数、直近3〜6か月分の指標、そして前月との差です。対象者数を必ず並べるのは、分母が小さい部署では1人の増減で比率が大きく動くためです。対象者が5人の部署で20ポイント下がっていても、それは1人が使わなくなったという事実でしかありません。人数を隣に置いておくと、この読み違いを避けられます。
並べる順序は、比率の高い順ではなく、前月との差が大きい順にします。高い順に並べると毎月同じ部署が上に来て、見る側が下の方を読まなくなります。差の大きい順なら、その月に何かが起きた部署が上に集まります。
全社の合計値は、部署別の表とは別に1行だけ持ちます。合計だけを追うと、伸びている部署と落ちている部署が打ち消し合って動かなくなり、手を打つ場所も分かりません。
個人単位のデータをどこまで見るか
集計には個人単位のログが要りますが、見る単位と、誰に見せるかは分けて決められます。
部署別の集計と傾向の把握だけが目的なら、部署に返すのは部署単位の数字までにして、個人別の一覧は集計する担当の中に留める形が取れます。個人名が並んだ表を各部署へ配ると、利用回数を増やすこと自体が目的になり、業務と関係のない使い方で回数だけが伸びます。測っている数字が実態から離れるので、測定として成り立たなくなります。
一方で、部署の運用担当が誰に声をかければよいかを判断する場面では、個人単位の情報が要ります。この場合も、渡すのは「今月使っていない対象者の人数」や「声をかける候補」までにして、回数の順位表は作らないほうが、後々の運用が保ちます。
利用ログの取得と保管については、どの範囲を何か月保管するかを社内のルールに書いておきます。書き方は 生成AIの社内利用ルール・利用規定の作り方 を参照してください。
落ちている部署を見つけたときの読み分け
下がっているという事実だけでは、次の手は決まりません。指標の組み合わせで、原因の当たりを付けられます。
| 見えている動き | 先に確かめること | 打つ手の方向 |
|---|---|---|
| 利用者比率も定着率も初月から低いまま | その部署の対象業務が、件数と定型度の条件を満たしているか | 対象業務の選び直し |
| 初月だけ高く、2か月目から下がって戻らない | 出力を使える形にするまでの手直しがどれくらいか | 任せる範囲と指示文の見直し |
| 利用者比率は保たれ、定着率だけ下がる | 使う人が特定の業務のときだけに絞られていないか | 対象業務の追加、または対象者の定義の修正 |
| 出入りの人数が両方とも多い | 使い始めた人が何か月目で離脱しているか | 立ち上がりの支援、質問先の明示 |
| 特定の月だけ全部署で下がる | 繁忙期、長期休暇、様式や業務手順の変更 | 手を打たずに翌月の戻りを見る |
| 業務通過率だけが低い | 対象業務の件数の取り方が実態と合っているか | 分母の定義の修正 |
見落としやすいのは最後の2行です。全部署で同時に下がっているときは、部署側の問題ではなく、全社共通の出来事が原因のことが多くあります。ここで部署ごとに手当てを入れると、翌月に自然に戻ったものを施策の成果として記録してしまいます。
業務通過率だけが低い場合も、使われていないとは限りません。対象業務として数えている件数の中に、そもそもAIを通す設計になっていない種類が混ざっていると、分母が膨らんで比率が下がります。手を入れる前に、分母の中身を見ます。
原因が対象業務の選び方や支える体制にある場合の切り分けと手当ては、生成AIを全社へ広げる順序と定着の設計 にまとめています。測定はどこが落ちているかを指すところまでで、そこから先の打ち手はそちらの手順に沿って進めます。
測り始めるときにやりがちな外し方
アカウント数を分母にする。 配ったアカウントの総数を分母にすると、対象業務を持たない人まで含まれ、比率が実態より低く出ます。手を打っても動かない数字になるので、対象者の定義を先に決めます。
初月の数字を基準にする。 使い始めた人が一度に入るため、初月は高く出ます。ここを基準にすると2か月目が必ず下振れし、定着していないという判断になります。基準にするのは3か月目以降の水準です。
指標を増やしすぎる。 最初から10個の指標を並べると、集計に手が取られて月次が回らなくなります。利用者比率、定着率、業務通過率の3つから始めて、原因を追う必要が出たときに足します。
集計を手作業で続ける。 毎月の手集計は、担当が忙しい月に止まります。止まった月が空くと前後が比べられなくなるので、管理画面からの書き出しと突き合わせは、簡単な形でも自動で回せるようにしておきます。
測るだけで終える。 表を作って共有するところまでで止まると、数字を見る会だけが残ります。下がった部署について誰が何をするかまで、月次の流れに含めておきます。全社の業務をAI前提に組み替える進め方は AIネイティブ化とは を参照してください。
まとめ：利用状況を測るときの5つの要点
- 広がりの測定と効果（金額）の測定は分ける。先に固めるのは広がりのほう
- 最初に取るのは、管理画面のアカウント単位の記録と人事の名簿の2つ。用途の分類は後から足す
- 利用者比率と定着率は必ず分けて持つ。1人あたりの回数は平均ではなく中央値で見る
- 表は部署を縦、月を横に置き、比率の高い順ではなく前月との差が大きい順に並べる
- 個人別の一覧を各部署へ配ると、回数を増やすこと自体が目的になり、測定として成り立たなくなる
Augueでは、業務の棚卸しから対象業務の選定、利用状況の集計と月次の運用までを支援してまいりました。配ったものの使われているか分からない状態の可視化からお手伝いできますので、ご興味がある方は是非ご相談ください。
関連する記事
削減額の出し方と投資判断は AI導入の効果測定と効果検証、部署を増やしていく順序と定着の設計は 生成AIを全社へ広げる順序 を参照してください。
よくある質問
複数の生成AIツールを使っている場合、利用状況はどうまとめますか？
ツールごとの管理画面をそれぞれ見るのではなく、社内のID基盤のサインイン記録を軸にして、同じ人を横断で数えられる形にします。ツール別の回数は補助的な情報として扱います。全社の利用者比率をツール別に出すと、2つ使っている人が二重に数えられ、合計が実際の利用者数を超えます。
利用率の目標値はどれくらいに置けばよいですか？
一律の値は置けません。対象者の定義と対象業務の件数によって、上限そのものが部署ごとに違うためです。最初の数か月は目標値を置かず、部署別の実測を並べて自社の分布を作ります。そのうえで、上位の部署が届いている水準を当面の目安として使うと、届かない数字を追いかけずに済みます。
何か月分そろえば傾向として読めますか？
最低3か月です。初月は使い始めた人が一度に入るため高く出て、2か月目に下がるのが通常の動きです。3点そろって初めて、下がったまま止まったのか戻り始めたのかが分かります。それより前に判断すると、月ごとの上下を定着の失敗と読み違えて、必要のない手当てを入れることになります。繁忙期や長期休暇の影響も、複数の月を並べないと切り分けられません。
指示文（プロンプト）の中身まで保存すべきですか？
用途の把握が目的なら、本文の保存までは要りません。業務の分類が付いていれば集計はできます。本文には取引先名や個人情報が入ることがあり、保存すると保管期間と閲覧権限の管理が新たに発生します。保存する場合は、社内ルールの改訂と保管場所の権限設定を先に済ませます。
会社が契約していないツールを個人で使っている分はどう扱いますか？
会社が把握できる利用ログには出てこないため、集計の対象外として切り分けます。把握したい場合は、利用状況の月次集計とは別の作業として、通信の記録や利用者への確認で扱います。ここを利用率に混ぜると分母と分子の出どころが変わり、月次で並べても数字の動きが読めなくなります。契約外の利用そのものへの対応は、測定ではなく社内ルールの側で決めます。