AI-OCRの読み取り精度をどう検証するか｜手書き・かすれ・書式崩れの扱いと、人が確認する範囲

カタログの認識率が自社の判断材料にならない理由

AI-OCRの導入を検討すると、まず出てくるのは提供元が示す認識率です。ただ、その数字をそのまま自社の判断へ持ち込むと、運用が始まってから想定と違う結果になります。理由は2つあります。

1つは、母集団が違うことです。示されている数字は、提供元が用意した帳票の集まりに対する結果です。自社に届く帳票のうち、手書きの追記が入るもの、コピーを重ねて薄くなったもの、発行元が独自の様式で作っているものがどれだけ混ざっているかは、そこには反映されていません。

もう1つは、数え方が違うことです。文字単位の一致率は高く出ますが、業務で使うのは項目の値です。金額の1文字を読み違えれば、文字単位では99%を超えていても、その項目は誤りとして扱うしかありません。

判断できる形にするには、自社の帳票で、自社が使う数え方で測ります。以下は、その手順です。読み取り方式そのものの選び分けは AI-OCRの比較と選び方で扱っているため、ここでは方式が決まった後、あるいは候補を絞る段階での測り方に絞ります。

検証に使う帳票は、崩れ方の内訳を決めてから集める

集め方を間違えると、その後の数字はすべて意味を失います。担当者に「読み取りを試したいので何枚か出してください」と頼むと、状態のよい帳票が集まります。渡す側は無意識に、きれいに読める書面を選ぶためです。

集めるときは、次の順で進めます。

直近の数か月分から期間を区切って母集団を決める。月ごとに届く帳票の顔ぶれが変わるなら、その周期を含む長さにする
母集団の中で、崩れ方の種類ごとに何件あるかを数える。手書きの追記、印影との重なり、傾き、薄さ、独自様式などで分ける
種類ごとに件数を割り当てて抜き出す。数の少ない崩れ方は、割合どおりに抜くと検証に1〜2件しか入らないため、意図して多めに入れる
正解の値を業務担当者が作る。読み取り結果を見てから作ると、それに引きずられるため、先に作る
作った組をファイルとして残す。設定を変えるたびに測り直すため、対象は固定する

3番目で意図的に崩れた帳票を多く入れると、全体の一致率は実運用より低く出ます。それで構いません。ここで見たいのは全体の平均ではなく、どの崩れ方で落ちるかだからです。全体の数字は、崩れ方ごとの結果と実際の混ざり具合から後で組み立てられます。

数えるのは項目ごとの一致率と、1枚まるごとの一致率

読み取り結果は、項目の単位と帳票の単位の両方で数えます。片方だけでは、手を入れる先も、人の確認をどこまで外せるかも決まりません。

数える単位	出す数字	何が分かるか
項目ごとの一致率	項目ごとに、正解と一致した件数を検証枚数で割る	どの項目が弱いか。直す対象が決まる
1枚まるごとの一致率	全項目が合った枚数を検証枚数で割る	人が見ずに通せる枚数の割合。運用設計はこちらで決まる
空欄への書き込み	記載が無い項目に値が入った件数	突合で見つかりにくい誤り。件数を別に持つ
取りこぼし	記載があるのに空で返った件数	後工程で気づける誤り。上の行と分けて数える

項目ごとの一致率は、直す対象を示します。 全体が9割でも、内訳を見ると日付と金額は問題なく、取引先名だけが落ちている、という形になることがあります。その場合に手を入れるのは読み取り全体ではなく、取引先名の扱いです。

1枚まるごとの一致率は、運用の形を決めます。 項目ごとに9割合っていても、項目が10個あれば、全項目が合う帳票は理屈のうえでかなり減ります。人の確認を減らせるかどうかを見るのは、この数字です。

空欄への書き込みは、別枠で数えます。 記載の無い欄に値が入る誤りは、後工程の突合をすり抜けやすく、気づいたときには台帳に紛れています。取りこぼしとは影響が違うため、同じ「不一致」にまとめません。一致の条件をどう決めるか、誤りの種類ごとに許容をどう置くかは AIエージェントの精度をどう評価するかで扱っています。

崩れ方ごとに弱点を切り分ける

全体の一致率が下がったとき、原因は帳票の崩れ方に偏っていることがほとんどです。種類ごとに数え分けると、次に何をするかが決まります。

崩れ方	出やすい誤り	先に試すこと
手書き	数字の取り違え（1と7、0と6、3と8）、続け字での脱落	記入欄が枠で区切られているか。桁数や合計との関係で検算できるか
かすれ・つぶれ	文字の欠落、桁の脱落、小数点の消失	原本の取り込み条件を変えて比べる。原本が薄い場合は再発行を依頼できるか
傾き・ゆがみ	位置で読む方式で欄がずれ、隣の値を拾う	傾きの補正を挟む。位置ではなく見出し語からの相対で取る
書式崩れ（発行元ごとの差）	欄の取り違え、項目の取りこぼし	様式の登録を増やすか、意味で読む方式へ寄せる
印影や手書きの追記との重なり	重なった箇所の誤読、金額の桁の誤り	重なる位置が固定なら除外する。可変なら人へ回す対象にする
複数ページ・明細の折り返し	行の分断、合計の二重計上	明細の合計と合計欄の一致を機械で確かめる

手書きは、書き方の側で改善できることがあります。 自社が様式を配っている帳票なら、枠で区切った記入欄にするだけで誤りが減ります。他社から届く帳票は変えられないため、こちらは検算で捕まえる設計にします。

かすれは、読み取りより前の工程に原因があります。 複合機の設定が事務所ごとに違い、片方だけ薄く取り込まれていた、という形はよくあります。設定を変えて同じ帳票を取り込み直し、結果が変わるかを見ると切り分けられます。

傾きと書式崩れは、方式の限界に当たります。 位置を登録して読む方式は、様式が変わると同じ場所から違う値を拾います。誤りではなく別の値を返すため、確信度も高いまま出てきます。ここは前処理では埋まらず、意味で読む方式との併用を検討する範囲です。

前処理で減らせる誤りと、減らせないもの

読み取りの前に画像を整える工程を挟むと、一定の誤りは減ります。ただ、どの誤りが減るかは限られています。

減らせるのは、画像の状態に由来するものです。傾きの補正、白黒への変換の閾値、読み取りの細かさ、周囲の余白や裏写りの除去がこれに当たります。同じ帳票で条件を変えて測り、一致率の変化を見れば効果が確かめられます。

減らせないのは、書面の中身に由来するものです。欄の名前が発行元ごとに違う、1つの欄に2つの情報が書かれている、備考欄に支払条件が文章で書かれている、といった場合、画像をいくら整えても位置から値は取れません。

この切り分けをせずに前処理を作り込むと、効果の出ない調整に時間を使うことになります。まず崩れ方ごとの数字を見て、画像側の問題がどれだけを占めるかを確かめてから着手します。

生成AIを重ねて、読み取り結果を確かめる

書面の中身に由来する誤りは、文字を読む工程ではなく、読んだ結果を解釈する工程で扱います。読み取った文字列と位置の情報を渡し、どの値がどの項目に当たるかを判定させる形です。仕組みの違いと向き不向きは AI-OCRは定型帳票、生成AIは書式が変わる帳票で扱っています。

重ねるときに決めておくのは、次の点です。

文字そのものを推測で補わせない。読めなかった箇所は空で返し、人へ回す対象にする
判定の根拠として、その値が書面のどこから来たかを返させる。後で照合できる形にしておく
生成AIを足した状態で測り直す。足した後の数字を、足す前と同じ検証データで比べる

推測での補完を許すと、検証の数字が信用できなくなります。 読めなかった桁を前後から埋めた結果がたまたま正解と一致すると、一致率は上がります。しかし本番では、同じ埋め方が誤った値を作ります。読めなかったことを読めなかったと返す挙動のほうが、運用では扱いやすくなります。

確信度だけに頼らず、値どうしの関係で確かめる

多くのAI-OCRは項目ごとに確信度を返します。ただ、この数字だけで人へ回す対象を決めると、取りこぼしが出ます。様式が変わって隣の欄を読んだ場合のように、文字としてはきれいに読めているが値としては誤っている、という状態では確信度が下がらないためです。

確信度と合わせて使うのは、値どうしの関係です。明細の金額の合計が合計欄と一致するか、税額が税率と整合するか、日付が支払期日より前か、取引先名が自社のマスタに存在するか。こうした条件は機械で確かめられ、確信度が高いまま誤った値も捕まえられます。

検算に通った分はそのまま流し、合わなかった分と読めなかった箇所だけを人が確認する。直した記録を崩れ方ごとに数え、人へ回す範囲を定期的に見直す。

全件確認から、一部だけ人へ回す運用へ移す目安

運用の始めは全件を人が見る形にします。この期間は確認の手間が残りますが、検証では出てこなかった崩れ方が見つかる時期でもあります。ここで得た記録が、範囲を狭める根拠になります。

範囲を狭める判断は、次の3つが揃ったときに行います。

見るもの	確かめること	満たさないときの扱い
直しの記録	一定期間、人が直した件が特定の項目や発行元に偏っているか	全体に散っているなら、まだ範囲は狭めない
検算での捕捉	直した件のうち、機械の検算でも捕まえられた割合	検算で捕まらない誤りが残るなら、その条件を足してから狭める
誤りが通ったときの影響	見逃したときに後工程で気づけるか、外部へ出るか	外部への送付や支払に直結する項目は、範囲に含めない

偏りがあることが条件です。 直しが特定の発行元に集中しているなら、その発行元だけを人の確認に残し、残りを自動で通す形にできます。偏りがなく全体に散っている状態では、どこを外しても同じ割合で誤りが漏れます。

検算で捕まえられているかを見ます。 人が直した件のうち、機械の検算でも不一致として出ていたものがどれだけあるかを数えます。この割合が低ければ、人の目でしか見つかっていない誤りが多いということで、確認を外すと素通りします。

影響の重い項目は残します。 支払金額や振込先のように、誤ると外部への連絡や取り消しが必要になる項目は、他の項目の精度が十分でも確認に残す判断があり得ます。どの工程を機械に任せ、どこに人の承認を置くかの整理は AIエージェントにどこまで任せるかが参考になります。

運用が始まってからも測り直す

一度測って終わりにすると、精度は静かに下がります。取引先が様式を変える、新しい発行元が増える、複合機を入れ替えて取り込みの条件が変わる。どれも通知されないまま起きます。

測り直しを続けるために、次を残しておきます。検証に使ったデータと正解の組、崩れ方ごとの結果、人が直した件の記録。この3つがあれば、数か月後に同じ条件で測って比べられます。

日常の運用では、人が直した件数の推移を見ておくと変化に気づけます。ある月から特定の発行元の直しが増えたなら、様式が変わった可能性が高く、その時点で様式の登録か指示の内容を見直します。仕組みを社内で持ち続ける場合の分担は AIエージェント開発の進め方で扱っています。

まとめ：AI-OCRの精度を自社の帳票で判断できる形にする

提供元が示す認識率は、母集団も数え方も自社とは違う。判断には自社の帳票で測った数字を使う
検証用の帳票は枚数から決めず、崩れ方の内訳から決める。数の少ない崩れ方は意図して多めに入れる
数えるのは項目ごとの一致率と1枚まるごとの一致率の両方。空欄への書き込みと取りこぼしは分けて数える
手書き、かすれ、傾き、書式崩れ、印影との重なり、明細の折り返しに分けて数えると、次に何をするかが決まる
前処理で減らせるのは画像の状態に由来する誤りだけ。欄の名前や書き方に由来するものは、意味で読む工程を足して扱う
読めなかった箇所を推測で埋めさせない。埋めると検証の数字が上がり、本番で誤った値が通る
確信度だけで人へ回す対象を決めない。合計との一致やマスタとの照合など、値どうしの関係で確かめる
全件確認から範囲を狭めるのは、直しの偏り、検算での捕捉、誤りが通ったときの影響の3つを確かめてから
検証データと崩れ方ごとの結果、直しの記録を残し、様式の変更や取り込み条件の変化に合わせて測り直す

Augueでは、帳票の読み取りを含む業務のAIエージェント開発を、実物の帳票を使った精度の検証から運用設計まで対応しています。自社の帳票でどこまで自動化できるかを見極めたい方は、是非ご相談ください。

まずは現状をお聞かせください

弊社では具体的な要件が固まっていない段階でも、無料相談で現状をお聞きしていますので、お困りの際はご相談ください。

無料相談を予約する →

よくある質問

検証にはどれくらいの枚数を集めればよいですか？

一律の枚数は出せません。決め方としては、崩れ方ごとに何件ずつ入っているかで考えます。手書きの追記が入る帳票が全体の1割なら、その1割の中で何件あれば傾向が見えるかを置き、そこから全体の枚数を逆算します。全体で何百枚あっても、弱い崩れ方が数件しか入っていなければ、その部分の精度は測れていません。枚数を先に決めるより、内訳を先に決めるほうが結果を使えます。

検証の結果が要件に届かなかった場合、そこで中止すべきですか？

全体の数字だけで判断すると、使える範囲まで捨てることになります。先に、どの発行元・どの崩れ方で落ちているかを見ます。特定の少数の発行元だけが原因なら、その分を手入力に残して残りを自動化する形が取れます。逆に全体に薄く誤りが散っている場合は、読み取り方式か原本の取り込み条件の側に原因があるため、対象を狭めても改善しません。

サービス提供元に精度の保証を求めることはできますか？

帳票の状態によって結果が変わるため、数値での保証が契約に付くことは多くありません。求めるとすれば、自社の実物を使った事前検証の機会と、その結果の開示です。契約前に自社の帳票を数十枚通してもらい、項目ごとの結果を受け取れるかを確認します。カタログの数字ではなく、自社の帳票で出た数字を判断材料にします。

原本の取り込み条件は、法令上の保存要件と関係しますか？

関係します。国税関係書類をスキャンして保存する場合、読み取りの細かさや階調について要件が定められているため、精度の都合だけで条件を決められません。精度を上げるために条件を変えるときは、保存要件を満たす範囲かを先に確認します。保存側の設計は電子帳簿保存法への対応をまとめた記事で扱っています。