AI-OCRが苦手な手書文字の記入例

AI-OCRとは

OCRとは、Optical Character Readerの略で、画像データの中のテキスト部分を認識して文字データに変換するものです。紙文書をスキャナで読み取り、その画像中に記入されている文字を認識します。AI-OCRとはAI技術を利活用したOCRです。

しかし、旧来のアルゴリズムでは識字率が悪く、特に1文字1文字の記入枠がマスになっている文字の認識が難しい状態でした。日本語辞書を活用して、前後の文脈から判定したとしても5割程度の識字率でした。そのため、入力補助機能として用いられましたが、住所や名前の認識については作業者が「認識の誤りに気づく」ことが難しく、数値などの限られたデータ化項目で利用されるケースが大部分でした。

AI技術の登場で、この精度が飛躍的に向上しました。AIの学習方法は「対象の文字と教師データ(正解データ)との誤差が少なくなるような『係数』を回帰的に導き出す」ことです。そのため、大量の教師データを用意し、大量の計算を行い「計数」を導き出すことで、精度を上げていくことが出来ます。結果的に結果的に文字認識率が向上し、帳票フォーマットの設計を意識しないでデータ化することが可能になりました。

文字認識率99.5%を超える手書AI-OCRも登場

一般的にデータ化の精度は一般的に99.8%が求められます。日本データ・エントリ協会が定めるデータの入力作業の精度・ミス率(瑕疵率)は、日本語データの場合99.95%です。精度とコストは反比例します。この99.95%の精度を担保するとなると、熟練の入力者と入力検査システムなどの品質保証プロセスが必要で、作業単価が高くなります。そのため、99.8%に精度を設定し、その精度を対する作業を見積もるケースがほとんどです。

文字認識率99.5%は99.8%に対して劣ります。0.3%だと侮ると大変です。なぜなら、1日に10,000件の受注があったとき、30件受注処理ミスが増えます。その受注処理ミスはお客様からのクレームとなります。企業はコールセンタを用意したり、特別なチャーター便を用意したりする必要があります。

ただし、99.5%であれば、少し手直ししてあげれば充分な精度になりそうですね。

本当に99.5%なら。。。

ドラッグストアチェーン様の「ポイントカード申込書」での データ化精度は84%

AI-OCRサービスの提供者が99.5%の文字認識率を誇っていても、それはある特定の条件の下での試験成績です。ある特定の条件はサービス提供者毎に違います。しかし、その条件は、自社のデータ化作業に適しているものなのでしょうか。

当社では某大手ドラッグストアチェーン様の「ポイントカード申込書」をデータ化しています。月間平均件数は8万枚ほどとなり、毎月560万文字をデータ化しています。2人のスタッフが入力して照合する「人間2回入力突合」方式を採用し、99.8%のデータ精度を担保しています。

当社で、コージェントラボ社の「Tegaki」AI-OCRを用いた場合のデータ化成功率は概ね84%でした。

この84%は、AI-OCRでの結果と、人間2回入力突合を行った高精度データを比較し、一致するかどうかの割合です。そのため、文字認識率とデータ化精度は異なります。なぜなら、データ化精度は「記入者の記述内容」も含めて正しくデータ化出来るかどうかの精度であるためです。

AI-OCRが苦手な手書文字の記入例

では、文字認識率が高いにもかかわらず、データ化精度が低くなるのはどうしてでしょうか。

データ化精度を下げてしまう記入例についてまとめてみました。

マスをまたいで記入がある場合

記入枠をはみ出して名前等を記入するタイプです。1マス以上にまたがって記入されるため、例えば「鈴木」さんであると「金令木」などと誤った認記される場合があります。

1マスに複数文字の記入がある場合

アルファベットでの名前・住所や、住所の番地・マンション号室などで多く見受けられます。雑誌や新聞記事などで全角・半角を区別して表記されることに倣って記入されます。記入後の見栄えは良いものとなります。

しかし、AI-OCRでの文字認識では別問題です。1文字に複数文字の記入を想定していないケースが多く、そのため、「1212号室」と記入された場合、「ロロ号室」と判別されてしまいます。12がつなげて記入したロ(ろ)に近いからでしょう。

間違った場所に記入がある場合

書かれるべき場所に書かれたものを認識対象とします。そのため、一般的には間違った場所に書かれた場合は認識対象でなくなります。

しかし、お名前の「姓」「名」と分けて記入するように項目があった場合、「姓」に姓名全てを書き入れてしまう人がかなりいます。当社でデータ化作業させて頂いている某ドラッグストアチェーン様のポイントカード申込書の場合、実に4.6%の方がこの間違いを起こします。具体的に申し上げると4,200件中、193件が間違った場所に書かれます。

いくらAI-OCR識字率が99%であっても、最終的なデータ化にこの4.6%が含まれます。すなわち、4200件中、193件が記入ミスによるデータ化不備、40件が認識ミスとなり、合計で233件のデータ化不備となります。識字率99%のAI-OCRであっても94.5%になってしまいます。

達筆すぎる文字、個性的な文字で記入がある場合

達筆すぎる文字も個性的な文字(ミミズのような文字)も、AI-OCR文字認識では紙一重です。学習するための「教師データ」が日本人が平均的に書く文字なのであれば、それからかけ離れている文字(達筆、ミミズ文字)に最適化されません。最適化されていないと言うことは、認識の信頼性が下がり、結果的に誤認識されることとなります。

カタカナ・アルファベットの記入