データ品質データが汚いと、なぜAIは役に立たないのか?
AIの答えがずれる原因は、AIの外にあることが多い
AIを入れて、売上の予測やお客様への提案文を作らせてみた。ところが、出てくる答えがどこかずれている。そのときに疑うべきは、AIの性能より先に、AIに渡した社内のデータです。
データ品質の研究者トーマス・レッドマンは、1998年の論文で、質の悪いデータが会社に与える損を整理しました。日々の業務ではお客様の不満や手戻りの費用を生み、経営の判断では誤った決定や部署間の不信を生み、戦略では方向を決めて実行することを難しくする、という指摘です。
なぜそうなるのか:汚れは、項目の数だけ掛け算で効く
一つ一つの汚れは小さく見えます。しかし、1件の記録は複数の項目でできているため、汚れは足し算ではなく掛け算で効きます。
| 汚れの種類 | 何が起きるか | AIに渡ると |
|---|---|---|
| 重複(同じお客様が2件) | 取引額が分かれて小さく見える | 上得意を見落とす |
| 古い値(住所・担当者) | 連絡が届かない | 届かない相手に提案を作る |
| 入力のゆれ(法人の種類の表記の有無など) | 同じ相手が別人に見える | 集計がばらばらになる |
| 空欄 | 判断の材料が欠ける | 欠けた分を推測で埋める |
たとえば、10項目がそれぞれ95%の確かさで入っているとします。10項目すべてが正しい記録の割合は、0.95を10回掛けて約60%です。各項目の正しさが99%でも、0.99の10乗で約90%にとどまります。項目ごとには「ほぼ正しい」台帳でも、記録の単位では、思ったより多くが汚れています。
AIは、どの記録が汚れているかを自分では見分けません。汚れた記録も正しい記録と同じ重みで学び、答えを出します。
中小企業に置き換えると
社員40人の住宅設備の販売会社を考えます(説明のための架空の例です)。顧客台帳をAIに読ませ、点検の時期が来たお客様への案内文を作らせました。ところが、すでに引っ越した家や、同じお客様への二重の案内が混ざりました。
台帳を調べると、営業ごとに入力の仕方が違い、同じお客様が別の名前で登録されていました。この会社は、案内の自動化より先に、入力の決まりを1枚にまとめ、月に一度、重複を消す日を設けることにしました。
自社で確かめる数字と問い
| 見る数字 | 何が分かるか |
|---|---|
| くじで選んだ記録のうち、1か所でも違う件数 | 記録の単位での汚れ具合 |
| 重複している顧客の件数 | 集計のずれの大きさ |
| 最後に更新した日が1年以上前の記録の割合 | 古さ |
| 入力の決まりの有無と、守っている人の数 | 汚れが生まれ続けるか |
- 自社の台帳は、誰が、どの決まりで入力しているか。
- AIに読ませる前に、正しさを確かめた記録はどれだけあるか。
M&A・事業DDではどう見られるか
買い手は、売り手が示す顧客数や継続率の数字が、どの台帳から出ているかを確かめます。台帳に重複や古い記録が多いと、示された数字そのものの確からしさが下がります。
顧客や取引のデータを決まった手順で整えている会社は、数字の裏付けを早く出せます。売る前に、主要な台帳の入力の決まりと、最後に点検した日を記録しておくことです。
動画でも解説しています
動画は近日公開します
まずは、顧客台帳から20件をくじで選びます。社名・住所・担当者・取引の状況を、1件ずつ実際と見比べます。1か所でも違う件数を数えると、台帳の汚れ具合が分かります。
AIを入れる前に、社内のデータの状態を確かめたい場合は、お気軽にご相談ください。業務と財務の両方の視点から一緒に整理します。
出典・参考文献
- Redman, T. C. (1998). The Impact of Poor Data Quality on the Typical Enterprise. Communications of the ACM, 41(2), 79–82. — 質の悪いデータが業務・判断・戦略に与える影響(DOI: 10.1145/269012.269025)
このコラムは一般的なAIと経営の考え方の解説です。個別の経営判断は、自社の状況に合わせて行ってください。