Column / AIと経営

データ品質

AIと経営

データ品質データが汚いと、なぜAIは役に立たないのか?

動画で見る ↓

AIの答えがずれる原因は、AIの外にあることが多い

AIを入れて、売上の予測やお客様への提案文を作らせてみた。ところが、出てくる答えがどこかずれている。そのときに疑うべきは、AIの性能より先に、AIに渡した社内のデータです。

データ品質の研究者トーマス・レッドマンは、1998年の論文で、質の悪いデータが会社に与える損を整理しました。日々の業務ではお客様の不満や手戻りの費用を生み、経営の判断では誤った決定や部署間の不信を生み、戦略では方向を決めて実行することを難しくする、という指摘です。

なぜそうなるのか:汚れは、項目の数だけ掛け算で効く

一つ一つの汚れは小さく見えます。しかし、1件の記録は複数の項目でできているため、汚れは足し算ではなく掛け算で効きます。

汚れの種類 何が起きるか AIに渡ると
重複(同じお客様が2件) 取引額が分かれて小さく見える 上得意を見落とす
古い値(住所・担当者) 連絡が届かない 届かない相手に提案を作る
入力のゆれ(法人の種類の表記の有無など) 同じ相手が別人に見える 集計がばらばらになる
空欄 判断の材料が欠ける 欠けた分を推測で埋める

たとえば、10項目がそれぞれ95%の確かさで入っているとします。10項目すべてが正しい記録の割合は、0.95を10回掛けて約60%です。各項目の正しさが99%でも、0.99の10乗で約90%にとどまります。項目ごとには「ほぼ正しい」台帳でも、記録の単位では、思ったより多くが汚れています。

AIは、どの記録が汚れているかを自分では見分けません。汚れた記録も正しい記録と同じ重みで学び、答えを出します。

中小企業に置き換えると

社員40人の住宅設備の販売会社を考えます(説明のための架空の例です)。顧客台帳をAIに読ませ、点検の時期が来たお客様への案内文を作らせました。ところが、すでに引っ越した家や、同じお客様への二重の案内が混ざりました。

台帳を調べると、営業ごとに入力の仕方が違い、同じお客様が別の名前で登録されていました。この会社は、案内の自動化より先に、入力の決まりを1枚にまとめ、月に一度、重複を消す日を設けることにしました。

自社で確かめる数字と問い

見る数字 何が分かるか
くじで選んだ記録のうち、1か所でも違う件数 記録の単位での汚れ具合
重複している顧客の件数 集計のずれの大きさ
最後に更新した日が1年以上前の記録の割合 古さ
入力の決まりの有無と、守っている人の数 汚れが生まれ続けるか
  1. 自社の台帳は、誰が、どの決まりで入力しているか。
  2. AIに読ませる前に、正しさを確かめた記録はどれだけあるか。

M&A・事業DDではどう見られるか

買い手は、売り手が示す顧客数や継続率の数字が、どの台帳から出ているかを確かめます。台帳に重複や古い記録が多いと、示された数字そのものの確からしさが下がります。

顧客や取引のデータを決まった手順で整えている会社は、数字の裏付けを早く出せます。売る前に、主要な台帳の入力の決まりと、最後に点検した日を記録しておくことです。

動画でも解説しています

動画は近日公開します

まずは、顧客台帳から20件をくじで選びます。社名・住所・担当者・取引の状況を、1件ずつ実際と見比べます。1か所でも違う件数を数えると、台帳の汚れ具合が分かります。

AIを入れる前に、社内のデータの状態を確かめたい場合は、お気軽にご相談ください。業務と財務の両方の視点から一緒に整理します。

お問い合わせはこちら →

出典・参考文献

  1. Redman, T. C. (1998). The Impact of Poor Data Quality on the Typical Enterprise. Communications of the ACM, 41(2), 79–82. — 質の悪いデータが業務・判断・戦略に与える影響(DOI: 10.1145/269012.269025)

このコラムは一般的なAIと経営の考え方の解説です。個別の経営判断は、自社の状況に合わせて行ってください。

まずは、初回のご相談から。

初回のご相談は無料です。内容の秘密は守ります。

お問い合わせはこちら →