アルゴリズム嫌悪社員は、なぜAIが一度間違うと使わなくなるのか?
一度の外れで、道具が眠る
AIで発注の量を予測するようにした。ある週、その予測が大きく外れ、在庫が余った。それ以来、現場はAIを使わなくなり、元の手書きの帳面に戻った。AIの導入で、よく起きることです。
行動科学の研究者バークリー・ディートフォースト、ジョセフ・シモンズ、ケイド・マッシーは、2015年の論文で、5つの実験を報告しました。参加者は、人の予測と、計算式(アルゴリズム)の予測のどちらに報酬を賭けるかを選びます。計算式が予測するところを見た人は、計算式を信じなくなり、人の予測を選ぶことが増えました。計算式の方が人より当たるのを見た人でも、同じでした。研究者たちは、これを「アルゴリズム嫌悪」と呼びました。
なぜそうなるのか:同じ間違いでも、機械への信頼は早く減る
論文は、人が、同じ間違いを見たときに、人の予測より計算式の予測への信頼を早く失うことを示しました。
| 見たもの | 信頼の変わり方 | 選び方 |
|---|---|---|
| 人の予測の外れ | 少し下がる | 人の予測を使い続ける |
| 計算式の予測の外れ | 大きく下がる | 計算式を避ける |
| 計算式の方が当たる様子 | それでも外れの印象が残る | 劣る人の予測を選ぶことがある |
なぜ機械の外れの方が重く見えるのか。人の外れは「今回はたまたま」「次は学ぶだろう」と受け止めやすい一方、機械の外れは「この仕組みには欠陥がある」と受け止めやすいと考えられます。外れを一度見ると、その印象が、合計の当たり外れより強く残ります。
ここでの損は、使われないことそのものです。人より当たる道具を眠らせると、その差の分だけ、外れの多い判断を続けることになります。
中小企業に置き換えると
社員12人の青果の卸を考えます(説明のための架空の例です)。AIの発注予測を入れた最初の月、天候の急な変化で予測が外れ、葉物の在庫が大きく余りました。担当者はAIを使うのをやめ、自分の経験で発注を続けています。
社長は、次の1か月、担当者の発注量とAIの予測を、毎日並べて記録させました。合計で比べると、余った量と足りなかった量の合計は、AIの予測の方が少なかったとします。外れた日はAIにも担当者にもありました。並べて見たことで、一度の外れではなく、合計で比べる話し合いが始まりました。
自社で確かめる数字と問い
| 見る数字 | 何が分かるか |
|---|---|
| AIの予測と人の判断の、同じ期間の外れの合計 | どちらが当たるか |
| AIの外れが大きかった日と、その理由 | 外れの中身 |
| 人の判断の外れが大きかった日と、その理由 | 人の外れの中身 |
| 導入した後、AIが使われている割合 | 道具が眠っていないか |
- 自社でAIを使わなくなった業務は、何がきっかけだったか。
- その業務で、AIと人の外れを、同じ期間で比べたことはあるか。
M&A・事業DDではどう見られるか
買い手は、導入されているAIやシステムが、実際に使われているかを確かめます。契約や費用は続いているのに、現場で使われていない道具は、むだな費用であり、定着させる力の弱さとも見られます。
反対に、AIと人の判断を記録で比べ、使う範囲を決めている会社は、道具を根づかせる仕組みを持っていると見られます。売る前に、主なAIやシステムの利用の状況と、比べた記録をそろえておくことです。
動画でも解説しています
動画は近日公開します
まずは、AIを使う業務で、AIと人の判断の当たり外れを、同じ期間で並べて記録します。1か月分を表にして、社員と一緒に見ます。一度の外れではなく、合計の差で使うかどうかを決めます。
AIを社内に根づかせる進め方を整理したい場合は、お気軽にご相談ください。業務とAIの両方の視点から一緒に整理します。
出典・参考文献
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err. Journal of Experimental Psychology: General, 144(1), 114–126. — アルゴリズム嫌悪の5つの実験(DOI: 10.1037/xge0000033)
このコラムは一般的な行動経済学の解説です。個別の経営判断は、自社の状況に合わせて行ってください。