ギザギザの技術フロンティアAIに任せると、なぜかえって間違いが増える仕事があるのか?
速くなったのに、間違いも増える
生成AIを使うと、文章や資料は速く仕上がります。ところが、ある種類の仕事だけ、AIを使った方が間違いが増えることがあります。しかも、その仕事は、AIの得意な仕事と見た目の難しさが変わりません。
ファブリツィオ・デラクア、イーサン・モリックらの研究者は、2023年の作業論文で、大手のコンサルティング会社の758人を対象に実験を行いました。AIの得意な範囲の仕事では、AIを使った人は、こなした仕事の数が平均12.2%増え、25.1%速く終え、質は対照の人たちより4割以上高くなりました。一方、AIの苦手な範囲に置かれた仕事では、AIを使った人の方が、正しい答えにたどり着く割合が19ポイント低くなりました。
なぜそうなるのか:境目が見えず、答えはもっともらしい
研究者たちは、AIのできることの範囲を「ギザギザの技術フロンティア」と呼びました。境目がまっすぐではなく、同じくらい難しく見える仕事でも、内側と外側に分かれるという意味です。
| 仕事の位置 | AIの答え | 人に起きること |
|---|---|---|
| 境目の内側 | 速く、質も高い | 任せるほど成果が上がる |
| 境目の外側 | 間違っていても、もっともらしい | 確かめずに使い、間違いを取り込む |
| 境目の近く | 当たり外れがある | 任せ方しだいで結果が分かれる |
境目の外側でも、AIは自信のある書き方で答えを返します。人は、内側の仕事で何度も助けられているため、外側の仕事でも同じように信じてしまいます。間違いが増えるのは、AIの性能だけでなく、人の確かめ方が緩むことからも起きます。
論文では、うまく使った人の型として、仕事を切り分けてAIと人で分担する人と、作業の中でAIとやり取りを重ねる人の2つを挙げています。
中小企業に置き換えると
社員10人の会計事務所を考えます(説明のための架空の例です)。お客様への説明文や議事録の要約は、AIで速く、読みやすくなりました。同じ調子で、税の取り扱いの判断までAIの答えを下書きにしたところ、条件の読み違いが2件見つかりました。
説明文は読めば正しさが分かりますが、判断の当否は原典に当たらないと分かりません。この事務所は、原典の確認が要る仕事を境目の外と決め、AIの答えは参考にとどめ、担当者が全件で原典を確かめる手順にしました。
自社で確かめる数字と問い
| 見る数字 | 何が分かるか |
|---|---|
| AIを使っている仕事の一覧 | 何をどこまで任せているか |
| 仕事ごとの、AIの答えの誤りの件数 | 境目の外側の仕事はどれか |
| AIの答えを人が確かめている仕事の割合 | 確かめ方が緩んでいないか |
| お客様や取引先様から指摘された誤り | 外に出てしまった間違い |
- AIの答えが正しいかを、その場で確かめられない仕事はどれか。
- その仕事で、AIの答えをそのまま使っていないか。
M&A・事業DDではどう見られるか
買い手は、AIを使っている会社に、どの仕事を任せ、誰が確かめているかを聞きます。任せる範囲と確かめる手順が決まっていない会社は、気づかない誤りが積み重なっている可能性を疑われます。
任せる仕事と確かめる仕事の線引きが書かれ、誤りの記録が残っている会社は、業務の統制が取れていると見られます。売る前に、AIの使い方の決まりと、誤りの記録をそろえておくことです。
動画でも解説しています
動画は近日公開します
まずは、AIに任せている仕事を書き出します。それぞれ、答えが正しいかを人が確かめられる仕事か、確かめにくい仕事かに分けます。確かめにくい仕事は、AIの答えをそのまま使わない決まりにします。
AIに任せる仕事と、人が確かめる仕事の線引きを整理したい場合は、お気軽にご相談ください。業務と統制の両方の視点から一緒に整理します。
出典・参考文献
- Dell'Acqua, F., McFowland III, E., Mollick, E. R., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper No. 24-013. — 758人の実験とギザギザの技術フロンティア(DOI: 10.2139/ssrn.4573321)
このコラムは一般的な経営学の研究の解説です。個別の経営判断は、自社の状況に合わせて行ってください。