Column / AIと経営

ギザギザの技術フロンティア

AIと経営

ギザギザの技術フロンティアAIに任せると、なぜかえって間違いが増える仕事があるのか?

動画で見る ↓

速くなったのに、間違いも増える

生成AIを使うと、文章や資料は速く仕上がります。ところが、ある種類の仕事だけ、AIを使った方が間違いが増えることがあります。しかも、その仕事は、AIの得意な仕事と見た目の難しさが変わりません。

ファブリツィオ・デラクア、イーサン・モリックらの研究者は、2023年の作業論文で、大手のコンサルティング会社の758人を対象に実験を行いました。AIの得意な範囲の仕事では、AIを使った人は、こなした仕事の数が平均12.2%増え、25.1%速く終え、質は対照の人たちより4割以上高くなりました。一方、AIの苦手な範囲に置かれた仕事では、AIを使った人の方が、正しい答えにたどり着く割合が19ポイント低くなりました。

なぜそうなるのか:境目が見えず、答えはもっともらしい

研究者たちは、AIのできることの範囲を「ギザギザの技術フロンティア」と呼びました。境目がまっすぐではなく、同じくらい難しく見える仕事でも、内側と外側に分かれるという意味です。

仕事の位置 AIの答え 人に起きること
境目の内側 速く、質も高い 任せるほど成果が上がる
境目の外側 間違っていても、もっともらしい 確かめずに使い、間違いを取り込む
境目の近く 当たり外れがある 任せ方しだいで結果が分かれる

境目の外側でも、AIは自信のある書き方で答えを返します。人は、内側の仕事で何度も助けられているため、外側の仕事でも同じように信じてしまいます。間違いが増えるのは、AIの性能だけでなく、人の確かめ方が緩むことからも起きます。

論文では、うまく使った人の型として、仕事を切り分けてAIと人で分担する人と、作業の中でAIとやり取りを重ねる人の2つを挙げています。

中小企業に置き換えると

社員10人の会計事務所を考えます(説明のための架空の例です)。お客様への説明文や議事録の要約は、AIで速く、読みやすくなりました。同じ調子で、税の取り扱いの判断までAIの答えを下書きにしたところ、条件の読み違いが2件見つかりました。

説明文は読めば正しさが分かりますが、判断の当否は原典に当たらないと分かりません。この事務所は、原典の確認が要る仕事を境目の外と決め、AIの答えは参考にとどめ、担当者が全件で原典を確かめる手順にしました。

自社で確かめる数字と問い

見る数字 何が分かるか
AIを使っている仕事の一覧 何をどこまで任せているか
仕事ごとの、AIの答えの誤りの件数 境目の外側の仕事はどれか
AIの答えを人が確かめている仕事の割合 確かめ方が緩んでいないか
お客様や取引先様から指摘された誤り 外に出てしまった間違い
  1. AIの答えが正しいかを、その場で確かめられない仕事はどれか。
  2. その仕事で、AIの答えをそのまま使っていないか。

M&A・事業DDではどう見られるか

買い手は、AIを使っている会社に、どの仕事を任せ、誰が確かめているかを聞きます。任せる範囲と確かめる手順が決まっていない会社は、気づかない誤りが積み重なっている可能性を疑われます。

任せる仕事と確かめる仕事の線引きが書かれ、誤りの記録が残っている会社は、業務の統制が取れていると見られます。売る前に、AIの使い方の決まりと、誤りの記録をそろえておくことです。

動画でも解説しています

動画は近日公開します

まずは、AIに任せている仕事を書き出します。それぞれ、答えが正しいかを人が確かめられる仕事か、確かめにくい仕事かに分けます。確かめにくい仕事は、AIの答えをそのまま使わない決まりにします。

AIに任せる仕事と、人が確かめる仕事の線引きを整理したい場合は、お気軽にご相談ください。業務と統制の両方の視点から一緒に整理します。

お問い合わせはこちら →

出典・参考文献

  1. Dell'Acqua, F., McFowland III, E., Mollick, E. R., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2023). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Working Paper No. 24-013. — 758人の実験とギザギザの技術フロンティア(DOI: 10.2139/ssrn.4573321)

このコラムは一般的な経営学の研究の解説です。個別の経営判断は、自社の状況に合わせて行ってください。

まずは、初回のご相談から。

初回のご相談は無料です。内容の秘密は守ります。

お問い合わせはこちら →