Column / AIと経営

ハルシネーション

AIと経営

ハルシネーションAIは、なぜもっともらしい嘘をつくのか?

動画で見る ↓

なめらかな文の中に、違う数字が混ざる

AIに見積もりの説明文を作らせると、読みやすく、自信のある文が出てきます。ところが、元の資料と見比べると、金額や日付が違っていることがあります。書き方に迷いが無いため、読む側は気づきにくくなります。

香港科技大学のジーウェイ・ジーらは、2023年の論文で、文を作るAIの誤りに関する研究を整理しました。AIが元の情報と食い違う内容や、元の情報では確かめられない内容を作ることを「ハルシネーション」と呼び、前者を内在的、後者を外在的な誤りとして分けています。

なぜそうなるのか:次に来やすい言葉をつないで文を作る

AIは、膨大な文章から「この言葉の次には、この言葉が来やすい」という傾向を学んでいます。文を作るときは、その傾向に沿って言葉をつないでいきます。正しいかどうかを、元の資料で確かめながら書いているわけではありません。

誤りの種類 中身 現場での例
内在的な誤り 渡した資料と食い違う 資料の金額と違う金額を書く
外在的な誤り 渡した資料では確かめられない 資料に無い実績や条文を付け足す
読む側の見落とし 文がなめらかで疑われない 確かめずに社外へ出る

ジーらは、原因として、学んだ文章そのものの偏りや食い違いと、文を作る段階の仕組みの両方を挙げています。どちらの原因でも、AIは「分からない」と書くより、それらしい言葉で埋める方へ傾きます。

会社にとってのやっかいさは、3段目にあります。文の出来が良いほど、人は中身を疑わなくなります。

中小企業に置き換えると

社員15人の工務店を考えます(説明のための架空の例です)。お客様への工事の説明文をAIで作るようにしたところ、作業は早くなりました。ある日、説明文の中の補助の制度の名前と金額が、実際とは違っていました。お客様からの問い合わせで気づき、謝って直しました。

この工務店は、AIの文を「下書き」と呼ぶことに決めました。社外に出す前に、数字・日付・制度や会社の名前だけは、担当者が元の資料と照らします。照らした人の名前を、控えに残すようにしました。

自社で確かめる数字と問い

見る数字 何が分かるか
AIの文のうち、数字・日付・名前の数 確かめる量
元の資料と合わなかった数 誤りの出やすさ
確かめずに社外へ出た文の数 見落としの大きさ
照らす担当者が決まっている文書の種類 確かめる仕組みの範囲
  1. AIの文を、誰が、何と照らしてから社外へ出しているか。
  2. 間違いが出たとき、どの文書のどの部分だったかを記録しているか。

M&A・事業DDではどう見られるか

買い手は、AIを使っている会社に対して、AIの出した答えを誰がどう確かめているかを聞きます。お客様への説明や見積もりにAIの文がそのまま使われていると、誤りによる苦情や返金の危うさを抱えていると見られます。

確かめる人と手順を決め、誤りの記録を残している会社は、AIを使っていても管理が効いていることを示せます。売る前に、AIを使う文書の一覧と、それぞれの確かめ方をまとめておくことです。

動画でも解説しています

動画は近日公開します

まずは、AIに作らせた社外向けの文を1本選びます。数字・日付・固有名詞に印を付け、元の資料と1つずつ照らします。合わなかった数を記録し、照らす人を決めます。

AIの出した答えを、社内でどう確かめるかを決めたい場合は、お気軽にご相談ください。業務と管理の両方の視点から一緒に整理します。

お問い合わせはこちら →

出典・参考文献

  1. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., & Fung, P. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), 1–38. — ハルシネーションの定義・種類・原因の整理(DOI: 10.1145/3571730)

このコラムは一般的なAIと経営の考え方の解説です。個別の経営判断は、自社の状況に合わせて行ってください。

まずは、初回のご相談から。

初回のご相談は無料です。内容の秘密は守ります。

お問い合わせはこちら →