機械学習の技術的負債AIのシステムは、なぜ作った後にお金がかかるのか?
作ったときは動いた。半年後にずれ始めた
AIを使った仕組みを作り、最初はよく動いていた。ところが半年たつと答えがずれ始め、直すたびに業者への支払いが増えていく。AIを入れた会社で、よく聞く話です。
D. スカリーたちは、2015年の論文で、機械学習の仕組みは、作った後に「見えない技術的負債」がたまりやすいと指摘しました。技術的負債とは、早く作るために後回しにした手入れが、借金の利息のように後から費用になって返ってくることです。論文では、AIそのものの部分は仕組み全体のごく一部で、まわりにデータを集め、整え、つなぎ、見張る多くの部品があると示されました。
なぜそうなるのか:AIは、外の変化に静かに引きずられる
| 負債の種類 | 中身 | 費用になる理由 |
|---|---|---|
| データへの依存 | 入ってくるデータに頼って答えを出す | 取引先の書式や社内の決まりが変わると答えがずれる |
| 部品の絡み合い | 一つを変えると、全部に響く | 一か所の直しが、別の所を崩す |
| つなぎの部品 | 道具どうしをつなぐ手作りの部品 | 道具の更新のたびに作り直しが要る |
| 見えない利用者 | 結果を、知らない所で別の仕事が使う | 直したときに思わぬ所が止まる |
ふつうの計算の仕組みは、決まった手順で動くので、外が変わらなければ答えも変わりません。AIの仕組みは、データから答えの出し方を学んでいます。そのため、入ってくるデータの中身が少し変わるだけで、誰も手を触れていないのに答えがずれていきます。このずれは、見張っていないと気づけません。
中小企業に置き換えると
社員25人の会社が、注文書を読み取って受注の入力を自動にするAIの仕組みを、300万円で作ったとします(説明のための架空の例です)。
作った後には、毎月の手入れがかかります。社員の確認と直しに月10時間で、時給5,000円とすると5万円、道具の利用料が月3万円で、合わせて月8万円です。3年では8万円×36か月=288万円になります。作る費用と合わせると、300万円+288万円=588万円です。作る費用の倍近くが、3年の総額になります。
さらに、取引先が注文書の書式を変えるたびに、読み取りの直しが要ります。こうした費用を先に見積もらずに作ると、「思ったより高くついた」となります。
自社で確かめる数字と問い
| 見る数字 | 何が分かるか |
|---|---|
| 作る費用と、毎月の手入れの費用 | 3年の総額 |
| AIの答えを人が直した件数(月別) | ずれが増えていないか |
| 入力のデータや道具が変わった回数 | 直しが要る場面の多さ |
| 手入れを担う社員と業者の名前 | 誰が見張っているか |
- 自社のAIの仕組みで、答えのずれに気づくのは誰か。
- 作った後の3年分の手入れの費用を、見積もっているか。
M&A・事業DDではどう見られるか
買い手は、AIやシステムの仕組みについて、作った費用より、保つ費用と、それを担う人を確かめます。作った業者や一人の社員しか中身を分からない仕組みは、買った後に直せなくなる危うさがあると見られます。
仕組みの一覧と、毎月の手入れの費用、担当者をそろえておくと、システムの状態を説明する材料になります。
動画でも解説しています
動画は近日公開します
まずは、AIの仕組みを作る前に、毎月の手入れに要る時間と担当を書き出します。入力のデータや使う道具が変わったときに、誰が気づいて直すかを決めます。作る費用と、3年間の手入れの費用を並べてから決めます。
AIやシステムの投資を、作った後の費用まで含めて見積もりたい場合は、お気軽にご相談ください。事業と財務の両方から一緒に整理します。
出典・参考文献
- Sculley, D., et al. (2015). Hidden Technical Debt in Machine Learning Systems. Advances in Neural Information Processing Systems, 28. — 機械学習の仕組みにたまる技術的負債の原典
このコラムは一般的な経営とAIの考え方の解説です。個別の経営判断は、自社の状況に合わせて行ってください。