AIに全部やらせない設計 — 統制を保ったまま自動化する境界の引き方
「AIに任せて大丈夫か」。この問いが出るとき、たいていの議論は「AIの精度」か「信頼できるか」に向かう。だが実務で問題になるのは精度ではない。間違えたときに、どれだけの被害が出るかだ。
被害の大きさは、AIに何をやらせているかで決まる。メールの要約を間違えても、やり直せばいい。請求書の金額を間違えて送信したら、取り返すのに電話と謝罪と修正伝票が要る。この差は、AIの賢さでは埋まらない。設計で分けるしかない。
線を引く基準は「取り返しがつくか」
AIに任せる範囲を決めるとき、一番使える基準は「間違えたとき、やり直しがきくかどうか」だ。
やり直しがきく操作を「可逆」、きかない操作を「不可逆」と呼ぶ。この二つを分けて、可逆な部分だけをAIに渡す。
具体的には、こう分かれる。
AIに任せていいもの(可逆): 読み取り、要約、分類、優先順位の提案、下書きの生成、データの整理。どれも間違えていたら人が直せる。被害はゼロか、直す手間だけで済む。
人と決定論に残すもの(不可逆): 請求の確定、入金処理、対外メールの送信、契約の締結、データの削除。一度やったら元に戻せないか、戻すコストが大きい。
この線引きは特別な発想ではない。銀行のシステムが何十年も前からやっていることと同じだ。入力と確認は別の人がやる。承認なしに送金はできない。AIが加わっても、この原則は変わらない。
「提案まで」と「確定から」を物理的に分ける
原則だけでは現場は守れない。忙しいときに「これはAIに任せちゃダメだったっけ」と毎回考えるのは無理がある。だから、仕組みで分ける。
自分がやっているのは、こういう構造だ。
AIが触れる範囲と、人が承認しないと進めない範囲を、システムの設計として分離する。AIがどれだけ賢くなっても、送信ボタンは押せない。確定ボタンは押せない。削除はできない。これは権限の問題であって、AIの性能とは無関係に決まる。
たとえば、見積の業務なら——AIは過去の案件データを読み、条件を比較し、金額の案を出す。ここまでは自動で走る。だが「この金額で出す」という確定は、人がボタンを押すまで進まない。間にゲートがある。
このゲートを「承認フロー」として別途作り込む必要はない。やっていることは単純で、確定・送信・削除といった不可逆な操作の手前に、人の入力を一つ挟むだけだ。
間違いは「想定内」として設計する
AIを使う設計で一番危ないのは、「AIは正しい前提」で組むことだ。精度が99%でも、100件処理すれば1件は間違える。1000件なら10件だ。
だから、間違いを前提に設計する。具体的には三つ。
一つ目は、AIの出力を人が確認するステップを必ず入れること。全件でなくていい。金額が大きいもの、初めての取引先、通常と異なるパターンだけでも効く。
二つ目は、AIが「自信がない」と言える設計にすること。判断基準に合致しない入力が来たら、無理に分類せず「判断できません」と返して人に回す。中途半端な答えを出すより、止まるほうがずっと安全だ。
三つ目は、被害が出たときの復旧手順を先に決めておくこと。間違った請求書が出たらどう訂正するか、誤送信したメールにどう対応するか。事故が起きてから考えるのでは遅い。
実際に動かしてわかったこと
この設計を実際の業務に入れて気づいたのは、「AIに任せない部分」を明確にしたほうが、むしろAIを使いやすくなる、ということだ。
境界が曖昧だと、現場は不安になる。「これ、AIがやったやつ、そのまま出していいの?」と毎回迷う。境界がはっきりしていれば、AIが出した下書きは安心して使える。どうせ確定の手前で人が見るから。
結果として、AIを使う量はむしろ増えた。怖くないからだ。
全部やらせないことが、全部使い切ることにつながる
AIに全部やらせない設計は、AIを使わない設計ではない。逆だ。任せる範囲を明確にするからこそ、その範囲では全力で使い切れる。
読み取り、整理、提案、下書き——ここまではAIが全速力で走る。確定と送信は人が握る。この分担がはっきりしていれば、AIが進化しても設計は壊れない。新しいモデルが出たら、可逆な部分の精度が上がるだけで、境界そのものは動かさなくていい。
統制を保ったまま自動化する、というのは矛盾ではない。どちらかを犠牲にする話でもない。線を正しい場所に引けば、両立する。