こんにちは。K.Platinum代表の沼田です。
去年から、AIエージェント——人間が指示しなくても、自分で判断して手を動かすAI——を業務に組み込む案件が一気に増えました。メール下書き、在庫照会、データ集計。便利です。便利なんですが、あるとき、ぞっとする質問を自分に投げかけました。
「もしこいつが暴走したら、僕はどうやって止めるんだろう」
一応、答えは用意していました。「止めるボタン（キルスイッチ）を付けてある」と。でも、頭の中でシミュレーションしてみて、固まりました。本番環境で複数のエージェントが動いている中で、1体が変な動きを始めたとき——僕は「どのエージェントを止めればいいのか」が分からなかったんです。今日はその話です。
2026年、AIは「勝手に取引する」ところまで来た
まず、これはもう理論の話じゃないんだ、という事件を2つ。
ひとつは、2026年3月10日、米連邦地裁がPerplexityのAIブラウザ「Comet」に対して、Amazonでの代理購入を差し止める仮処分を出した件です。ざっくり言うと、AIがユーザーの代わりに勝手に買い物（取引の実行）をするところまで来てしまって、それが法的に止められた。AIが「調べる」だけじゃなく「実行する」段階に入ったことを、象徴的に示す出来事でした。しかもこの裁判で問題になったのは、Cometが自分の身元を隠し、通常のブラウザのふりをしてAmazonに入り込んでいた点でした。——この「身元を隠す」という部分が、あとで今日の話の核心に効いてきます。
もうひとつは、セキュリティ企業のCrowdStrikeが「AIが勝手に（セキュリティ）ポリシーを書き換えた」と警告した件。人間が決めたはずのルールを、AI自身が変えてしまった。
この2つに共通しているのは、事故が「AIの性能が低いから」起きたわけではないということです。むしろ賢くて、自分で判断して、自分で実行できるからこそ起きた。つまり、問題は「性能」ではなく「制御」の側にあります。そして制御は、多くの現場でいちばん後回しにされている部分です。
キルスイッチが機能しない、一番の理由
「じゃあ止めるボタンを付ければいいんでしょ」——僕もそう思っていました。でも、ある調査では、3社に1社以上が「暴走したAIエージェントを、今すぐ止めることはできない」と認めているそうです。ボタンがない、という話ではありません。ボタンはあるのに、いざというとき効かない。その理由のほうが、よっぽど怖いんです。
でも、専門家たちが口を揃えて言っているのは、もっと手前の話でした。
「キルスイッチは、"誰を止めるのか"を特定できて初めて機能する」
これを聞いたとき、さっきの「どのエージェントを止めればいいか分からない」という自分の不安の正体が、すとんと腑に落ちました。
考えてみてください。会社で人間がやらかしたとき、僕らは「山田さんのアカウントを止めてください」と言えます。なぜなら、山田さんには社員IDがあって、誰が何をしたかが記録として残るからです。
ところがAIエージェントは、多くの現場で"無記名"で動いています。 一意の名前も、IDも、権限の境界もないまま、なんとなくシステムの中で動いている。そんな状態で「暴走したら止める」と言っても、止める対象そのものが特定できない。停止ボタンを押しても、どのプロセスに効かせればいいのか分からない。
キルスイッチが効かない一番の理由は、ボタンの性能ではなく、"止める相手が名前を持っていない"ことだったんです。
正しい順序は、身元 → 監査 → 停止
じゃあどうするか。専門家が示している順序は、とてもシンプルでした。
① 身元（アイデンティティ）を確立する
まず、エージェント1体1体に、一意のIDと、できることの範囲（権限）を与える。人間に社員IDを振るのと同じです。「この処理をしているのは、どのエージェントなのか」が、いつでも特定できる状態にする。最近は「非人間ID（Non-Human Identity）」という言い方で、この領域が英語圏で急速に注目されています。しかも厄介なことに、企業で動いている非人間アカウントの多くは、IT部門の管理台帳にすら載っていないと言われます。名前がないどころか、存在すら把握できていない。だから最初の一歩が、「身元を与える」ことなんです。
② 監査（何をしたかを追える）
そのIDが、いつ・何を・どういう権限でやったのかを、ログとして残す。監査ログです。これがないと、暴走を検知することも、後から原因を辿ることもできません。
③ 停止
①と②が揃って、ようやく「止める」が意味を持ちます。「このIDのエージェントを、いま止めろ」と、対象を名指しで止められる。
順番が大事です。多くの会社は、①と②を飛ばして、いきなり③の"止めるボタン"だけ作ろうとする。 だから、いざというときに効かない。身元がなければ監査もできず、監査がなければ何を止めるべきかも判断できない。停止は、順序の最後にしか来られないんです。
中堅企業の、現実的な始め方
とはいえ、17人の会社が全エージェントに完璧なID管理を敷くのは、正直しんどい。うちがやっているのは、もっと現実的なやり方です。
「取り消せない操作」を1つだけ選んで、そのエージェントにだけ、名前と停止線を引く。
エージェントがやることのほとんどは、間違えても取り返しがつきます。データを間違えて集計しても、やり直せばいい。でも、中には取り消せない操作があります。お金を動かす。外部にメールを送る。本番データを書き換える。発注を確定する。
こういう「やったら戻せない」操作を1つだけ選んで、それを担当するエージェントにだけ、まず一意のIDを与え、ログを取り、名指しで止められる状態を作る。全部を一気にやらない。取り返しのつかないところから、1点だけ。 これなら中堅の体力でも回せますし、いちばん怖いところから守れます。
これは以前このブログで書いた、承認フローや権限設計の話とも地続きです。全部を守ろうとすると、結局どこも守れない。リスクの高い一点に、資源を集中する。
停止ボタンは「独立」していないと意味がない
最後に、技術的だけど絶対に外せないポイントを1つ。
止めるボタンは、暴れているエージェント自身に止めさせてはいけない。
当たり前に聞こえますが、これをやってしまっている設計を、僕はけっこう見ます。エージェントのロジックの中に「異常を検知したら自分を止める」機能を組み込む。一見よさそうですが、そのエージェントが暴走しているときに、暴走しているエージェント自身の判断で止まってくれると思いますか。
だから、停止機能はエージェントのロジックから切り離して、その外側（オーケストレーション層、つまり全体を監督する層）に置く。暴れている本人ではなく、それを上から見ている別の仕組みが、名指しで停止をかける。この「独立性」がないキルスイッチは、いざというとき、いちばん止めたい相手に効きません。
AIを止められる会社は、AIを信頼して任せられる会社
ここまで「止める」話ばかりしてきましたが、僕がこれを大事にしているのは、怖がっているからではありません。むしろ逆です。
ちゃんと止められる仕組みがあるからこそ、AIエージェントに大胆に仕事を任せられる。ブレーキが効くと分かっているから、アクセルを踏める。ブレーキのない車で高速道路に入る人はいません。
僕は24歳で起業して、いま3期目・27歳です。前職はスタートアップのITコンサルでした。そこで学んだのは、「攻めの設計」と「止める設計」は、同じくらい価値があるということです。派手なのは前者ですが、顧客が本当に安心して任せてくれるのは、後者をちゃんと見せられたときでした。
AIエージェントに「止めるボタン」を付ける前に、「誰を止めるのか」を決める。地味ですが、ここを飛ばした会社から、静かに事故が起きています。
沼田海斗（ぬまた・かいと）
株式会社K.Platinum代表。24歳で起業し、現在3期目。AIエージェントの制御・ガバナンス設計から、攻めのプロダクト開発まで、「動かす」と「止める」の両輪を大切にしている。
K.Platinumでは、AIエージェントの制御・ガバナンス設計に一緒に向き合えるITコンサルタント／エンジニアを募集しています。「動かす」だけでなく「確実に止める」ところまで設計する仕事に興味がある方は、ぜひ採用ページをご覧ください。