Last Updated on 2026年7月26日 by oba3
米下院の超党派議員が、高度な人工知能（AI）システムに重大な事故や制御喪失の恐れが生じた場合、政府が開発企業へ出力制限、一時停止、全面停止を命じられる制度を提案した。法案は対象企業に緊急停止機能の実装を求め、命令へ従わない場合の罰金も設ける。重要なのは、AIに停止ボタンが付いているかだけではない。誰が危険を認定し、どのモデルや複製物まで停止命令を及ぼし、誤った判断が出た場合に誰が責任を負うのかという運用権限の設計である。
何が起きたのか？
民主党のテッド・リュー（Ted Lieu）下院議員と共和党のナサニエル・モラン（Nathaniel Moran）下院議員は、AIキルスイッチ法案（AI Kill Switch Act）を提出した。対象となる高度AIの開発企業に対し、モデルの処理能力を下げる、提供を一時停止する、完全に停止するといった技術的な制御手段を維持するよう求める内容である。
法案では、国土安全保障省が商務長官や国家情報長官と協議し、人命や経済へ重大な被害を与える制御喪失事案が発生した場合に、企業へ緊急措置を命じる構成が提案されている。想定される事例には、多数の死者を伴う事故、1億ドルを超える経済被害、AIが停止機能を妨害する行為、開発企業がモデルを管理できなくなる状況などが含まれる。
対象はすべての小規模AIや一般的なソフトではなく、大規模な計算資源を使って高度モデルを開発し、AI関連事業から大きな収益を得る企業を中心とする。報道では、年間AI収入が5億ドル以上で、モデル開発に1億ドル以上の計算資源を使う企業などが適用基準として示されている。
対象企業には重大事故の報告や関連データの保存も求められる。一般的な義務違反には日額最大200万ドル、緊急停止命令への不服従には日額最大2000万ドルの罰金を科す案が報じられている。ただし、法案は提出段階であり、委員会審議、上下両院の可決、大統領署名を経た法律ではない。
なぜ重要なのか？
現在のAIサービスでは、開発企業がサーバー上で提供するモデルであれば、利用制限や接続停止を比較的実施しやすい。企業が管理するクラウド環境へのアクセスを止めれば、多くの利用者は同じモデルを使えなくなるためだ。
しかし、高度AIの配布方法は一つではない。企業のクラウド上で動くサービス、外部企業へ提供された専用モデル、利用者の設備で動くモデル、公開された重みを使う派生モデルでは、停止できる主体と範囲が異なる。元の開発企業がサービスを止めても、すでに第三者へ複製されたモデルまで同時に停止できるとは限らない。
そのため、緊急停止制度を実効的にするには、停止機能の存在だけでなく、モデルの所在、運用者、接続先、更新権限を継続的に把握する必要がある。停止可能性を義務化すれば、AI企業は性能や安全評価だけでなく、配布後の管理可能性まで設計段階で説明することを求められる。
市場構造への影響
法案が成立すれば、高度AIの提供権限は開発企業だけで完結しなくなる。通常時は民間企業がモデルを運用していても、一定の緊急条件では政府が出力制限や停止を命じる二重の管理構造が生まれる。
この構造では、開発会社、クラウド事業者、モデルを組み込む外部企業の役割分担が重要になる。開発会社が停止命令を受けても、計算処理を行うクラウド事業者や派生サービスが協力しなければ、提供を完全に止められない場合がある。契約には、政府命令を受けた際の停止手順、顧客への通知、データ保存、復旧条件を盛り込む必要が出てくる。
公開型のAIモデルには別の課題がある。モデルの重みが広く配布された後では、開発元が一括して停止する中央機能を持たない場合がある。停止義務を厳格に適用すれば、高度モデルの公開範囲を狭めたり、外部環境での運用へ追加条件を課したりする動きにつながる可能性がある。
一方、停止権限が強すぎれば、重大事故とは異なる政策判断や安全保障上の懸念を理由に、合法的なAIサービスまで止められる恐れがある。危険の定義、命令の期限、司法審査、異議申し立て、再稼働の条件が曖昧なままでは、企業は突然のサービス停止を事業リスクとして織り込まなければならない。
資金・規制・流動性との関係
高度AI企業はモデル開発だけでなく、データセンター、半導体、クラウド契約、外部アプリとの接続へ大規模な資金を投じている。政府命令によってモデルを停止できる制度が導入されれば、企業価値や契約履行へ与える影響も大きくなる。
モデルが停止すると、同じ基盤を利用する企業の業務、顧客対応、ソフト開発、決済、不正検知なども止まる可能性がある。緊急命令が開発企業だけに出されても、経済的な影響は多数の利用企業へ波及する。このため、停止範囲を必要最小限に限定できるかが重要になる。
法案は全面停止だけでなく、処理能力の制限や一部機能の停止も想定している。危険な自律実行機能や外部システムへの接続だけを止め、文章生成など低リスクの機能を残せるのであれば、被害防止と事業継続を両立しやすい。ただし、どの機能を分離できるかはモデル構成や提供形態によって異なる。
責任の所在も明確にする必要がある。企業が停止命令に従わず被害が拡大した場合だけでなく、政府が不十分な情報に基づいて停止を命じ、利用企業へ損害を与えた場合の補償や免責が問題になる。安全確保の制度であっても、命令権限と経済的責任を切り離すことはできない。
初心者向け補足
キルスイッチとは、危険な動作が起きた際にシステムを緊急停止させる仕組みを指す。ただし、家庭用機器の電源ボタンのように、一つの操作ですべてのAIを物理的に止める装置ではない。
実際には、モデルへのアクセスを遮断する、計算資源の割り当てを減らす、外部サービスとの通信を切る、特定機能を無効にするといった複数の措置が考えられる。どの方法が使えるかは、AIが企業のサーバーで動いているか、第三者の設備へ配布されているかによって変わる。
また、法案が提出されたことは、制度がすでに施行されたことを意味しない。今後の議会審議では、対象企業の基準、緊急事態の定義、停止命令を出す手続き、企業が争う方法などが修正される可能性がある。
Web3Timesの視点
今回の法案を、危険なAIに停止ボタンを付ける提案としてだけ読むと、制度上の核心を見落とす。中心にあるのは、民間企業が開発・運用するモデルに対し、政府がどの条件で提供権限を一時的に引き継げるかという問題である。
停止権限を持つ国土安全保障省、技術情報を持つ開発企業、計算基盤を提供するクラウド会社、モデルを業務へ組み込む利用企業は、それぞれ異なる情報を持つ。危険を最初に検知する主体と、実際にモデルを止められる主体が一致しない場合、命令系統が複雑になる。
さらに、中央管理型モデルと公開型モデルでは停止制度の実効性が異なる。企業のクラウド上にあるモデルは接続を止めやすいが、重みが複製され、複数の国や設備で動くモデルは一社の操作だけでは止めにくい。制度が中央管理型の大手企業だけを対象にすれば、管理しにくい公開モデルへ開発や利用が移る可能性もある。
今後確認すべきなのは、法案の名称や罰金額だけではない。誰が緊急事態を認定するのか、命令前にどの証拠が必要なのか、停止対象を機能単位で限定できるのか、国外や第三者環境へ配布されたモデルにどう対応するのかが重要になる。AIの安全性を左右するのは停止機能の有無ではなく、停止権限、技術的実行能力、異議申し立て、再稼働判断を一つの制度として設計できるかどうかである。
