暴走・誤動作の検知と停止設計

暴走・誤動作の検知と停止設計は、止める機能がないという問題ではなく、何を異常とみなし、どう安全に止めるかという「停止の思想」が共有されず、各社バラバラに作られている設計の問題である。

30秒要約

• ロボットが異常な動きをしたとき、それを検知して安全に止める設計が要るが、その標準が確立していない。
• 「何を異常とするか」「どう止めれば安全か」の思想が各社バラバラで、共存環境では特に危険。
• 最初の一歩は、異常検知と安全停止の設計思想を標準化し、共存前提の停止設計を共有すること。

実装判断サマリー

項目	内容
いま何が問題か	異常検知と安全停止の設計標準がなく、各社バラバラ
なぜ今か	共存環境が広がる今、止め方の不統一が事故リスクに直結する
最大の制約	「何を異常とし、どう止めれば安全か」の思想の不共有
主なレバー	停止設計の標準化、異常検知、共存前提のフェイルセーフ
最重要KPI	異常時に安全に停止できる割合、停止起因の二次被害の少なさ
争点	止めることの安全と、止めることの危険（急停止の二次被害）の均衡

課題の定義（扱う／扱わない）

• 扱う：ロボットの異常・暴走を検知し、安全に停止する設計の標準・思想の不在。
• 扱わない：安全基準全体の制度（人とロボットの共存安全基準）、事故後の責任（事故時の責任分界）。本カードは「停止の技術設計と思想」に絞る。
• 似て非なる：共存安全基準（別カード）は制度・規格の問題、本カードは異常検知・停止という技術設計とその思想の問題。

何が起きているか（データ）

• ロボットには非常停止機構が備わるが、「何を異常とみなすか」「どのタイミングで・どう止めれば安全か」の設計思想は各社・各機種でバラバラ。
• 単に動力を切る急停止は、保持していた物を落とす・人にぶつかる・アームが倒れるなど、止め方によっては二次被害を生む。
• 国際規格（ISO 10218、ISO/TS 15066）は安全停止の要求を含むが、具体的な異常検知・停止の設計は実装に委ねられる部分が大きい（規格の詳細は※要出典確認）。
• 本サイトの母体プロジェクトでも、自律パイプラインでの脱力（release_all_servos）を恒久禁止とし、停止・保持の設計を安全側に倒すなど、「どう止めるか」が実装の中心的な安全設計になっている。

なぜ先送りされてきたか

• 「止める機能はある」ことで安全とみなされ、止め方の質まで問われてこなかった。
• 隔離前提では、止めれば人は安全だったため、二次被害の考慮が薄かった。
• 異常検知（何を異常とするか）は用途依存で、標準化が難しい。
• 停止設計の思想を共有する場・枠組みがなかった。

原因構造

• 設計側：異常検知・停止の思想が各社バラバラで、共通の作法がない。
• 規格側：規格は要求を示すが、具体的な停止設計の標準までは踏み込まない。
• 共存側：人と同じ空間では、急停止の二次被害まで考えた停止が要るが、その設計が未成熟。
• これらが相互に強化し合い、止め方がバラバラ→共存環境で予測できない→事故リスクが残る、という循環になる。

誰が、どう困るか（影響）

• 現場の人：ロボットがどう止まるか予測できず、共存環境で危険にさらされる。
• メーカー：停止設計の指針がなく、安全をどう作り込むか手探りになる。
• SIer・運用者：機種ごとに止め方が違い、現場での安全運用が難しい。
• 社会全体：止め方が信頼できないと、共存環境でのロボット利用が進まない。

放置するとどうなるか（時間軸）

• 数年：止め方がバラバラのまま、共存環境で予測不能な停止挙動が事故を生む。
• 中期（2030年代）：停止設計を標準化した領域と各社バラバラの領域で、安全性に差が出る。
• 長期（2040年前後）：共存前提の停止設計が確立した社会と、そうでない社会で、共存の安全性が分かれる。

解決の方向性

• 停止設計の標準化：異常検知・停止の設計思想と作法を標準化する。
• 共存前提のフェイルセーフ：急停止の二次被害まで考えた、人と共存する環境での安全な止め方。
• 異常検知の共通化：何を異常とみなすかの考え方を、用途を超えて共有する。
• 保持・退避の設計：単に止めるだけでなく、安全に保持・退避する停止挙動。

選択肢の比較

選択肢	効果	コスト	実現難度	主な副作用	前提・備考
停止設計の標準化	高	中	中〜高	用途依存が残る	思想の共有が核
共存前提フェイルセーフ	高	中〜高	高	設計の複雑化	二次被害を防ぐ
異常検知の共通化	中〜高	中	中〜高	用途ごとの調整	検知の前提
動力遮断のみの急停止	低〜中	低	低	二次被害の懸念	最低限

主体別アクション

メーカー

• レバー：異常検知・安全停止・保持退避の設計、共存前提のフェイルセーフ。
• 変えるもの：動力を切るだけの停止から、安全に止まる設計へ。
• 制約：安全と性能・コストの両立。
• 成果指標：異常時に安全停止できる割合、二次被害の少なさ。

標準化団体

• レバー：停止設計の思想・作法の標準化、異常検知の共通指針。
• 変えるもの：各社バラバラから、共有された停止設計へ。
• 制約：用途多様性、合意形成。
• 成果指標：標準の整備・採用状況。

SIer・ユーザー企業

• レバー：現場に応じた停止条件の設定、運用での安全確認。
• 変えるもの：機種任せの停止から、現場で検証された停止へ。
• 制約：知見・検証体制。
• 成果指標：現場での停止挙動の予測可能性。

争点

• 止める安全と危険：急停止の安全と、急停止が生む二次被害の均衡。
• 標準化の範囲：用途依存の異常検知をどこまで標準化できるか。
• 保持か脱力か：異常時にアームを保持するか脱力させるか（用途で異なる）。

反対論・トレードオフ

• 「異常を検知したら即座に全部止めるのが最も安全。凝った停止設計は不要」（最も強い反対）：単純に動力を切るのが確実で、複雑な停止設計はかえってリスクという主張。
  • 応答：隔離環境なら即時遮断で十分だが、人と共存する環境では「止め方」が二次被害を左右する。重い物を保持中に脱力すれば落下し、アームが人の側で倒れれば危険。即時遮断という単純さが、共存環境では新たな危険を生む。複雑にするのではなく、状況に応じて安全に止める思想が要る。
• 公平性：高度な停止設計を実装できる大手と、最低限に留まる中小で安全性に差。
• 副作用：停止条件を過敏にすると、頻繁に止まって実用性が下がる。

失敗のシナリオ（プレモーテム）

• 止め方がバラバラのまま共存が進む：予測不能な停止で事故が起きる。
• 急停止の二次被害を考慮しない：止めた結果、物の落下や転倒で被害が出る。
• 異常検知が過敏で頻繁に止まる：実用性が損なわれる。
• 標準がなく現場が混乱する：機種ごとの違いで安全運用ができない。

KPI

• 結果指標：異常時に安全に停止できる割合、停止起因の二次被害の少なさ。
• 中間指標：停止設計標準の整備、共存前提フェイルセーフの普及。
• 副作用指標：過敏な停止による稼働中断の頻度。

未解決の問い

• 「何を異常とみなすか」を用途を超えてどこまで標準化できるか。
• 共存環境での二次被害を防ぐ停止設計をどう作るか。
• 異常時にアームを保持すべきか脱力させるべきか、用途別の指針は。
• 停止の過敏さと実用性のトレードオフをどう設計するか。

すでにある良い事例

• ISO 10218 / ISO/TS 15066 の安全停止要求：安全停止の機能要求を定める国際規格。
• 協働ロボットの接触検知・停止：人との接触を検知して止まる設計が普及しつつある。
• Pixels to Motors の停止・保持設計：自律パイプラインでの脱力を禁止し、安全側に倒した停止・保持を設計に組み込む実践。

10年後の望ましい状態

• 異常検知と安全停止の設計思想が標準化され、機種を超えて予測できる。
• 共存環境で、急停止の二次被害まで考えた安全な止め方が普及している。
• どのロボットも「安全に止まる」ことが信頼できる前提になっている。

出典・関連課題・更新履歴

• 出典：ISO 10218、ISO/TS 15066（安全停止要求の詳細は※要出典確認）、Pixels to Motors の停止・保持設計方針。
• 関連課題：人とロボットの共存安全基準 / 事故時の責任分界 / Sim2Realギャップ / 物理を持つAIのセキュリティ / 経年劣化・メンテ不足による事故
• 更新履歴：2026-06-12 初版（draft・定量データ未検証）