Sim2Realギャップ

Sim2Realギャップは、シミュレーションの精度が足りないという問題ではなく、安く大量に試せる仮想空間と、本物の物理が支配する実機との「ずれ」を体系的に埋める手段がまだ確立していない問題である。

30秒要約

• 実機データの不足を補うため、シミュレーションで大量に動作を学習させるが、その動作が実機でそのままは再現しない。
• 摩擦・質量・たわみ・センサノイズ・遅延など、現実とシミュレーションの差（リアリティギャップ）が原因。
• 最初の一歩は、シミュレーションを実機に近づける／実機で微調整する手法を組み合わせ、ギャップを体系的に埋めること。

実装判断サマリー

項目	内容
いま何が問題か	シミュレーションで学んだ動作が実機で再現せず、安価な学習が実用に届かない
なぜ今か	データ不足をシミュレーションで補う流れが主流化し、ギャップが実用の壁になっている
最大の制約	摩擦・たわみ・遅延・ノイズなど現実の物理を正確に写せないこと
主なレバー	ドメインランダム化、実機での微調整、デジタルツインの精度向上
最重要KPI	シミュレーションで学んだ動作が実機で成功する割合
争点	シミュレーションをどこまで作り込むか、実機調整にどこまで頼るか

課題の定義（扱う／扱わない）

• 扱う：シミュレーションで学習した動作が実機で再現しない問題と、そのギャップを埋める手法の未確立。
• 扱わない：実機データそのものの量・収集コスト（実機データの圧倒的不足で扱う）。本カードは「仮想→実機の移し替え」に絞る。
• 似て非なる：FKテーブルやデジタルツインの座標精度の問題と関連するが、本カードは「学習した動作の物理的な再現性」に焦点を当てる。

何が起きているか（データ）

• シミュレーションは安く大量に試行できるため、強化学習・大量データ生成の舞台として広く使われている。
• しかし、摩擦・質量分布・関節のたわみ・センサノイズ・制御遅延などが現実とずれるため、仮想空間で完璧に動いた動作が実機で失敗する「リアリティギャップ」が生じる。
• これを縮めるため、シミュレーション側のパラメータをわざとばらつかせて頑健性を上げるドメインランダム化、実機データで微調整する手法、現実を精密に写すデジタルツインの構築などが研究・実践されている（手法ごとの成功率は※要出典確認）。
• 本サイトの母体プロジェクトでも、Unityのデジタルツインと実機の間で座標や姿勢のずれを実測で詰める作業が繰り返されており、この種のギャップが実装の中心的な難所であることを示している。

なぜ先送りされてきたか

• シミュレーションは見た目には動くため、ギャップが実機で試すまで顕在化しにくい。
• 現実の物理（摩擦・たわみ・個体差）を正確にモデル化するのが本質的に難しい。
• 実機で検証する手間とコストが高く、ギャップの確認が後回しになりやすい。
• 「シミュレーションで学べば実機はいらない」という期待が先行し、ギャップの体系的研究が追いついていない。

原因構造

• 技術側：現実の物理を正確に写すのが難しく、仮想と実機に必ずずれが残る。
• 運用側：実機検証のコストが高く、ギャップの発見・修正が遅れる。
• 構造側：ギャップを埋める手法が標準化されておらず、案件ごとに試行錯誤になる。
• これらが相互に強化し合い、仮想で動く→実機で失敗→原因特定に時間→学習の成果が実装に届かない、という停滞になる。

誰が、どう困るか（影響）

• ロボット・AI開発者：シミュレーションの成果が実機に移らず、開発が滞る。
• 個人開発者・中小：実機検証の体力がなく、ギャップで挫折しやすい。
• 現場・ユーザー企業：「デモでは動いたのに現場で動かない」に直面する。
• 産業全体：安価な学習手段が実用に届かず、データ不足の解決が遅れる。

放置するとどうなるか（時間軸）

• 数年：シミュレーション活用が広がる一方、実機で再現しない事例が積み重なる。
• 中期（2030年代）：ギャップを埋める手法を持つ組織と持たない組織で、実装力の差が開く。
• 長期（2040年前後）：仮想で学んだ動作を確実に実機へ移せる技術が競争力の核となり、それを持たない側は安価な学習の恩恵を受けられない。

解決の方向性

• ドメインランダム化：シミュレーションのパラメータをばらつかせ、現実のずれに頑健な動作を学ぶ。
• 実機での微調整：仮想で大枠を学び、少量の実機データで仕上げる（Sim-to-Real fine-tuning）。
• デジタルツインの精度向上：現実を精密に写し、ギャップそのものを小さくする。
• ギャップの計測・標準化：どこがどれだけずれるかを測り、埋め方を体系化する。

選択肢の比較

選択肢	効果	コスト	実現難度	主な副作用	前提・備考
ドメインランダム化	高	中	中	過度だと性能低下	頑健性の定番手法
実機での微調整	高	中	中	実機データが要る	仮想と併用が前提
デジタルツイン高精度化	中〜高	高	高	構築コストが大きい	精密な実測が要る
シミュレーションのみで完結	低	低	低	実機で再現しない	実用に届かない

主体別アクション

メーカー・シミュレーション提供者

• レバー：頑健化手法・実機適応ツール・高精度な物理モデルの提供。
• 変えるもの：見た目に動くシミュレーションから、実機に移せるシミュレーションへ。
• 制約：物理モデルの精度とコスト。
• 成果指標：仮想で学んだ動作の実機成功率。

研究者

• レバー：ギャップの計測・埋め方の体系化、頑健化・適応手法の開発。
• 変えるもの：案件ごとの試行錯誤から、再現性ある手法へ。
• 制約：現実の物理モデル化の難しさ。
• 成果指標：手法の汎用性・再現率。

個人開発者・現場

• レバー：少量実機データでの微調整、実測によるツイン補正。
• 変えるもの：仮想で止まる開発から、実機まで届く開発へ。
• 制約：実機検証の手間。
• 成果指標：デモと現場の動作一致度。

争点

• 作り込みの度合い：シミュレーションをどこまで精密にするか、実機調整にどこまで頼るか。
• 頑健性と性能：ドメインランダム化を強めると頑健だが性能が落ちる、その均衡。
• コスト配分：仮想の構築と実機の検証にどう資源を配るか。

反対論・トレードオフ

• 「結局は実機データで学ぶのが確実で、シミュレーションは遠回りだ」（最も強い反対）：ギャップに悩むより、最初から実機で学べばよいという主張。
  • 応答：実機データは収集コストが高く量が出ない（実機データの圧倒的不足）。シミュレーションで大枠を安く学び、実機の少量データで仕上げる分業は、実機オンリーより速く安い。シミュレーションは遠回りではなく、実機データ不足を補う前提手段である。
• 公平性：高精度なシミュレーション環境を持てる組織が有利になる。
• 副作用：頑健化を効かせすぎると、現実の細かなタスクで性能が落ちる。

失敗のシナリオ（プレモーテム）

• シミュレーションを作り込んだが現実とずれたまま：実機で再現せず、投資が無駄になる。
• 頑健化を効かせすぎて性能が落ちる：頑健だが使い物にならない動作になる。
• 実機検証を省いてデモで満足：現場で動かず信頼を失う。
• ギャップの原因が特定できず試行錯誤が続く：開発が停滞する。

KPI

• 結果指標：仮想で学んだ動作の実機成功率、デモと現場の一致度。
• 中間指標：ギャップ計測手法の整備、適応手法の再現性。
• 副作用指標：頑健化による性能低下の度合い。

未解決の問い

• 現実の物理（摩擦・たわみ・個体差）をどこまでモデル化すべきか。
• ドメインランダム化と性能のトレードオフをどう最適化するか。
• 最小の実機データで仮想の動作を仕上げる方法は何か。
• ギャップを事前に計測・予測する標準的な方法はあるか。

すでにある良い事例

• ドメインランダム化：シミュレーションのパラメータをばらつかせて実機への頑健性を高める、広く使われる手法。
• Real2Render2Real（UC Berkeley / Toyota Research Institute）：現実をデジタルツイン化し、仮想試行から実機へ知見を還すアプローチ。本サイトの母体プロジェクトの出発点。
• 各種ロボティクスシミュレータ：高精度な物理シミュレーション環境が整いつつあり、ギャップ縮小の土台になっている（具体名は※要出典確認）。

10年後の望ましい状態

• シミュレーションで学んだ動作が、少量の実機調整で確実に実機で動く。
• ギャップの計測・埋め方が体系化され、案件ごとの試行錯誤が減っている。
• 安価なシミュレーション学習が、実機の実用に普通に届くようになっている。

出典・関連課題・更新履歴

• 出典：ドメインランダム化に関する研究、Real2Render2Real（Yu, Fu et al., 2025）、各種ロボティクスシミュレータ（具体名・成功率は※要出典確認）。
• 関連課題：実機データの圧倒的不足 / 模倣学習のデータ品質 / 暴走・誤動作の検知と停止設計 / VLM判断の説明可能性
• 更新履歴：2026-06-12 初版（draft・定量データ未検証）