RCC — 再帰的崩壊制約
埋め込まれた知性の境界理論
RCCは、あらゆる推論の境界条件である。
容器の内側から予測する、あらゆるシステム——
完全な状態へのアクセスも、大域的な参照枠もなく—
ハルシネーションを起こし、ドリフトし、局所的に自己矛盾する。
これらは失敗ではなく、埋め込まれた観測者にとって幾何学的に必然の帰結である。
RCCをひと目で — なぜこれが重要なのか
LLMが失敗するのは、設計が拙いからではなく、埋め込まれ、部分的にしか見えない推論システムとして作動するからである。
RCCは、ハルシネーション、ドリフト、計画の崩壊が、工学上のバグではなく、構造的に不可避であることを示す。
これは次を意味する。
推測する代わりに、境界を地図にできる。
規模を無駄にする代わりに、計算を最適化できる。
幾何に逆らうのではなく、幾何とともに働くアーキテクチャを設計できる。
RCCは新しいモデルではない。
それは、すべてのモデルを内側に収める境界だ。
LLMの失敗はなぜ続くのか — 兆単位のパラメータ規模においてさえ
幻覚、ドリフト、計画の崩壊は構造的に避けられない可能性があるとする、境界理論からの論証。
議論の多くは、ハルシネーション、推論ドリフト、長期にわたる崩壊を工学的な問題として扱っている。
RCC(再帰的崩壊制約)は、さらに強い主張をする。
これらの振る舞いは修正できないかもしれない—
それらは、埋め込まれた推論そのものの幾何学的な副作用かもしれない。
この捉え方が正しければ、スケーリング、RLHF、あるいはアーキテクチャの調整による改善は、失敗が現れる場所を変えることはできても、失敗そのものをなくすことはできない。
RCCとは何か
RCCは境界の理論である:
新しいアーキテクチャではない
訓練手法ではない
アラインメント戦略ではない
これは、埋め込まれたあらゆる推論システムが従わなければならない構造的限界を、公理的に記述したものである。
公理を満たすあらゆるシステムは、モデルの規模や実装にかかわらず、同じ制約を継承する。
RCCの四公理
公理1 — 内部状態へのアクセス不可能性
埋め込まれたシステムは、自らの内部状態の全体を見ることができない。
推論は、情報損失を伴う部分的な自己射影を通して行われる。
公理2 — 容器の不透明性
システムは、自らを包含する多様体を観測できない
(訓練分布、軌道、上流の文脈など)。
公理3 — 大域的な参照フレームの不在
あらゆる推論は、現在見えている文脈に局所的に限定される。
長距離にわたる一貫性は保証できない。
公理4 — 強制される局所最適化
不確実な状況でも、システムは次の更新を生成しなければならない
局所的な情報だけを使って。
統一制約
公理をまとめると:
システムに埋め込まれ、中心にいない観測者は、部分的な情報から大域的に安定した推論を構築できない。
これは知性の不足ではない。
それは幾何学的な限界である。
なぜ、よく知られたLLMの失敗が生じるのか
部分的にしか見えない状況では、システムは世界の見えない部分を補完しなければならない。
その補完過程は、次のようなものである。
一意に定まらない
長い範囲にわたると不安定になる
見えていないどの大域的構造とも整合しない
文脈が長くなるにつれて、
出力がドリフトする
内部の整合性が劣化する
8–12段階の推論が崩壊する
修正しても大域的安定性は回復しない
これらはバグではない — 不完全な情報のもとで推論することの帰結である。
なぜスケーリングとアラインメントでは、これを取り除けないのか
スケーリング、ファインチューニング、RLHFは、モデルに次のものを与えない:
大域的な可視性
完全な内省
自らを包含する多様体へのアクセス
これらの手法は局所的な振る舞いを改善できるが、
だが、その根底にある幾何学的境界を取り除くことはできない。
含意
RCCが正しければ:
ハルシネーションは除去できず、場所を移すことしかできない
ドリフトは取り除けず、減衰させることしかできない
思考連鎖の崩壊は境界を越えられない
自己整合性は大域的には保証できない
これにより「LLMの失敗様式」は、埋め込まれた推論の構造的に必然な帰結として捉え直される。
また、研究の方向性の中には根本的な制約を受けるものがある一方、依然として開かれているものもあることを示唆する。
RCCが可能にすること
RCCは進歩を制限するのではなく、その方向を変える。
埋め込まれた推論の幾何学的境界を特定することで、RCCは次を可能にする:
闇雲な過剰訓練に代わる、狙いを定めたスケーリング
幾何学に逆らわず、それに沿うアーキテクチャ
事後的な修正に代わる失敗予測
長文脈タスクにおける計算効率のよい計画範囲
ドリフトと崩壊に対する、境界を考慮した評価指標
RCCは、不確実性をバグから地図へと変える。
異論があるなら
異論があるなら、どの公理が誤っているのかを特定すべきだ —
現在のモデルに観測される症状を批判するだけでなく。
RCC三重限界定理
RCCは何が失敗するかだけでなく、なぜどのモデルも失敗の三角形から逃れられないのかを記述する。
埋め込まれた推論システムは、次を同時に最適化することができない:
H(ハルシネーション率 ↓)
D(ドリフト ↓)
C(崩壊確率 ↓)
RCCの制約下では、システムは次のいずれかで代償を払わなければならない
R(外部参照コスト)、
S(推論の深さ)、
あるいはC(崩壊)。
R、S、Cを同時に最小化することはできない。
これは経験的なものではない。幾何学的なものである。
形式的には:
次のように定める
H = ハルシネーション率
D = 再帰的推論におけるドリフト
C = 再帰的崩壊の確率
R = 外部参照コスト(検索/ツール/人間)
S = 推論の深さ(ステップ数)
するとRCCから次が導かれる。
H ↓ ⇒ R ↑
幻覚を減らすには、外部参照を増やす必要がある。
S ↑ ⇒ D ↑
自己観測が部分的であるため、推論を深めるほどドリフトが増幅する。
D ↓ ⇒ C ↑
ドリフトを安定化すると、境界での崩壊がより早く強制される。
この三重の限界は構造的なものであり、アーキテクチャに由来するものではない。
規模、アーキテクチャ、アラインメントにかかわらず、いかなるモデルもそれを破れない
技術付録 — RCCの形式公理
公理1 — 内部状態へのアクセス不可能性
Ωを内部状態の全体とする。
観測者が見るのは射影だけである:
π : Ω → Ω′ ただし |Ω′| < |Ω|
すべての推論はΩ′上で行われる。
公理2 — 容器の不透明性
包含する多様体をMとする。
可視性(M) = 0
∂Mやcurvature(M)などの大域的性質
内部からは観測できない。
公理3 — 大域的な参照系は存在しない
次を満たすΓは存在しない:
Γ : Ω′ → 大域的に整合する座標
推論は局所フレームφᵢの中でのみ行われる。
そこでは写像φᵢ ↛ φⱼ
遠く離れた、または相関を失った文脈では。
公理4 — 不可逆な局所崩壊
各推論ステップtにおいて:
x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))
この要件は、次の場合にも成り立つ。
∂情報 / ∂M = 0
境界定理(RCC)
次の条件下では、埋め込まれたいかなる推論システムも、安定しドリフトしない長期的推論を維持できない:
∂Ω > 0, ∂M > 0, Γ ∄
したがって、ハルシネーション、ドリフト、崩壊は
構造的帰結であり、
学習による副産物ではない。