RCC — Omezení rekurzivního kolapsu

Teorie hranic vnořené inteligence

RCC je okrajovou podmínkou veškeré inference.

Každý systém, který předpovídá zevnitř kontejneru—

bez přístupu k úplnému stavu, bez globálního rámce —

bude halucinovat, podléhat driftu a lokálně si odporovat.

Nejde o selhání, ale o geometrické nutnosti vnořených pozorovatelů.

RCC v kostce — Proč na tom záleží

LLM neselhávají proto, že jsou špatně navržené, ale proto, že fungují jako vnořené, částečně slepé inferenční systémy.

RCC ukazuje, že halucinace, drift a kolaps plánování jsou strukturálně nevyhnutelné, nejsou to technické chyby.

To znamená:

• Můžeme mapovat hranice místo hádání.

• Můžeme optimalizovat výpočty místo plýtvání rozsahem.

• Můžeme navrhovat architektury, které fungují v souladu s geometrií, nikoli proti ní.

RCC není nový model.

Je to hranice, uvnitř níž se nacházejí všechny modely.

Proč selhání LLM přetrvávají — i při bilionech parametrů

Argument teorie hranic, podle něhož mohou být halucinace, drift a kolaps plánování strukturálně nevyhnutelné.

Většina diskusí pojímá halucinace, drift usuzování a kolaps v dlouhém horizontu jako inženýrské problémy.

RCC (omezení rekurzivního kolapsu) přichází se silnějším tvrzením:

Tyto projevy chování možná nelze napravit —

mohou být geometrickými vedlejšími účinky samotné vnořené inference.

Je-li toto pojetí správné, zlepšení ve škálování, RLHF nebo ladění architektury mohou posouvat místa, kde se selhání objevují, ale nemohou je odstranit.

Co je RCC

RCC je teorií hranic:

• nikoli nová architektura

• není metodou trénování

• není strategií sladění

Je to axiomatický popis strukturních mezí, jimž musí podléhat každý vnořený inferenční systém.

Každý systém, který splňuje axiomy, podléhá stejným omezením bez ohledu na velikost modelu či implementaci.

Čtyři axiomy RCC

Axiom 1 — Nepřístupnost vnitřního stavu

Vnořený systém nemůže vidět svůj úplný vnitřní stav.

Inference probíhá prostřednictvím ztrátové, částečné sebeprojekce.

Axiom 2 — Neprůhlednost kontejneru

Systém nemůže pozorovat varietu, která jej obsahuje

(trénovací rozdělení, trajektorii, předcházející kontext atd.).

Axiom 3 — absence globální vztažné soustavy

Veškeré usuzování je lokální vzhledem k právě viditelnému kontextu.

Konzistenci na dlouhých úsecích nelze zaručit.

Axiom 4 — Vynucená lokální optimalizace

I za nejistoty musí systém vytvořit následující aktualizaci

pouze s využitím lokálních informací.

Sjednocené omezení

Spojením axiomů:

Vnořený, necentrální pozorovatel nemůže z dílčích informací vytvořit globálně stabilní inferenci.

To není nedostatek inteligence.

Je to geometrické omezení.

Proč vznikají známá selhání LLM

Při částečné viditelnosti musí systém doplňovat neviděné části světa.

Tento proces doplňování je:

• nedostatečně určený

• nestabilní v dlouhých rozsazích

• neslučitelné s jakoukoli neviděnou globální strukturou

S růstem kontextu:

• výstupy se odchylují

• vnitřní koherence se zhoršuje

• uvažování o 8–12 krocích kolabuje

• korekce nedokážou obnovit globální stabilitu

Nejde o chyby — jsou to důsledky inference za neúplných informací.

Proč to škálování a sladění neodstraňují

Škálování, jemné doladění ani RLHF modelu neposkytují:

• globální viditelnost

• dokonalá introspekce

• přístup k varietě, která jej obsahuje

Tyto metody mohou zlepšit lokální chování,

ale nemohou odstranit základní geometrickou hranici.

Důsledky

Pokud je RCC správné:

• halucinace nelze odstranit, pouze přesunout

• drift nelze odstranit, pouze tlumit

• kolaps řetězce uvažování nemůže překročit hranici

• vnitřní konzistenci nelze globálně zaručit

Tím se „způsoby selhání LLM“ nově vykládají jako strukturálně nezbytné důsledky vnořené inference.

Naznačuje také, že některé směry výzkumu mohou být zásadně omezené, zatímco jiné zůstávají otevřené.

Co RCC umožňuje

RCC neomezuje pokrok — přesměrovává ho.

Tím, že určuje geometrickou hranici vnořené inference, RCC umožňuje:

• cílené škálování namísto slepého přetrénovávání

• architektury, které jsou v souladu s geometrií, místo aby s ní bojovaly

• předpovídání selhání namísto dodatečného záplatování

• výpočetně úsporné horizonty plánování pro úlohy s dlouhým kontextem

• evaluační metriky driftu a kolapsu zohledňující hranice

RCC mění nejistotu z chyby v mapu.

Pokud nesouhlasíte

Nesouhlas by měl určit, který axiom je nesprávný —

ne jen kritizovat příznaky pozorované u současných modelů.

RCC Věta o trojím omezení

RCC nepopisuje jen to, co selhává, ale také proč žádný model nemůže uniknout trojúhelníku selhání.

Žádný vnořený inferenční systém nemůže současně optimalizovat:

• H (míra halucinací ↓)

• D (drift ↓)

• C (pravděpodobnost kolapsu ↓)

Za omezení RCC musí systém platit v podobě

R (náklady na vnější referenci),

S (hloubka uvažování),

nebo C (kolaps).

R, S a C nelze minimalizovat současně.

To není empirické; je to geometrické.

Formálně:

Nechť

H = míra halucinací

D = drift při rekurzivním uvažování

C = pravděpodobnost kolapsu při rekurenci

R = náklady na vnější referenci (vyhledávání / nástroje / člověk)

S = hloubka usuzování (kroky)

Pak z RCC plyne:

1. H ↓ ⇒ R ↑

   Omezení halucinací vyžaduje větší využívání vnějších referencí.

2. S ↑ ⇒ D ↑

   Hlubší usuzování zesiluje drift kvůli částečnému sebepozorování.

3. D ↓ ⇒ C ↑

   Stabilizace driftu vynucuje dřívější kolaps na hranici.

Toto trojí omezení je strukturní, nikoli architektonické.

Žádný model — bez ohledu na měřítko, architekturu či sladění — ji nemůže prolomit

TECHNICKÁ PŘÍLOHA — Formální axiomy RCC

Axiom 1 — Nepřístupnost vnitřního stavu

Nechť Ω je úplný vnitřní stav.

Pozorovatel vidí pouze projekci:

 π : Ω → Ω′ kde |Ω′| < |Ω|

Veškerá inference probíhá nad Ω′.

Axiom 2 — Neprůhlednost kontejneru

Nechť M je varieta, která jej obsahuje.

 Viditelnost(M) = 0

Globální vlastnosti jako ∂M nebo křivost(M)

jsou zevnitř nepozorovatelné.

Axiom 3 — Žádná globální vztažná soustava

Neexistuje žádné Γ takové, že:

 Γ : Ω′ → globálně konzistentní souřadnice

Inference probíhá pouze v lokálních soustavách φᵢ,

kde zobrazení φᵢ ↛ φⱼ

pro vzdálené nebo dekorelované kontexty.

Axiom 4 — Nevratný lokální kolaps

V každém kroku inference t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Tento požadavek platí i tehdy, když:

 ∂informace / ∂M = 0

Věta o hranici (RCC)

Žádný vnořený inferenční systém nedokáže udržet stabilní uvažování bez driftu v dlouhém časovém horizontu, když:

 ∂Ω > 0, ∂M > 0, Γ ∄

Halucinace, drift a kolaps jsou tedy

strukturální důsledky,

nikoli artefakty trénování.