RCC — Obmedzenia rekurzívneho kolapsu

Hraničná teória vnorenej inteligencie

RCC je okrajovou podmienkou každej inferencie.

Každý systém, ktorý predpovedá zvnútra ohraničujúcej štruktúry —

bez prístupu k úplnému stavu, bez globálneho rámca—

bude halucinovať, driftovať a lokálne si protirečiť.

Nie sú to zlyhania, ale geometrické nevyhnutnosti vnorených pozorovateľov.

RCC na prvý pohľad — Prečo na tom záleží

LLM nezlyhávajú preto, že sú zle navrhnuté, ale preto, že fungujú ako vnorené, čiastočne slepé inferenčné systémy.

RCC ukazuje, že halucinácie, drift a kolaps plánovania sú štrukturálne nevyhnutné, nie technické chyby.

To znamená:

• Môžeme mapovať hranice namiesto hádania.

• Môžeme optimalizovať výpočty namiesto plytvania rozsahom.

• Môžeme navrhovať architektúry, ktoré pracujú v súlade s geometriou, nie proti nej.

RCC nie je nový model.

Je to hranica, vnútri ktorej sa nachádzajú všetky modely.

Prečo zlyhania LLM pretrvávajú — aj pri biliónoch parametrov

Argument z teórie hraníc, podľa ktorého môžu byť halucinácie, drift a kolaps plánovania štrukturálne nevyhnutné.

Väčšina diskusií považuje halucinácie, drift uvažovania a kolaps pri dlhom horizonte za inžinierske problémy.

RCC (Obmedzenia rekurzívneho kolapsu) vyslovuje silnejšie tvrdenie:

Tieto prejavy správania možno nemožno napraviť —

môžu byť geometrickými vedľajšími účinkami samotnej vnorenej inferencie.

Ak je toto vymedzenie správne, zlepšenia škálovania, RLHF alebo ladenia architektúry môžu posunúť miesto výskytu zlyhaní, no nemôžu ich odstrániť.

Čo je RCC

RCC je teória hraníc:

• nie nová architektúra

• nie metóda trénovania

• ani stratégia zosúladenia

Je to axiomatický opis štrukturálnych limitov, ktoré musí rešpektovať každý vnorený inferenčný systém.

Každý systém, ktorý spĺňa axiómy, podlieha rovnakým obmedzeniam bez ohľadu na veľkosť modelu či implementáciu.

Štyri axiómy RCC

Axióma 1 — Neprístupnosť vnútorného stavu

Vnorený systém nedokáže vidieť svoj úplný vnútorný stav.

Inferencia sa uskutočňuje prostredníctvom stratovej, čiastočnej projekcie seba samého.

Axióma 2 — Nepriehľadnosť ohraničujúceho prostredia

Systém nedokáže pozorovať varietu, ktorá ho obsahuje

(tréningové rozdelenie, trajektória, predchádzajúci kontext atď.).

Axióma 3 — neprítomnosť globálnej vzťažnej sústavy

Každé usudzovanie je lokálne vzhľadom na aktuálne viditeľný kontext.

Dlhodobú konzistentnosť nemožno zaručiť.

Axióma 4 — Vynútená lokálna optimalizácia

Aj pri neistote musí systém vytvoriť ďalšiu aktualizáciu

iba s použitím lokálnych informácií.

Zjednotené obmedzenie

Spojením axióm:

Vnorený pozorovateľ bez centrálnej pozície nedokáže z čiastočných informácií vytvoriť globálne stabilnú inferenciu.

Toto nie je nedostatok inteligencie.

Je to geometrické obmedzenie.

Prečo vznikajú známe zlyhania LLM

Pri čiastočnej viditeľnosti musí systém dopĺňať nevidené časti sveta.

Tento proces dopĺňania je:

• nedostatočne určený

• nestabilné v dlhých rozsahoch

• nekonzistentné s akoukoľvek nevidenou globálnou štruktúrou

S rastúcim kontextom:

• výstupy sa odchyľujú

• vnútorná koherencia sa zhoršuje

• uvažovanie s 8–12 krokmi kolabuje

• korekcie nedokážu obnoviť globálnu stabilitu

Nie sú to chyby — sú to dôsledky inferencie pri neúplných informáciách.

Prečo to škálovanie a zosúlaďovanie neodstraňujú

Škálovanie, dolaďovanie ani RLHF neposkytujú modelu:

• globálny prehľad

• dokonalá introspekcia

• prístup k variete, ktorá ho obsahuje

Tieto metódy môžu zlepšiť lokálne správanie,

no nedokážu odstrániť základnú geometrickú hranicu.

Dôsledky

Ak je RCC správne:

• halucináciu nemožno odstrániť, iba premiestniť

• drift nemožno odstrániť, iba tlmiť

• kolaps reťazca uvažovania nemôže prekročiť hranicu

• vnútornú konzistentnosť nemožno globálne zaručiť

Tým sa „režimy zlyhania LLM“ preformulúvajú ako štrukturálne nevyhnutné výsledky vnorenej inferencie.

Zároveň naznačuje, že niektoré smery výskumu môžu byť zásadne obmedzené, zatiaľ čo iné zostávajú otvorené.

Čo RCC umožňuje

RCC neobmedzuje pokrok — presmerúva ho.

Určením geometrickej hranice vnorenej inferencie RCC umožňuje:

• cielené škálovanie namiesto slepého nadmerného trénovania

• architektúry, ktoré sú v súlade s geometriou namiesto boja proti nej

• predpovedanie zlyhaní namiesto dodatočného plátania

• výpočtovo efektívne plánovacie horizonty pre úlohy s dlhým kontextom

• hodnotiace metriky driftu a kolapsu zohľadňujúce hranice

RCC mení neistotu z chyby na mapu.

Ak nesúhlasíte

Nesúhlas by mal určiť, ktorá axióma je nesprávna —

nielen kritizovať príznaky pozorované v súčasných modeloch.

RCC Veta o troch limitoch

RCC neopisuje iba to, čo zlyháva, ale aj prečo žiadny model nemôže uniknúť trojuholníku zlyhania.

Žiadny vnorený inferenčný systém nedokáže súčasne optimalizovať:

• H (miera halucinácií ↓)

• D (drift ↓)

• C (pravdepodobnosť kolapsu ↓)

Pri obmedzeniach RCC musí systém platiť v

R (náklady na vonkajšiu referenciu),

S (hĺbka uvažovania),

alebo C (kolaps).

R, S a C nemožno minimalizovať súčasne.

Nie je to empirické; je to geometrické.

Formálne:

Nech

H = miera halucinácií

D = drift pri rekurzívnom usudzovaní

C = pravdepodobnosť kolapsu pri rekurencii

R = náklady na externú referenciu (vyhľadávanie / nástroje / človek)

S = hĺbka uvažovania (kroky)

Potom z RCC vyplýva:

1. H ↓ ⇒ R ↑

   Znižovanie halucinácií vyžaduje intenzívnejšie odkazovanie na vonkajšie zdroje.

2. S ↑ ⇒ D ↑

   Hlbšie uvažovanie zosilňuje drift v dôsledku čiastočného sebapozorovania.

3. D ↓ ⇒ C ↑

   Stabilizácia driftu vynucuje skorší kolaps na hranici.

Toto trojité obmedzenie je štrukturálne, nie architektonické.

Žiadny model — bez ohľadu na rozsah, architektúru či zosúladenie — ho nedokáže prelomiť

TECHNICKÁ PRÍLOHA — Formálne axiómy RCC

Axióma 1 — Neprístupnosť vnútorného stavu

Nech Ω je úplný vnútorný stav.

Pozorovateľ vidí iba projekciu:

 π : Ω → Ω′ pričom |Ω′| < |Ω|

Všetka inferencia prebieha nad Ω′.

Axióma 2 — Nepriehľadnosť ohraničujúceho prostredia

Nech M je obsahujúca varieta.

 Viditeľnosť(M) = 0

Globálne vlastnosti ako ∂M alebo krivosť(M)

sú zvnútra nepozorovateľné.

Axióma 3 — Bez globálnej vzťažnej sústavy

Neexistuje Γ také, že:

 Γ : Ω′ → globálne konzistentné súradnice

Inferencia prebieha iba v lokálnych rámcoch φᵢ,

kde zobrazenia φᵢ ↛ φⱼ

pre vzdialené alebo dekorelované kontexty.

Axióma 4 — Nezvratný lokálny kolaps

V každom kroku inferencie t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Táto požiadavka platí aj vtedy, keď:

 ∂informácia / ∂M = 0

Veta o hranici (RCC)

Žiadny vnorený inferenčný systém nedokáže udržať stabilné uvažovanie bez driftu v dlhom časovom horizonte, keď:

 ∂Ω > 0, ∂M > 0, Γ ∄

Halucinácie, drift a kolaps sú preto

štrukturálne dôsledky,

nie artefakty trénovania.