RCC — Ograničenja rekurzivnog kolapsa

Granična teorija ugrađene inteligencije

RCC je rubni uvjet svakog zaključivanja.

Svaki sustav koji predviđa iz unutrašnjosti spremnika—

bez pristupa cjelokupnom stanju, bez globalnog okvira—

halucinirat će, pomicati se i lokalno proturječiti samome sebi.

To nisu neuspjesi, nego geometrijske nužnosti ugrađenih promatrača.

RCC na prvi pogled — Zašto je to važno

Veliki jezični modeli ne zakazuju zato što su loše projektirani, nego zato što djeluju kao ugrađeni, djelomično slijepi sustavi zaključivanja.

RCC pokazuje da su halucinacije, otklon i kolaps planiranja strukturno neizbježni, a ne inženjerske pogreške.

To znači:

• Možemo mapirati granice umjesto nagađanja.

• Možemo optimizirati računalnu obradu umjesto rasipanja na povećavanje razmjera.

• Možemo osmisliti arhitekture koje djeluju u skladu s geometrijom, a ne protiv nje.

RCC nije nov model.

To je granica unutar koje se nalaze svi modeli.

Zašto pogreške LLM-ova opstaju — čak i na razini bilijuna parametara

Argument teorije granica da halucinacije, odstupanje i kolaps planiranja mogu biti strukturno neizbježni.

Većina rasprava tretira halucinacije, otklon zaključivanja i kolaps na dugim horizontima kao inženjerske probleme.

RCC (ograničenja rekurzivnog kolapsa) iznosi snažniju tvrdnju:

Ta se ponašanja možda ne mogu ispraviti —

možda su geometrijske nuspojave samog ugrađenog zaključivanja.

Ako je ovo tumačenje točno, poboljšanja u skaliranju, RLHF-u ili podešavanju arhitekture mogu pomaknuti mjesta na kojima se pojavljuju pogreške, ali ih ne mogu ukloniti.

Što je RCC

RCC je teorija granica:

• nije nova arhitektura

• nije metoda treniranja

• nije strategija usklađivanja

To je aksiomatski opis strukturnih ograničenja kojima se svaki ugrađeni sustav zaključivanja mora pokoravati.

Svaki sustav koji zadovoljava aksiome nasljeđuje ista ograničenja, neovisno o veličini modela ili implementaciji.

Četiri aksioma RCC-a

Aksiom 1 — Nedostupnost unutarnjeg stanja

Ugrađeni sustav ne može vidjeti svoje potpuno unutarnje stanje.

Zaključivanje se odvija kroz djelomičnu samoprojekciju s gubitkom informacija.

Aksiom 2 — Neprozirnost spremnika

Sustav ne može promatrati mnogostrukost koja ga sadrži

(distribuciju podataka za treniranje, putanju, prethodni kontekst itd.).

Aksiom 3 — Odsutnost globalnog referentnog okvira

Svako zaključivanje lokalno je u odnosu na trenutačno vidljiv kontekst.

Dosljednost na velikim rasponima ne može se jamčiti.

Aksiom 4 — Prisilna lokalna optimizacija

Čak i u neizvjesnosti sustav mora proizvesti sljedeće ažuriranje

koristeći samo lokalne informacije.

Objedinjeno ograničenje

Objedinjujući aksiome:

Ugrađeni promatrač koji nije u središtu ne može iz djelomičnih informacija izgraditi globalno stabilno zaključivanje.

To nije manjak inteligencije.

To je geometrijsko ograničenje.

Zašto nastaju poznati kvarovi LLM-ova

Pri djelomičnoj vidljivosti sustav mora dopunjavati nevidljive dijelove svijeta.

Taj je proces dopunjavanja:

• nedovoljno određen

• nestabilno na velikim rasponima

• nedosljedno u odnosu na bilo koju nevidljivu globalnu strukturu

Kako kontekst raste:

• izlazi odstupaju

• unutarnja koherentnost slabi

• zaključivanje u 8–12 koraka kolabira

• ispravci ne uspijevaju obnoviti globalnu stabilnost

To nisu pogreške — to su posljedice zaključivanja uz nepotpune informacije.

Zašto skaliranje i usklađivanje to ne uklanjaju

Povećavanje razmjera, fino podešavanje ili RLHF modelu ne daju:

• globalna vidljivost

• savršena introspekcija

• pristup mnogostrukosti koja ga sadrži

Te metode mogu poboljšati lokalno ponašanje,

ali ne mogu ukloniti temeljnu geometrijsku granicu.

Implikacije

Ako je RCC točan:

• halucinacija se ne može ukloniti, samo premjestiti

• pomak se ne može ukloniti, samo prigušiti

• kolaps lanca zaključivanja ne može prijeći granicu

• samodosljednost se ne može globalno zajamčiti

Time se „oblici otkaza LLM-a” preoblikuju u strukturno nužne ishode ugrađenog zaključivanja.

To također upućuje na to da neki istraživački smjerovi mogu biti temeljno ograničeni, dok drugi ostaju otvoreni.

Što RCC omogućuje

RCC ne ograničava napredak — preusmjerava ga.

Prepoznavanjem geometrijske granice ugrađenog zaključivanja, RCC omogućuje:

• ciljano skaliranje umjesto slijepog prekomjernog treniranja

• arhitekture usklađene s geometrijom umjesto da joj se opiru

• predviđanje otkaza umjesto naknadnog krpanja

• računalno učinkoviti horizonti planiranja za zadatke s dugim kontekstom

• evaluacijske metrike za drift i kolaps koje uzimaju u obzir granice

RCC pretvara neizvjesnost iz pogreške u kartu.

Ako se ne slažete

Neslaganje bi trebalo utvrditi koji je aksiom netočan —

a ne samo kritizirati simptome opažene u sadašnjim modelima.

RCC teorem o trima ograničenjima

RCC ne opisuje samo što zakazuje, nego i zašto nijedan model ne može izbjeći trokut neuspjeha.

Nijedan ugrađeni sustav zaključivanja ne može istodobno optimizirati:

• H (stopa halucinacija ↓)

• D (otklon ↓)

• C (vjerojatnost kolapsa ↓)

Pod ograničenjima RCC-a, sustav mora platiti kroz

R (trošak vanjske reference),

S (dubina rezoniranja),

ili C (kolaps).

R, S i C ne mogu se istodobno minimizirati.

To nije empirijsko; to je geometrijsko.

Formalno:

Neka je

H = stopa halucinacija

D = otklon pri rekurzivnom zaključivanju

C = vjerojatnost kolapsa pri ponavljanju

R = trošak vanjske reference (pretraživanje / alati / čovjek)

S = dubina zaključivanja (koraci)

Tada RCC implicira:

1. H ↓ ⇒ R ↑

   Smanjenje halucinacija zahtijeva više oslanjanja na vanjske reference.

2. S ↑ ⇒ D ↑

   Dublje zaključivanje pojačava odstupanje zbog djelomičnog samopromatranja.

3. D ↓ ⇒ C ↑

   Stabiliziranje odstupanja prisiljava na raniji kolaps na granici.

To trostruko ograničenje strukturno je, a ne arhitekturno.

Nijedan model—bez obzira na veličinu, arhitekturu ili usklađenost—ne može ga probiti

TEHNIČKI DODATAK — Formalni aksiomi RCC

Aksiom 1 — Nedostupnost unutarnjeg stanja

Neka Ω bude potpuno unutarnje stanje.

Promatrač vidi samo projekciju:

 π : Ω → Ω′ uz |Ω′| < |Ω|

Sve zaključivanje odvija se nad Ω′.

Aksiom 2 — Neprozirnost spremnika

Neka M bude obuhvatna mnogostrukost.

 Vidljivost(M) = 0

Globalna svojstva poput ∂M ili curvature(M)

nisu opažljiva iznutra.

Aksiom 3 — Nema globalnog referentnog okvira

Ne postoji Γ takav da:

 Γ : Ω′ → globalno dosljedne koordinate

Inferencija se odvija samo u lokalnim okvirima φᵢ,

gdje preslikavanja φᵢ ↛ φⱼ

za udaljene ili dekorelirane kontekste.

Aksiom 4 — Ireverzibilni lokalni kolaps

U svakom koraku zaključivanja t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Ovaj zahtjev vrijedi čak i kada:

 ∂informacija / ∂M = 0

Teorem granice (RCC)

Nijedan ugrađeni sustav zaključivanja ne može održati stabilno dugoročno rezoniranje bez pomaka kada:

 ∂Ω > 0, ∂M > 0, Γ ∄

Halucinacija, pomak i kolaps stoga su

strukturne posljedice,

a ne artefakti uvježbavanja.