RCC — A rekurzív összeomlás korlátai

A beágyazott intelligencia határelmélete

Az RCC minden következtetés peremfeltétele.

Bármely rendszer, amely egy befoglaló rendszeren belülről végez előrejelzést—

a teljes állapothoz való hozzáférés és globális vonatkoztatási rendszer nélkül—

hallucinálni fog, sodródni, és lokálisan ellentmondani önmagának.

Ezek nem hibák, hanem a beágyazott megfigyelők geometriai szükségszerűségei.

RCC egy pillantásra — Miért számít ez

A nagy nyelvi modellek nem azért vallanak kudarcot, mert rosszul tervezték őket, hanem mert beágyazott, részlegesen vak következtetési rendszerekként működnek.

Az RCC megmutatja, hogy a hallucináció, az elsodródás és a tervezés összeomlása szerkezetileg elkerülhetetlen, nem pedig mérnöki hiba.

Ez azt jelenti:

• Találgatás helyett feltérképezhetjük a határokat.

• Optimalizálhatjuk a számítást ahelyett, hogy a méretnövelést pazarolnánk.

• Tervezhetünk olyan architektúrákat, amelyek a geometriával együtt működnek, nem ellene.

Az RCC nem új modell.

Ez az a határ, amelyen belül minden modell elhelyezkedik.

Miért maradnak fenn az LLM hibái — még ezermilliárd paraméteres léptékben is

Határelméleti érvelés amellett, hogy a hallucináció, a sodródás és a tervezés összeomlása szerkezetileg elkerülhetetlen lehet.

A legtöbb eszmecsere mérnöki problémaként kezeli a hallucinációt, a következtetési sodródást és a hosszú távon bekövetkező összeomlást.

RCC (Rekurzív összeomlási korlátok) erősebb állítást tesz:

Lehet, hogy ezek a viselkedések nem javíthatók —

magának a beágyazott következtetésnek a geometriai mellékhatásai lehetnek.

Ha ez a megközelítés helyes, a méretezés, az RLHF vagy az architektúra finomhangolásának javítása eltolhatja a hibák megjelenési helyét, de nem szüntetheti meg őket.

Mi a RCC

Az RCC határelmélet:

• nem új architektúra

• nem tanítási módszer

• nem a célokhoz igazítás stratégiája

Ez azon strukturális korlátok axiomatikus leírása, amelyeknek minden beágyazott következtetési rendszernek engedelmeskednie kell.

Minden, az axiómáknak megfelelő rendszer ugyanazokat a korlátokat örökli, a modell méretétől vagy megvalósításától függetlenül.

A négy RCC-axióma

1. axióma — A belső állapot hozzáférhetetlensége

Egy beágyazott rendszer nem láthatja teljes belső állapotát.

A következtetés veszteséges, részleges önvetítésen keresztül történik.

2. axióma — A befoglaló rendszer átláthatatlansága

A rendszer nem figyelheti meg az őt magában foglaló sokaságot

(tanítási eloszlás, pálya, előzményi kontextus stb.).

3. axióma — A globális vonatkoztatási rendszer hiánya

Minden következtetés az éppen látható kontextusra korlátozódik.

A hosszú távú konzisztencia nem garantálható.

4. axióma — Kikényszerített lokális optimalizálás

A rendszernek bizonytalanság esetén is elő kell állítania a következő frissítést

kizárólag helyi információ felhasználásával.

Egyesített korlát

Az axiómákat egyesítve:

Egy beágyazott, nem központi megfigyelő részleges információból nem alkothat globálisan stabil következtetést.

Ez nem az intelligencia hiányossága.

Ez geometriai korlát.

Miért jelentkeznek a jól ismert LLM-hibák

Részleges láthatóság mellett a rendszernek ki kell egészítenie a világ nem látott részeit.

Ez a kiegészítési folyamat:

• aluldeterminált

• hosszú távon instabil

• összeegyeztethetetlen bármely nem látható globális struktúrával

Ahogy a kontextus növekszik:

• a kimenetek elsodródnak

• a belső koherencia romlik

• a 8–12 lépéses következtetés összeomlik

• a korrekciók nem képesek helyreállítani a globális stabilitást

Ezek nem hibák — hanem a hiányos információ mellett végzett következtetés következményei.

Miért nem szünteti meg ezt a skálázás és az összehangolás

A skálázás, a finomhangolás vagy az RLHF nem ad a modellnek:

• globális láthatóság

• tökéletes introspekció

• hozzáférés az őt tartalmazó sokasághoz

Ezek a módszerek javíthatják a helyi viselkedést,

de a mögöttes geometriai határt nem távolíthatják el.

Következmények

Ha RCC helytálló:

• a hallucináció nem szüntethető meg, csak áthelyezhető

• az eltolódás nem távolítható el, csak csillapítható

• a gondolatmenet összeomlása nem lépheti túl a határt

• az önkonzisztencia globálisan nem garantálható

Ez a „LLM hibamódjait” a beágyazott következtetés szerkezetileg szükségszerű kimeneteleiként értelmezi újra.

Arra is utal, hogy egyes kutatási irányok alapvető korlátokba ütközhetnek, míg mások nyitva maradnak.

Amit az RCC lehetővé tesz

A RCC nem korlátozza a fejlődést — új irányba tereli.

A beágyazott következtetés geometriai határának azonosításával a RCC lehetővé teszi:

• célzott skálázás vak túltanítás helyett

• architektúrák, amelyek igazodnak a geometriához, ahelyett hogy küzdenének ellene

• hibák előrejelzése utólagos foltozás helyett

• számítási szempontból hatékony tervezési horizontok hosszú kontextusú feladatokhoz

• a határokat figyelembe vevő értékelési mérőszámok a sodródásra és az összeomlásra

A RCC a bizonytalanságot hibából térképpé alakítja.

Ha nem értesz egyet

Az ellenvetésnek meg kell neveznie, melyik axióma helytelen —

ne csupán a jelenlegi modellekben megfigyelt tüneteket bírálja.

RCC-hármashatár-tétel

RCC nem csupán azt írja le, mi vall kudarcot, hanem azt is, miért nem kerülheti el egyetlen modell sem a kudarctriangulumot.

Egyetlen beágyazott következtető rendszer sem optimalizálhatja egyidejűleg a következőket:

• H (hallucinációs ráta ↓)

• D (eltolódás ↓)

• C (összeomlási valószínűség ↓)

Az RCC korlátai mellett a rendszernek az alábbiakban kell megfizetnie az árat:

R (a külső referencia költsége),

S (a következtetés mélysége),

vagy C (összeomlás).

R, S és C nem minimalizálható egyszerre.

Ez nem empirikus; hanem geometriai.

Formálisan:

Legyen

H = hallucinációs ráta

D = eltolódás rekurzív következtetés során

C = a visszatérési összeomlás valószínűsége

R = a külső hivatkozás költsége (keresés / eszközök / ember)

S = a következtetés mélysége (lépések)

Ekkor RCC alapján:

1. H ↓ ⇒ R ↑

   A hallucináció csökkentéséhez fokozott külső hivatkozás szükséges.

2. S ↑ ⇒ D ↑

   A mélyebb következtetés a részleges önmegfigyelés miatt felerősíti az elsodródást.

3. D ↓ ⇒ C ↑

   A sodródás stabilizálása korábbi összeomlást kényszerít ki a határon.

Ez a hármas korlát szerkezeti, nem architekturális.

Ezt egyetlen modell sem törheti át — mérettől, architektúrától vagy értékekhez igazítástól függetlenül

TECHNIKAI FÜGGELÉK — Az RCC formális axiómái

1. axióma — A belső állapot hozzáférhetetlensége

Legyen Ω a teljes belső állapot.

A megfigyelő csak egy vetületet lát:

 π : Ω → Ω′ ahol |Ω′| < |Ω|

Minden következtetés Ω′ felett működik.

2. axióma — A befoglaló rendszer átláthatatlansága

Legyen M a befoglaló sokaság.

 Láthatóság(M) = 0

Olyan globális tulajdonságok, mint ∂M vagy curvature(M)

belülről megfigyelhetetlenek.

3. axióma — Nincs globális vonatkoztatási rendszer

Nem létezik olyan Γ, amelyre:

 Γ : Ω′ → globálisan konzisztens koordináták

Következtetés csak a lokális φᵢ vonatkoztatási rendszerekben történik,

ahol a leképezések φᵢ ↛ φⱼ

távoli vagy egymástól korrelálatlan kontextusok esetén.

4. axióma — Irreverzibilis lokális összeomlás

Minden t következtetési lépésben:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Ez a követelmény akkor is érvényes, ha:

 ∂információ / ∂M = 0

Határtétel (RCC)

Egyetlen beágyazott következtetési rendszer sem képes stabil, sodródásmentes, hosszú távú következtetést fenntartani, ha:

 ∂Ω > 0, ∂M > 0, Γ ∄

A hallucináció, az elsodródás és az összeomlás ezért

strukturális következmények,

nem a tanítás melléktermékei.