RCC — Rekursīvā kolapsa ierobežojumi

Iegultā intelekta robežteorija

RCC ir visas secināšanas robežnosacījums.

Jebkura sistēma, kas prognozē no ietvara iekšienes—

bez pilnīgas piekļuves stāvoklim, bez globālas atskaites sistēmas—

halucinēs, dreifēs un lokāli nonāks pretrunā pati ar sevi.

Tās nav kļūmes, bet gan iegultu novērotāju ģeometriskas nepieciešamības.

RCC vienā acu uzmetienā — kāpēc tas ir svarīgi

LLM cieš neveiksmi nevis tāpēc, ka būtu slikti izstrādāti, bet tāpēc, ka darbojas kā iegultas, daļēji aklas secināšanas sistēmas.

RCC parāda, ka halucinācijas, dreifs un plānošanas sabrukums ir strukturāli neizbēgami, nevis inženiertehniskas kļūdas.

Tas nozīmē:

• Mēs varam kartēt robežas, nevis minēt.

• Mēs varam optimizēt skaitļošanu, nevis izšķiest mērogu.

• Mēs varam projektēt arhitektūras, kas darbojas saskaņā ar ģeometriju, nevis pret to.

RCC nav jauns modelis.

Tā ir robeža, kuras iekšienē atrodas visi modeļi.

Kāpēc LLM kļūmes saglabājas — pat triljonu parametru mērogā

Robežu teorijā balstīts arguments, ka halucinācijas, novirze un plānošanas sabrukums var būt strukturāli neizbēgami.

Vairumā diskusiju halucinācijas, spriešanas dreifu un sabrukumu ilgā laika horizontā uzskata par inženiertehniskām problēmām.

RCC (rekursīvā sabrukuma ierobežojumi) izvirza spēcīgāku apgalvojumu:

Šīs uzvedības izpausmes var nebūt novēršamas —

tās var būt pašas iegultās inferences ģeometriskas blaknes.

Ja šis skatījums ir pareizs, mērogošanas, RLHF vai arhitektūras pielāgošanas uzlabojumi var mainīt to, kur parādās kļūmes, taču nevar tās novērst.

Kas ir RCC

RCC ir robežu teorija:

• ne jauna arhitektūra

• nav apmācības metode

• nav saskaņošanas stratēģija

Tas ir aksiomātisks strukturālo ierobežojumu apraksts, kuriem jāpakļaujas jebkurai iegultai secināšanas sistēmai.

Jebkura sistēma, kas atbilst aksiomām, pārmanto tos pašus ierobežojumus neatkarīgi no modeļa lieluma vai īstenojuma.

Četras RCC aksiomas

Aksioma 1 — Iekšējā stāvokļa nepieejamība

Iegulta sistēma nevar redzēt savu pilno iekšējo stāvokli.

Secināšana notiek ar daļēju pašprojekciju, kurā zūd informācija.

Aksioma 2 — Ietvara necaurredzamība

Sistēma nevar novērot daudzveidni, kas to ietver

(apmācības sadalījumu, trajektoriju, iepriekšējo kontekstu utt.).

Aksioma 3 — globāla atskaites ietvara neesamība

Jebkura inference ir lokāla pašlaik redzamajam kontekstam.

Ilgtermiņa konsekvenci nevar garantēt.

Aksioma 4 — Piespiedu lokālā optimizācija

Pat nenoteiktībā sistēmai jārada nākamais atjauninājums

izmantojot tikai lokālu informāciju.

Vienotais ierobežojums

Apvienojot aksiomas:

Iegults, necentrāls novērotājs nevar no daļējas informācijas izveidot globāli stabilu secināšanu.

Tas nav intelekta trūkums.

Tas ir ģeometrisks ierobežojums.

Kāpēc rodas pazīstamās LLM atteices

Daļējas redzamības apstākļos sistēmai jāaizpilda pasaules neredzamās daļas.

Šis papildināšanas process ir:

• nepietiekami noteikts

• nestabils lielos attālumos

• nesaderīgs ar jebkuru neredzamu globālu struktūru

Kontekstam augot:

• izvades novirzās

• iekšējā koherence pasliktinās

• 8–12 soļu spriešana sabrūk

• korekcijas nespēj atjaunot globālo stabilitāti

Tās nav kļūdas — tās ir secināšanas sekas nepilnīgas informācijas apstākļos.

Kāpēc mēroga palielināšana un saskaņošana to nenovērš

Mēroga palielināšana, precīzā pielāgošana vai RLHF nesniedz modelim:

• globāla pārredzamība

• pilnīga introspekcija

• piekļuve to ietverošajai varietātei

Šīs metodes var uzlabot lokālo uzvedību,

taču tās nevar novērst pamatā esošo ģeometrisko robežu.

Izrietošās sekas

Ja RCC ir pareizs:

• halucināciju nevar novērst, tikai pārvietot

• dreifu nevar novērst, tikai slāpēt

• domu ķēdes sabrukums nevar pārsniegt robežu

• iekšējo saskaņotību nevar garantēt globāli

Tas pārformulē “LLM atteices veidus” kā strukturāli nepieciešamus iegultas inferences iznākumus.

Tas arī liek domāt, ka daži pētniecības virzieni var būt fundamentāli ierobežoti, kamēr citi paliek atvērti.

Ko ļauj RCC

RCC neierobežo progresu — tas maina tā virzienu.

Identificējot iegultās secināšanas ģeometrisko robežu, RCC ļauj:

• mērķtiecīga mērogošana aklas pārapmācības vietā

• arhitektūras, kas saskan ar ģeometriju, nevis cīnās pret to

• kļūmju prognozēšana, nevis lāpīšana pēc fakta

• skaitļošanas ziņā efektīvi plānošanas horizonti gara konteksta uzdevumiem

• novērtēšanas rādītāji dreifam un sabrukumam, kas ņem vērā robežas

RCC pārvērš nenoteiktību no kļūdas par karti.

Ja nepiekrīti

Nepiekrītot jānorāda, kura aksioma ir kļūdaina —

nevis tikai kritizēt pašreizējos modeļos novērotos simptomus.

RCC trīs robežu teorēma

RCC apraksta ne vien to, kas neizdodas, bet arī kāpēc neviens modelis nevar izbēgt no neveiksmju trijstūra.

Neviena iegulta inferenču sistēma nevar vienlaikus optimizēt:

• H (halucināciju biežums ↓)

• D (dreifs ↓)

• C (sabrukuma varbūtība ↓)

RCC ierobežojumu apstākļos sistēmai jāmaksā ar

R (ārējās atsauces izmaksām),

S (spriešanas dziļumu),

vai C (sabrukumu).

R, S un C nevar vienlaikus minimizēt.

Tas nav empīriski; tas ir ģeometriski.

Formāli:

Pieņemsim, ka

H = halucināciju biežums

D = dreifs rekursīvas spriešanas gaitā

C = atkārtošanās sabrukuma varbūtība

R = ārējās atsauces izmaksas (meklēšana / rīki / cilvēks)

S = spriešanas dziļums (soļi)

Tad no RCC izriet:

1. H ↓ ⇒ R ↑

   Halucināciju mazināšanai nepieciešama plašāka ārējo atsauču izmantošana.

2. S ↑ ⇒ D ↑

   Dziļāka spriešana pastiprina dreifu daļējas pašnovērošanas dēļ.

3. D ↓ ⇒ C ↑

   Novirzes stabilizēšana piespiež sabrukumu pie robežas iestāties agrāk.

Šis trīskāršais ierobežojums ir strukturāls, nevis arhitektonisks.

Neviens modelis—neatkarīgi no mēroga, arhitektūras vai saskaņojuma—nevar to pārvarēt

TEHNISKAIS PIELIKUMS — RCC formālās aksiomas

Aksioma 1 — Iekšējā stāvokļa nepieejamība

Lai Ω ir pilnais iekšējais stāvoklis.

Novērotājs redz tikai projekciju:

 π : Ω → Ω′ kur |Ω′| < |Ω|

Visa secināšana darbojas ar Ω′.

Aksioma 2 — Ietvara necaurredzamība

Lai M ir ietverošā varietāte.

 Redzamība(M) = 0

Globālas īpašības, piemēram, ∂M vai curvature(M)

nav novērojamas no iekšienes.

Aksioma 3 — Nav globālas atskaites sistēmas

Nepastāv tāds Γ, ka:

 Γ : Ω′ → globāli saskaņotas koordinātas

Secināšana notiek tikai lokālās atskaites sistēmās φᵢ,

kur attēlojumi φᵢ ↛ φⱼ

attāliem vai dekorelētiem kontekstiem.

Aksioma 4 — Neatgriezenisks lokāls sabrukums

Katrā secināšanas solī t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Šī prasība ir spēkā arī tad, kad:

 ∂informācija / ∂M = 0

Robežas teorēma (RCC)

Neviena iegulta secināšanas sistēma nevar saglabāt stabilu spriešanu ilgā laika horizontā bez dreifa, ja:

 ∂Ω > 0, ∂M > 0, Γ ∄

Tādēļ halucinācijas, dreifs un sabrukums ir

strukturālas sekas,

nevis apmācības artefakti.