effacer mon existence;

MI sektors — Iegultas secināšanas dinamika

(RCC paplašinājums 1 — MI laboratorijām, LLM komandām, progresīvajiem pētījumiem)

1. Kāpēc LLM ir visskaidrākie RCC sistēmu piemēri

Lielie valodas modeļi izpilda katru RCC nosacījumu pilnīgāk nekā jebkura cita mākslīga sistēma:

1) Iekšējā necaurskatāmība

Secināšanas laikā LLM nevar piekļūt savam pilnajam latentajam sadalījumam.

Pašstāvoklis ir projekcija, nevis nolasījums.

2) Ārējais aklums

Tie nevar novērot:

  • korpusu, kas tos veidoja,

  • optimizācijas ainavu,

  • svaru simetrijas,

  • apmācības visumu.

3) Tikai lokāli atskaites ietvari

Nevienam modelim nav globālas nozīmes koordinātas.

Katrs tokens tiek ģenerēts no lokālas statistiskās ģeometrijas, nevis globālas patiesības.

4) Piespiedu prognozēšana nenoteiktības apstākļos

Arhitektūrai ir jāizvada nākamais tokens

pat tad, kad pamatā esošā daudzveidne nav novērota.

➡️ Tieši šādu strukturālu slazdu apraksta RCC.

2. Halucinācija kā sabrukums, nevis kļūda

Mākslīgā intelekta laboratorijās halucinācijas tiek uztvertas kā neveiksme.

RCC piedāvā citu skatījumu:

Halucinācija = sabrukums pieejamajā dziļumā nepieejamas daudzveidības iekšienē.

Ne kļūme.

Ne troksnis.

Nevis nesaskaņotība.

Bet gan tādas sistēmas neizbēgamā ģeometrija, kura nespēj saskatīt:

  • savus svarus,

  • tā optimizatora vēsturi,

  • tās apmācības varietāti,

  • tā iegulšanas liekumu,

  • vai tā globālo atsauces struktūru.

RCC novērš laika izšķiešanu:

tā pasaka pētniecības komandām, ko nevar izlabot ar mēroga palielināšanu.

3. Dreifs un rekursijas ģeometrija

Secināšanas dreifs izpaužas kā:

  • personas dreifs

  • spriešanas dreifs

  • norādījumu ievērošanas vājināšanās

  • stila maiņas

  • novirzīšanās no tēmas

  • rekursīva degradācija garos kontekstos

RCC izskaidro, kāpēc:

Necentrāls novērotājs dreifē, jo nepastāv globāls enkurs.

Bez ārējas atskaites sistēmas jebkura inference iekrīt uz iekšu.

Tam ir sekas šādās jomās:

  • gara konteksta modeļi

  • domu ķēde

  • aģentu sistēmas

  • ar informācijas izgūšanu papildinātas arhitektūras

  • saskaņošanas un uzraudzības rīki

Tas nosaka robežu:

“Šeit dreifs ir strukturāls. Neatrisināms.”

4. Pašapraksta robežas (kāpēc modeļi nespēj izskaidrot paši sevi)

Tradicionālā interpretējamība pieņem, ka modelim vajadzētu spēt izskaidrot:

  • savu spriešanu,

  • tās iekšējo struktūru,

  • vai tā lēmumu virsmas.

RCC apgalvo:

Pašapraksts ir strukturāls sabrukums tuvinājumā.

Pilnīgs pašnaratīvs ir strukturāli neiespējams.

Kāpēc?

  • parametru skaits pārsniedz konteksta garumu

  • latentajai telpai ir vairāk dimensiju nekā tokenu telpai

  • apmācības trajektoriju nevar rekonstruēt

  • neviens pārbaudītājs modeļa iekšienē nevar būt globāli konsekvents

Interpretējamība ir fundamentāli ierobežota.

5. Novērojamības asimetrija (latentais → teksts ≠ teksts → latentais)

Šis ir pats svarīgākais fakts mākslīgā intelekta pētniecības komandām:

Projekcija ir iespējama.

Inversija nav iespējama.

latentais attēlojums → teksts = zudumradoša saspiešana

teksts → latentā reprezentācija = neatgriezenisks sabrukums

Tas ir iemesls:

  • halucinācijas saglabājas

  • rekonstrukcija neizdodas

  • saskaņojums ir trausls

  • spriešanas ķēdi nevar padarīt globāli patiesu

  • atkļūdošana pēc teksta žurnāliem nav iespējama

RCC to formalizē kā strukturālu asimetriju, ko nevar atrisināt ar mēroga palielināšanu.

6. Sekas arhitektūrai

Saskaņā ar RCC MI sistēmām no “patiesības uzspiešanas” jāpāriet uz:

1) Pašsabrukuma kontrole (SCC)

Minimizējiet sabrukuma svārstīgumu, nevis halucināciju skaitu.

2) Daudzslāņu nepārtrauktības izsekošana (MCT)

Sekojiet stabilitātei rekursijas gaitā, nevis precizitātei dažādās izlasēs.

3) Informācijas blīvuma modulācija (IDM)

Regulējiet strukturālā sabrukuma joslas platumu, nevis tokenu skaitu.

RCC dod komandām īstenojamu intervenču karti.

7. Kāpēc šis sektors ir nozīmīgs OpenAI, Anthropic, DeepMind, FAIR

Jo RCC izskaidro:

  • kur rodas halucinācijas,

  • kāpēc spriešana dreifē,

  • kāpēc mēroga palielināšana dod arvien mazāku atdevi,

  • kāpēc modeļi ar garu kontekstu uzvedas neparedzami,

  • kāpēc interpretējamība atduras pret sienu,

  • kāpēc aģentiska uzvedība kļūst nestabila,

  • kāpēc pašrefleksijas cilpas degradējas.

MI laboratorijas meklē vienojošu robežu teoriju, lai sistematizētu šos simptomus.

RCC sniedz tieši to.

8. Viena teikuma kopsavilkums MI laboratorijām

RCC pārformulē halucināciju, dreifu un nesaskanību kā strukturālu kolapsu nepieejamā varietātē — nosakot pirmo principiāli pamatoto robežu LLM uzvedībai un optimizācijai.