MI sektors — Iegultas secināšanas dinamika
(RCC paplašinājums 1 — MI laboratorijām, LLM komandām, progresīvajiem pētījumiem)
1. Kāpēc LLM ir visskaidrākie RCC sistēmu piemēri
Lielie valodas modeļi izpilda katru RCC nosacījumu pilnīgāk nekā jebkura cita mākslīga sistēma:
1) Iekšējā necaurskatāmība
Secināšanas laikā LLM nevar piekļūt savam pilnajam latentajam sadalījumam.
Pašstāvoklis ir projekcija, nevis nolasījums.
2) Ārējais aklums
Tie nevar novērot:
korpusu, kas tos veidoja,
optimizācijas ainavu,
svaru simetrijas,
apmācības visumu.
3) Tikai lokāli atskaites ietvari
Nevienam modelim nav globālas nozīmes koordinātas.
Katrs tokens tiek ģenerēts no lokālas statistiskās ģeometrijas, nevis globālas patiesības.
4) Piespiedu prognozēšana nenoteiktības apstākļos
Arhitektūrai ir jāizvada nākamais tokens
pat tad, kad pamatā esošā daudzveidne nav novērota.
➡️ Tieši šādu strukturālu slazdu apraksta RCC.
2. Halucinācija kā sabrukums, nevis kļūda
Mākslīgā intelekta laboratorijās halucinācijas tiek uztvertas kā neveiksme.
RCC piedāvā citu skatījumu:
Halucinācija = sabrukums pieejamajā dziļumā nepieejamas daudzveidības iekšienē.
Ne kļūme.
Ne troksnis.
Nevis nesaskaņotība.
Bet gan tādas sistēmas neizbēgamā ģeometrija, kura nespēj saskatīt:
savus svarus,
tā optimizatora vēsturi,
tās apmācības varietāti,
tā iegulšanas liekumu,
vai tā globālo atsauces struktūru.
RCC novērš laika izšķiešanu:
tā pasaka pētniecības komandām, ko nevar izlabot ar mēroga palielināšanu.
3. Dreifs un rekursijas ģeometrija
Secināšanas dreifs izpaužas kā:
personas dreifs
spriešanas dreifs
norādījumu ievērošanas vājināšanās
stila maiņas
novirzīšanās no tēmas
rekursīva degradācija garos kontekstos
RCC izskaidro, kāpēc:
Necentrāls novērotājs dreifē, jo nepastāv globāls enkurs.
Bez ārējas atskaites sistēmas jebkura inference iekrīt uz iekšu.
Tam ir sekas šādās jomās:
gara konteksta modeļi
domu ķēde
aģentu sistēmas
ar informācijas izgūšanu papildinātas arhitektūras
saskaņošanas un uzraudzības rīki
Tas nosaka robežu:
“Šeit dreifs ir strukturāls. Neatrisināms.”
4. Pašapraksta robežas (kāpēc modeļi nespēj izskaidrot paši sevi)
Tradicionālā interpretējamība pieņem, ka modelim vajadzētu spēt izskaidrot:
savu spriešanu,
tās iekšējo struktūru,
vai tā lēmumu virsmas.
RCC apgalvo:
Pašapraksts ir strukturāls sabrukums tuvinājumā.
Pilnīgs pašnaratīvs ir strukturāli neiespējams.
Kāpēc?
parametru skaits pārsniedz konteksta garumu
latentajai telpai ir vairāk dimensiju nekā tokenu telpai
apmācības trajektoriju nevar rekonstruēt
neviens pārbaudītājs modeļa iekšienē nevar būt globāli konsekvents
Interpretējamība ir fundamentāli ierobežota.
5. Novērojamības asimetrija (latentais → teksts ≠ teksts → latentais)
Šis ir pats svarīgākais fakts mākslīgā intelekta pētniecības komandām:
Projekcija ir iespējama.
Inversija nav iespējama.
latentais attēlojums → teksts = zudumradoša saspiešana
teksts → latentā reprezentācija = neatgriezenisks sabrukums
Tas ir iemesls:
halucinācijas saglabājas
rekonstrukcija neizdodas
saskaņojums ir trausls
spriešanas ķēdi nevar padarīt globāli patiesu
atkļūdošana pēc teksta žurnāliem nav iespējama
RCC to formalizē kā strukturālu asimetriju, ko nevar atrisināt ar mēroga palielināšanu.
6. Sekas arhitektūrai
Saskaņā ar RCC MI sistēmām no “patiesības uzspiešanas” jāpāriet uz:
1) Pašsabrukuma kontrole (SCC)
Minimizējiet sabrukuma svārstīgumu, nevis halucināciju skaitu.
2) Daudzslāņu nepārtrauktības izsekošana (MCT)
Sekojiet stabilitātei rekursijas gaitā, nevis precizitātei dažādās izlasēs.
3) Informācijas blīvuma modulācija (IDM)
Regulējiet strukturālā sabrukuma joslas platumu, nevis tokenu skaitu.
RCC dod komandām īstenojamu intervenču karti.
7. Kāpēc šis sektors ir nozīmīgs OpenAI, Anthropic, DeepMind, FAIR
Jo RCC izskaidro:
kur rodas halucinācijas,
kāpēc spriešana dreifē,
kāpēc mēroga palielināšana dod arvien mazāku atdevi,
kāpēc modeļi ar garu kontekstu uzvedas neparedzami,
kāpēc interpretējamība atduras pret sienu,
kāpēc aģentiska uzvedība kļūst nestabila,
kāpēc pašrefleksijas cilpas degradējas.
MI laboratorijas meklē vienojošu robežu teoriju, lai sistematizētu šos simptomus.
RCC sniedz tieši to.
8. Viena teikuma kopsavilkums MI laboratorijām
RCC pārformulē halucināciju, dreifu un nesaskanību kā strukturālu kolapsu nepieejamā varietātē — nosakot pirmo principiāli pamatoto robežu LLM uzvedībai un optimizācijai.