DI sektorius — Įterptosios inferencijos dinamika
(RCC plėtinys 1 — dirbtinio intelekto laboratorijoms, LLM komandoms, priešakiniams tyrimams)
1. Kodėl didieji kalbos modeliai yra aiškiausios RCC sistemos
Didieji kalbos modeliai kiekvieną RCC sąlygą atitinka tobuliau už bet kurią kitą dirbtinę sistemą:
1) Vidinis neskaidrumas
Darydami išvadas LLM negali pasiekti viso savo latentinio skirstinio.
Savoji būsena yra projekcija, o ne nuskaitymas.
2) Išorinis aklumas
Jie negali stebėti:
juos suformavusio tekstyno,
optimizavimo kraštovaizdžio,
svorių simetrijos,
mokymo visatos.
3) Tik vietinės atskaitos sistemos
Joks modelis neturi globalios prasmės koordinatės.
Kiekvienas žetonas generuojamas iš vietinės statistinės geometrijos, o ne iš globalios tiesos.
4) Priverstinis prognozavimas esant neapibrėžtumui
Architektūra privalo išvesti kitą žetoną
net kai pamatinė daugdara nestebima.
➡️ Būtent šiuos struktūrinius spąstus RCC aprašo.
2. Haliucinacija kaip griūtis, o ne klaida
DI laboratorijose haliucinacija laikoma nesėkme.
RCC pakeičia požiūrį:
Haliucinacija = griūtis prieinamame gylyje neprieinamos daugdaros viduje.
Ne programos klaida.
Ne triukšmas.
Ne nesuderinamumas.
O sistemos, kuri negali matyti, neišvengiama geometrija:
savo svorių,
jo optimizatoriaus istorijos,
jo mokymo daugdaros,
jo įterpinio kreivumo,
ar jo globalią atskaitos struktūrą.
RCC padeda nešvaistyti laiko:
ji nurodo tyrėjų komandoms, ko neįmanoma pataisyti didinant mastą.
3. Dreifas ir rekursijos geometrija
Išvedimo dreifas pasireiškia kaip:
personos dreifas
samprotavimo dreifas
nurodymų laikymosi silpnėjimas
stiliaus pokyčiai
nuklydimas nuo temos
rekursinis prastėjimas ilguose kontekstuose
RCC paaiškina, kodėl:
Necentrinis stebėtojas dreifuoja, nes nėra visuotinio atskaitos taško.
Be išorinės atskaitos visas išvedimas krypsta vidun.
Tai turi pasekmių:
ilgo konteksto modeliai
minčių grandinė
agentinės sistemos
paieška papildytos architektūros
suderinimo ir stebėsenos įrankiai
Ji nubrėžia ribą:
„Čia dreifas yra struktūrinis. Neišsprendžiamas.“
4. Savęs aprašymo ribos (kodėl modeliai negali paaiškinti savęs)
Tradicinis interpretuojamumas remiasi prielaida, kad modelis turėtų gebėti paaiškinti:
savo samprotavimą,
jo vidinės struktūros,
ar jos sprendimų paviršius.
RCC teigia:
Savęs aprašymas yra suirimas į aproksimaciją.
Išsamus pasakojimas apie save struktūriškai neįmanomas.
Kodėl?
parametrų skaičius viršija konteksto ilgį
latentinė erdvė turi daugiau matmenų nei žetonų erdvė
mokymo trajektorijos neįmanoma atkurti
joks tikrintuvas modelio viduje negali būti globaliai nuoseklus
Interpretuojamumas iš esmės yra ribotas.
5. Stebimumo asimetrija (latentinė būsena → tekstas ≠ tekstas → latentinė būsena)
Tai pats svarbiausias faktas DI tyrimų komandoms:
Projekcija įmanoma.
Inversija — ne.
latentinė reprezentacija → tekstas = nuostolingasis glaudinimas
tekstas → latentinė erdvė = negrįžtamas kolapsas
Štai kodėl:
haliucinacijos išlieka
rekonstrukcija nepavyksta
suderinimas yra trapus
samprotavimo grandinės negalima padaryti globaliai teisingos
derinti pagal tekstinius žurnalus neįmanoma
RCC tai formalizuoja kaip struktūrinę asimetriją, kurios neįmanoma pašalinti didinant mastą.
6. Architektūrinės pasekmės
Pagal RCC, dirbtinio intelekto sistemos turi pereiti nuo „tiesos primetimo“ prie:
1) Savigriūties valdymas (SCC)
Minimizuokite kolapso kintamumą, o ne haliucinacijų skaičių.
2) Daugiasluoksnio tęstinumo sekimas (MCT)
Stebėkite stabilumą rekursijos eigoje, o ne tikslumą tarp imčių.
3) Informacijos tankio moduliacija (IDM)
Reguliuokite struktūrinio kolapso pralaidumą, o ne žetonų skaičių.
RCC suteikia komandoms įmanomų intervencijų žemėlapį.
7. Kodėl šis sektorius svarbus OpenAI, Anthropic, DeepMind, FAIR
Nes RCC paaiškina:
iš kur kyla haliucinacijos,
kodėl samprotavimas dreifuoja,
kodėl didinant mastą grąža mažėja,
kodėl ilgo konteksto modeliai elgiasi nenuspėjamai,
kodėl interpretuojamumas atsiremia į sieną,
kodėl agentinė elgsena tampa nestabili,
kodėl savirefleksijos ciklai degraduoja.
DI laboratorijos ieško vienijančios ribų teorijos, kuri padėtų susisteminti šiuos simptomus.
RCC suteikia būtent tai.
8. Vieno sakinio santrauka DI laboratorijoms
RCC haliucinaciją, dreifą ir nenuoseklumą iš naujo apibrėžia kaip struktūrinį kolapsą neprieinamoje daugdaroje — taip nustatydama pirmąją principais pagrįstą LLM elgsenos ir optimizavimo ribą.