RCC — Rekursiivisen romahduksen rajoitteet

Upotetun älykkyyden rajateoria

RCC on kaiken päättelyn reunaehto.

Jokainen järjestelmä, joka ennustaa säiliön sisältä—

ilman pääsyä koko tilaan, ilman globaalia viitekehystä—

hallusinoi, ajautuu ja on paikallisesti ristiriidassa itsensä kanssa.

Nämä eivät ole epäonnistumisia vaan sisään upotettujen havaitsijoiden geometrisia välttämättömyyksiä.

RCC yhdellä silmäyksellä — Miksi tällä on merkitystä

LLM-mallit eivät epäonnistu huonon suunnittelun vuoksi vaan siksi, että ne toimivat upotettuina, osittain sokeina päättelyjärjestelminä.

RCC osoittaa, että hallusinaatio, ajautuminen ja suunnittelun romahdus ovat rakenteellisesti väistämättömiä eivätkä teknisiä vikoja.

Tämä tarkoittaa:

• Voimme kartoittaa rajoja arvailun sijaan.

• Voimme optimoida laskentaa sen sijaan, että tuhlaamme resursseja skaalaamiseen.

• Voimme suunnitella arkkitehtuureja, jotka toimivat yhdessä geometrian kanssa, eivät sitä vastaan.

RCC ei ole uusi malli.

Se on raja, jonka sisällä kaikki mallit ovat.

Miksi LLM-mallien epäonnistumiset jatkuvat — jopa biljoonan parametrin mittakaavassa

Rajateoreettinen perustelu sille, että hallusinaatiot, ajautuminen ja suunnittelun romahdus saattavat olla rakenteellisesti väistämättömiä.

Useimmissa keskusteluissa hallusinaatioita, päättelyn ajautumista ja pitkän aikavälin romahdusta käsitellään teknisinä ongelmina.

RCC (rekursiivisen romahduksen rajoitteet) esittää vahvemman väitteen:

Näitä käyttäytymismuotoja ei ehkä voi korjata —

ne voivat olla itse sisältyneen päättelyn geometrisia sivuvaikutuksia.

Jos tämä jäsennys on oikea, skaalauksen, RLHF:n tai arkkitehtuurin hienosäädön parannukset voivat siirtää epäonnistumisten ilmenemiskohtaa, mutta eivät poistaa niitä.

Mikä RCC on

RCC on rajateoria:

• ei uusi arkkitehtuuri

• ei koulutusmenetelmä

• ei tavoitteiden yhteensovittamisen strategia

Se on aksiomaattinen kuvaus rakenteellisista rajoista, joita minkä tahansa järjestelmään sisältyvän päättelyjärjestelmän on noudatettava.

Jokainen aksioomat täyttävä järjestelmä perii samat rajoitteet mallin koosta tai toteutuksesta riippumatta.

RCC:n neljä aksioomaa

Aksiooma 1 — Sisäisen tilan saavuttamattomuus

Sisältynyt järjestelmä ei voi nähdä koko sisäistä tilaansa.

Päättely tapahtuu häviöllisen, osittaisen itseprojektion kautta.

Aksiooma 2 — Säiliön läpinäkymättömyys

Järjestelmä ei voi havaita monistoa, johon se sisältyy

(koulutusjakaumaa, kehitysrataa, edeltävää kontekstia jne.).

Aksiooma 3 — Globaalin viitekehyksen puuttuminen

Kaikki päättely on paikallista suhteessa kulloinkin näkyvään kontekstiin.

Pitkän kantaman johdonmukaisuutta ei voida taata.

Aksiooma 4 — Pakotettu paikallinen optimointi

Epävarmuudessakin järjestelmän on tuotettava seuraava päivitys

käyttäen vain paikallista tietoa.

Yhdistetty rajoite

Kun aksioomat yhdistetään:

Järjestelmän sisään sijoittunut, ei-keskinen havaitsija ei voi rakentaa globaalisti vakaata päättelyä osittaisesta tiedosta.

Kyse ei ole älykkyyden puutteesta.

Se on geometrinen rajoitus.

Miksi LLM-mallien tutut häiriöt ilmenevät

Kun näkyvyys on osittainen, järjestelmän on täydennettävä maailman näkymättömät osat.

Tuo täydentämisprosessi on:

• alimääräytynyt

• epävakaa pitkillä etäisyyksillä

• ristiriidassa minkä tahansa näkymättömän globaalin rakenteen kanssa

Kontekstin kasvaessa:

• tulosteet ajautuvat

• sisäinen koherenssi heikkenee

• 8–12 askeleen päättely romahtaa

• korjaukset eivät onnistu palauttamaan globaalia vakautta

Nämä eivät ole ohjelmavirheitä — ne ovat seurauksia päättelystä puutteellisen tiedon varassa.

Miksi skaalaaminen ja tavoitteiden yhdenmukaistaminen eivät poista tätä

Skaalaaminen, hienosäätö tai RLHF eivät anna mallille:

• globaali näkyvyys

• täydellinen introspektio

• pääsy sitä sisältävään monistoon

Nämä menetelmät voivat parantaa paikallista käyttäytymistä,

mutta ne eivät voi poistaa taustalla olevaa geometrista rajaa.

Seuraukset

Jos RCC on oikeassa:

• hallusinaatiota ei voi poistaa, ainoastaan siirtää

• ajautumista ei voi poistaa, vain vaimentaa

• ajatusketjun romahdus ei voi ylittää rajaa

• sisäistä johdonmukaisuutta ei voida taata globaalisti

Tämä tulkitsee ”LLM:n vikaantumismuodot” uudelleen sisäpuolelta tapahtuvan päättelyn rakenteellisesti välttämättömiksi tuloksiksi.

Se viittaa myös siihen, että jotkin tutkimussuunnat saattavat olla perustavasti rajoitettuja, kun taas toiset pysyvät avoimina.

Mitä RCC mahdollistaa

RCC ei rajoita edistystä — se suuntaa sen uudelleen.

Tunnistamalla ympäristöönsä sisältyvän päättelyn geometrisen rajan RCC mahdollistaa:

• kohdennettu skaalaus sokean ylikoulutuksen sijaan

• arkkitehtuureja, jotka mukautuvat geometriaan sen vastustamisen sijaan

• virheiden ennustaminen jälkikäteisen paikkailun sijaan

• laskentatehokkaat suunnitteluhorisontit pitkän kontekstin tehtäviin

• rajat huomioivat arviointimittarit ajautumiselle ja romahdukselle

RCC muuttaa epävarmuuden virheestä kartaksi.

Jos olet eri mieltä

Eriävän näkemyksen tulisi osoittaa, mikä aksiooma on virheellinen —

eikä vain arvostella nykyisissä malleissa havaittuja oireita.

RCC:n kolmen rajan lause

RCC kuvaa paitsi sen, mikä epäonnistuu, myös sen, miksi mikään malli ei voi paeta epäonnistumiskolmiota.

Yksikään järjestelmään upotettu päättelyjärjestelmä ei voi samanaikaisesti optimoida seuraavia:

• H (hallusinaatioiden osuus ↓)

• D (ajautuminen ↓)

• C (romahduksen todennäköisyys ↓)

RCC-rajoitteiden alaisena järjestelmän on maksettava muodossa

R (ulkoisen viitteen kustannus),

S (päättelyn syvyys),

tai C (romahdus).

R:ää, S:ää ja C:tä ei voida minimoida samanaikaisesti.

Tämä ei ole empiiristä; tämä on geometrista.

Muodollisesti:

Olkoon

H = hallusinaatioiden esiintymistiheys

D = ajautuminen rekursiivisessa päättelyssä

C = toistuvuuden romahduksen todennäköisyys

R = ulkoiseen viitteeseen turvautumisen kustannus (haku / työkalut / ihminen)

S = päättelyn syvyys (askelina)

Tällöin RCC:stä seuraa:

1. H ↓ ⇒ R ↑

   Hallusinoinnin vähentäminen edellyttää enemmän tukeutumista ulkoisiin viitteisiin.

2. S ↑ ⇒ D ↑

   Syvempi päättely voimistaa ajautumista osittaisen itsehavainnoinnin vuoksi.

3. D ↓ ⇒ C ↑

   Ajautumisen vakauttaminen pakottaa romahduksen tapahtumaan rajalla aiemmin.

Tämä kolmoisraja on rakenteellinen, ei arkkitehtoninen.

Yksikään malli — koosta, arkkitehtuurista tai tavoitteiden yhteensovituksesta riippumatta — ei voi rikkoa sitä

TEKNINEN LIITE — RCC:n formaalit aksioomat

Aksiooma 1 — Sisäisen tilan saavuttamattomuus

Olkoon Ω koko sisäinen tila.

Havaitsija näkee vain projektion:

 π : Ω → Ω′ siten, että |Ω′| < |Ω|

Kaikki päättely kohdistuu Ω′:een.

Aksiooma 2 — Säiliön läpinäkymättömyys

Olkoon M sisältävä monisto.

 Näkyvyys(M) = 0

Globaalit ominaisuudet, kuten ∂M tai curvature(M)

eivät ole havaittavissa sisältä käsin.

Aksiooma 3 — Ei globaalia viitekehystä

Ei ole olemassa sellaista Γ:aa, että:

 Γ : Ω′ → globaalisti johdonmukaiset koordinaatit

Päättelyä tapahtuu vain paikallisissa koordinaatistoissa φᵢ,

missä kuvaukset φᵢ ↛ φⱼ

etäisissä tai korreloimattomissa konteksteissa.

Aksiooma 4 — Palautumaton paikallinen romahdus

Jokaisessa päättelyaskeleessa t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Tämä vaatimus pätee silloinkin, kun:

 ∂informaatio / ∂M = 0

Rajalause (RCC)

Mikään upotettu päättelyjärjestelmä ei voi ylläpitää vakaata, ajautumatonta pitkän aikajänteen päättelyä, kun:

 ∂Ω > 0, ∂M > 0, Γ ∄

Hallusinaatiot, ajautuminen ja romahdus ovat siis

rakenteellisia seurauksia,

eivät koulutuksen artefakteja.