RCC — Rekursiivse kokkuvarisemise piirangud

Sisestatud intelligentsuse piiriteooria

RCC on igasuguse järeldamise piirtingimus.

Iga süsteem, mis ennustab mahuti seest—

ilma täieliku ligipääsuta olekule, ilma globaalse taustsüsteemita —

hallutsineerib, triivib ja satub lokaalselt iseendaga vastuollu.

Need pole läbikukkumised, vaid põimitud vaatlejate geomeetrilised paratamatused.

RCC ühe pilguga — miks see on oluline

Suured keelemudelid ei ebaõnnestu halva disaini tõttu, vaid seetõttu, et need toimivad süsteemi sisse paigutunud, osaliselt pimedate järeldamissüsteemidena.

RCC näitab, et hallutsinatsioon, triiv ja planeerimise kollaps on struktuurselt vältimatud, mitte tehnilised vead.

See tähendab:

• Me saame oletamise asemel piire kaardistada.

• Saame optimeerida arvutusressurssi, selle asemel et seda pelga mahu kasvatamisele raisata.

• Saame kavandada arhitektuure, mis toimivad geomeetriaga kooskõlas, mitte selle vastu.

RCC ei ole uus mudel.

See on piir, mille sees asuvad kõik mudelid.

Miks LLM-i tõrked püsivad — isegi triljoni parameetri skaalal

Piiriteoreetiline argument, et hallutsinatsioon, triiv ja planeerimise kokkuvarisemine võivad olla struktuurselt vältimatud.

Enamik käsitlusi peab hallutsinatsiooni, järeldamistriivi ja pika ajahorisondi kokkuvarisemist insenertehnilisteks probleemideks.

RCC (rekursiivse kollapsi piirangud) esitab tugevama väite:

Need käitumismustrid ei pruugi olla parandatavad —

need võivad olla süsteemisisese järeldamise enda geomeetrilised kõrvalmõjud.

Kui see käsitlus on õige, võivad mastaapimise, RLHF-i või arhitektuuri häälestamise täiustused muuta tõrgete ilmnemiskohta, kuid ei saa neid kõrvaldada.

Mis on RCC

RCC on piiriteooria:

• mitte uus arhitektuur

• ei ole treeningmeetod

• mitte eesmärkidega kooskõlla viimise strateegia

See on aksiomaatiline kirjeldus struktuursetest piiridest, millele iga süsteemi sees paiknev järeldussüsteem peab alluma.

Iga aksioomidele vastav süsteem allub samadele piirangutele, olenemata mudeli suurusest või teostusest.

RCC neli aksioomi

Aksioom 1 — Siseseisundi ligipääsmatus

Sisesüsteem ei saa näha oma täielikku siseseisundit.

Järeldamine toimub kadudega, osalise eneseprojektsiooni kaudu.

Aksioom 2 — Konteineri läbipaistmatus

Süsteem ei saa vaadelda muutkonda, mis teda sisaldab

(treeningjaotus, trajektoor, eelnev kontekst jne).

Aksioom 3 — globaalse taustsüsteemi puudumine

Igasugune järeldamine piirdub parajasti nähtava kontekstiga.

Pika ulatusega kooskõla ei saa tagada.

Aksioom 4 — Sunnitud lokaalne optimeerimine

Ka ebakindluse korral peab süsteem looma järgmise uuenduse

kasutades üksnes kohalikku teavet.

Ühtne piirang

Aksioome kokku võttes:

Süsteemi sisemusse paigutunud, mittekeskne vaatleja ei saa osalise teabe põhjal luua globaalselt stabiilset järeldamist.

See pole intelligentsuse puudujääk.

See on geomeetriline piirang.

Miks tekivad tuttavad LLM-ide tõrked

Osalise nähtavuse korral peab süsteem täiendama maailma nähtamatuid osi.

See täiendamisprotsess on:

• alamääratud

• pikkadel vahemaadel ebastabiilne

• vastuolus mis tahes nähtamatu globaalse struktuuriga

Konteksti kasvades:

• väljundid triivivad

• sisemine sidusus halveneb

• 8–12-sammuline arutlus variseb kokku

• parandused ei suuda globaalset stabiilsust taastada

Need ei ole vead — need on puuduliku teabe alusel järeldamise tagajärjed.

Miks mahu kasvatamine ja joondamine seda ei kõrvalda

Mastaabi suurendamine, peenhäälestus ega RLHF ei anna mudelile:

• globaalne nähtavus

• täiuslik enesevaatlus

• ligipääs seda sisaldavale muutkonnale

Need meetodid võivad parandada lokaalset käitumist,

kuid need ei saa kõrvaldada aluseks olevat geomeetrilist piiri.

Järeldused

Kui RCC peab paika:

• hallutsinatsiooni ei saa kõrvaldada, ainult ümber paigutada

• triivi ei saa kõrvaldada, ainult summutada

• mõtteahela kollaps ei saa piiri ületada

• enesekooskõla ei saa globaalselt tagada

See käsitleb „LLM tõrkeviise” uuesti kui sisalduva järeldamise struktuurselt vajalikke tulemusi.

Samuti viitab see sellele, et mõned uurimissuunad võivad olla põhimõtteliselt piiratud, samal ajal kui teised jäävad avatuks.

Mida RCC võimaldab

RCC ei piira arengut — see suunab selle ümber.

Tuvastades süsteemisisese järeldamise geomeetrilise piiri, võimaldab RCC:

• sihipärane skaleerimine pimeda ületreenimise asemel

• arhitektuurid, mis on geomeetriaga kooskõlas, selle vastu võitlemise asemel

• tõrgete ennustamine tagantjärele paikamise asemel

• arvutusressursse säästvad planeerimishorisondid pika kontekstiga ülesannetele

• piire arvestavad hindamismõõdikud triivi ja kollapsi jaoks

RCC muudab ebakindluse veast kaardiks.

Kui sa pole nõus

Eriarvamuse korral tuleks osutada, milline aksioom on väär —

mitte pelgalt kritiseerima praegustes mudelites täheldatud sümptomeid.

RCC kolme piiri teoreem

RCC ei kirjelda üksnes seda, mis ebaõnnestub, vaid ka seda, miks ükski mudel ei saa pääseda ebaõnnestumiste kolmnurgast.

Ükski sisestatud järeldussüsteem ei saa üheaegselt optimeerida järgmist:

• H (hallutsinatsioonimäär ↓)

• D (triiv ↓)

• C (kollapsi tõenäosus ↓)

RCC piirangute all peab süsteem maksma

R (välise võrdlusaluse kulu),

S (arutlussügavuse),

või C (kollaps).

R-i, S-i ja C-d ei saa korraga minimeerida.

See ei ole empiiriline; see on geomeetriline.

Formaalselt:

Olgu

H = hallutsinatsioonide määr

D = triiv rekursiivse arutlemise käigus

C = korduvuskollapsi tõenäosus

R = välise viite kulu (otsing / tööriistad / inimene)

S = arutlussügavus (sammudes)

Siis järeldub RCC-st:

1. H ↓ ⇒ R ↑

   Hallutsinatsioonide vähendamine nõuab suuremat tuginemist välistele allikatele.

2. S ↑ ⇒ D ↑

   Sügavam arutlus võimendab triivi osalise enesevaatluse tõttu.

3. D ↓ ⇒ C ↑

   Triivi stabiliseerimine sunnib piiril esile varasema kokkuvarisemise.

See kolmikpiirang on struktuurne, mitte arhitektuuriline.

Ükski mudel — olenemata mastaabist, arhitektuurist või joondatusest — ei saa seda murda

TEHNILINE LISA — RCC formaalsed aksioomid

Aksioom 1 — Siseseisundi ligipääsmatus

Olgu Ω täielik sisemine olek.

Vaatleja näeb ainult projektsiooni:

 π : Ω → Ω′ kus |Ω′| < |Ω|

Kogu järeldamine toimub üle Ω′.

Aksioom 2 — Konteineri läbipaistmatus

Olgu M sisaldav muutkond.

 Nähtavus(M) = 0

Globaalsed omadused nagu ∂M või curvature(M)

pole seestpoolt vaadeldavad.

Aksioom 3 — globaalne taustsüsteem puudub

Ei leidu sellist Γ, et:

 Γ : Ω′ → globaalselt kooskõlalised koordinaadid

Järeldamine toimub ainult kohalikes taustsüsteemides φᵢ,

kus kujutused φᵢ ↛ φⱼ

kaugete või dekorreleeritud kontekstide korral.

Aksioom 4 — Pöördumatu lokaalne kollaps

Igal järeldussammul t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

See nõue kehtib isegi siis, kui:

 ∂informatsioon / ∂M = 0

Piiriteoreem (RCC)

Ükski sisestatud järeldussüsteem ei saa säilitada stabiilset, triivita pika ajahorisondi arutlust, kui:

 ∂Ω > 0, ∂M > 0, Γ ∄

Hallutsinatsioonid, triiv ja kokkuvarisemine on seega

struktuursed tagajärjed,

mitte treeningu artefaktid.