RCC — Özyinelemeli Çöküş Kısıtları
Gömülü Zekânın Sınır Kuramı
RCC tüm çıkarımların sınır koşuludur.
Bir kapsayıcının içinden tahminde bulunan her sistem—
durumun tamamına erişmeden, küresel bir çerçeve olmadan—
halüsinasyon üretecek, sürüklenecek ve yerel olarak kendisiyle çelişecektir.
Bunlar başarısızlık değil, gömülü gözlemcilerin geometrik zorunluluklarıdır.
Bir Bakışta RCC — Bu Neden Önemli
Büyük dil modelleri, kötü tasarlandıkları için değil, gömülü, kısmen kör çıkarım sistemleri olarak çalıştıkları için başarısız olur.
RCC halüsinasyonun, sürüklenmenin ve planlama çöküşünün mühendislik hataları değil, yapısal olarak kaçınılmaz olduğunu gösterir.
Bu şu anlama gelir:
Tahmin etmek yerine sınırların haritasını çıkarabiliriz.
Ölçeği boşa harcamak yerine hesaplamayı optimize edebiliriz.
Geometriye karşı değil, onunla birlikte çalışan mimariler tasarlayabiliriz.
RCC yeni bir model değildir.
Tüm modellerin içinde bulunduğu sınırdır.
LLM hataları neden sürüyor — trilyon parametre ölçeğinde bile
Halüsinasyonun, sürüklenmenin ve planlama çöküşünün yapısal olarak kaçınılmaz olabileceğini savunan bir sınır kuramı argümanı.
Çoğu tartışma halüsinasyonu, akıl yürütme sürüklenmesini ve uzun ufuklu çöküşü mühendislik sorunları olarak ele alır.
RCC (Özyinelemeli Çöküş Kısıtları) daha güçlü bir iddiada bulunur:
Bu davranışlar düzeltilemeyebilir —
bunlar, gömülü çıkarımın kendisinin geometrik yan etkileri olabilir.
Bu çerçeveleme doğruysa ölçeklendirme, RLHF veya mimari ayarlamadaki iyileştirmeler hataların nerede ortaya çıktığını değiştirebilir, ancak onları ortadan kaldıramaz.
RCC nedir
RCC bir sınır kuramıdır:
yeni bir mimari değildir
bir eğitim yöntemi değil
bir hizalama stratejisi değil
Her gömülü çıkarım sisteminin uymak zorunda olduğu yapısal sınırların aksiyomatik bir betimlemesidir.
Aksiyomlara uyan her sistem, modelin boyutundan veya uygulama biçiminden bağımsız olarak aynı kısıtları devralır.
RCC'nin Dört Aksiyomu
Aksiyom 1 — İç Durumun Erişilemezliği
Gömülü bir sistem, kendi iç durumunun tamamını göremez.
Çıkarım, kayıplı ve kısmi bir öz izdüşüm aracılığıyla gerçekleştirilir.
Aksiyom 2 — Kapsayıcının Opaklığı
Sistem, kendisini içeren manifoldu gözlemleyemez
(eğitim dağılımı, yörünge, önceki aşamalardan gelen bağlam vb.).
Aksiyom 3 — Küresel Bir Referans Çerçevesinin Yokluğu
Her çıkarım, o anda görünür olan bağlamla sınırlı olarak yereldir.
Uzun erimli tutarlılık garanti edilemez.
Aksiyom 4 — Zorunlu Yerel Optimizasyon
Belirsizlik altında bile sistem bir sonraki güncellemeyi üretmek zorundadır
yalnızca yerel bilgiyi kullanarak.
Birleşik Kısıt
Aksiyomları bir araya getirirsek:
Gömülü, merkezî olmayan bir gözlemci, kısmi bilgiden küresel ölçekte kararlı çıkarım kuramaz.
Bu bir zekâ eksikliği değildir.
Bu geometrik bir sınırlamadır.
Bildiğimiz LLM başarısızlıkları neden ortaya çıkar
Kısmi görünürlük altında sistem, dünyanın görünmeyen kısımlarını tamamlamak zorundadır.
Bu tamamlama süreci:
eksik belirlenmiş
uzun mesafelerde kararsız
görülmeyen herhangi bir küresel yapıyla tutarsız
Bağlam büyüdükçe:
çıktılar sürüklenir
iç tutarlılık bozulur
8–12 adımlı akıl yürütme çöker
düzeltmeler küresel kararlılığı geri getiremez
Bunlar yazılım hataları değildir — eksik bilgi altında çıkarım yapmanın sonuçlarıdır.
Ölçekleme ve hizalama bunu neden ortadan kaldırmaz
Ölçekleme, ince ayar ya da RLHF bir modele şunları kazandırmaz:
küresel görünürlük
kusursuz içgözlem
onu içeren manifolda erişim
Bu yöntemler yerel davranışı iyileştirebilir,
ama altta yatan geometrik sınırı ortadan kaldıramazlar.
Çıkarımlar
RCC doğruysa:
halüsinasyon ortadan kaldırılamaz, yalnızca yeri değiştirilebilir
sürüklenme ortadan kaldırılamaz, yalnızca sönümlenebilir
düşünce zincirinin çöküşü sınırı aşamaz
öz tutarlılık küresel düzeyde garanti edilemez
Bu, “LLM başarısızlık biçimleri”ni gömülü çıkarımın yapısal olarak zorunlu sonuçları olarak yeniden çerçeveler.
Ayrıca bazı araştırma yönlerinin temelden kısıtlı olabileceğini, diğerlerinin ise açık kaldığını öne sürer.
RCC Neleri Mümkün Kılar
RCC ilerlemeyi sınırlamaz — ona yeniden yön verir.
RCC, gömülü çıkarımın geometrik sınırını belirleyerek şunları mümkün kılar:
körlemesine aşırı eğitim yerine hedefli ölçekleme
geometriyle mücadele etmek yerine ona uyum sağlayan mimariler
olay sonrasında yama yapmak yerine hatayı öngörmek
uzun bağlamlı görevler için hesaplama açısından verimli planlama ufukları
sürüklenme ve çöküş için sınırları gözeten değerlendirme ölçütleri
RCC belirsizliği bir hatadan bir haritaya dönüştürür.
Katılmıyorsanız
İtiraz, hangi aksiyomun yanlış olduğunu belirtmeli —
yalnızca mevcut modellerde gözlemlenen belirtileri eleştirmekle yetinmemelidir.
RCC Üçlü Sınır Teoremi
RCC yalnızca neyin başarısız olduğunu değil, hiçbir modelin başarısızlık üçgeninden neden kaçamayacağını da açıklar.
Hiçbir gömülü çıkarım sistemi şunları aynı anda eniyileyemez:
H (halüsinasyon oranı ↓)
D (sürüklenme ↓)
C (çöküş olasılığı ↓)
RCC kısıtları altında sistem bedeli şunlarla ödemek zorundadır:
R (dış referans maliyeti),
S (akıl yürütme derinliği),
ya da C (çöküş).
R, S ve C aynı anda en aza indirilemez.
Bu, ampirik değil; geometriktir.
Biçimsel olarak:
Şöyle tanımlayalım
H = halüsinasyon oranı
D = özyinelemeli akıl yürütmede sürüklenme
C = yineleme çöküşü olasılığı
R = dış referans maliyeti (arama / araçlar / insan)
S = akıl yürütme derinliği (adım)
Öyleyse RCC şunu gerektirir:
H ↓ ⇒ R ↑
Halüsinasyonu azaltmak, dış referanslara daha fazla başvurmayı gerektirir.
S ↑ ⇒ D ↑
Daha derin akıl yürütme, kısmi öz gözlem nedeniyle sürüklenmeyi artırır.
D ↓ ⇒ C ↑
Sürüklenmeyi kararlı hâle getirmek, sınırda daha erken çöküşü zorunlu kılar.
Bu üçlü sınır mimari değil, yapısaldır.
Hiçbir model—ölçeği, mimarisi veya hizalaması ne olursa olsun—bunu aşamaz
TEKNİK EK — RCC'nin Biçimsel Aksiyomları
Aksiyom 1 — İç Durumun Erişilemezliği
Ω, tam iç durum olsun.
Gözlemci yalnızca bir izdüşüm görür:
π : Ω → Ω′ öyle ki |Ω′| < |Ω|
Tüm çıkarım Ω′ üzerinde işler.
Aksiyom 2 — Kapsayıcının Opaklığı
M, kapsayan manifold olsun.
Görünürlük(M) = 0
∂M veya curvature(M) gibi küresel özellikler
içeriden gözlemlenemez.
Aksiyom 3 — Küresel Referans Çerçevesi Yoktur
Şu koşulu sağlayan hiçbir Γ yoktur:
Γ : Ω′ → küresel olarak tutarlı koordinatlar
Çıkarım yalnızca yerel φᵢ çerçevelerinde gerçekleşir,
φᵢ ↛ φⱼ eşlemelerinin bulunduğu yerde
uzak veya korelasyonsuz bağlamlar için.
Aksiyom 4 — Geri Döndürülemez Yerel Çöküş
Her t çıkarım adımında:
x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))
Bu gereklilik şu durumda bile geçerlidir:
∂bilgi / ∂M = 0
Sınır Teoremi (RCC)
Şu koşullarda hiçbir gömülü çıkarım sistemi, uzun zaman ufuklarında kararlı ve sürüklenmeyen akıl yürütmeyi sürdüremez:
∂Ω > 0, ∂M > 0, Γ ∄
Dolayısıyla halüsinasyon, sürüklenme ve çöküş
yapısal sonuçlardır,
eğitimden kaynaklanan yapay etkiler değil.