RCC — Ограничения на рекурсивния колапс
Теория за границите на вградената интелигентност
RCC е граничното условие на всяко извеждане на заключения.
Всяка система, която предсказва отвътре на контейнер —
без достъп до пълното състояние, без глобална отправна рамка —
ще халюцинира, ще дрейфува и ще си противоречи локално.
Това не са провали, а геометрични необходимости за вградените наблюдатели.
RCC с един поглед — Защо това има значение
Големите езикови модели се провалят не защото са зле проектирани, а защото действат като вградени, частично слепи системи за извод.
RCC показва, че халюцинацията, дрейфът и колапсът на планирането са структурно неизбежни, а не инженерни дефекти.
Това означава:
Можем да картографираме границите, вместо да гадаем.
Можем да оптимизираме изчисленията, вместо да прахосваме мащаб.
Можем да проектираме архитектури, които работят в съзвучие с геометрията, а не срещу нея.
RCC не е нов модел.
Това е границата, в която се намират всички модели.
Защо провалите на LLM продължават — дори при мащаб от трилион параметри
Аргумент от теорията на границите, според който халюцинациите, дрейфът и колапсът на планирането може да са структурно неизбежни.
Повечето дискусии разглеждат халюцинациите, дрейфа на разсъждението и колапса при дълъг хоризонт като инженерни проблеми.
RCC (Рекурсивни ограничения на колапса) издига по-силно твърдение:
Тези поведения може да не подлежат на поправка —
те може да са геометрични странични ефекти на самото вградено извеждане на заключения.
Ако тази постановка е правилна, подобренията в мащабирането, RLHF или настройката на архитектурата могат да изместят мястото, където възникват провалите, но не могат да ги премахнат.
Какво е RCC
RCC е теория на границите:
не нова архитектура
не е метод за обучение
не е стратегия за съгласуване
Това е аксиоматично описание на структурните ограничения, на които трябва да се подчинява всяка вградена система за извеждане на заключения.
Всяка система, която удовлетворява аксиомите, наследява същите ограничения, независимо от размера на модела или реализацията.
Четирите аксиоми на RCC
Аксиома 1 — Недостъпност на вътрешното състояние
Една вградена система не може да види пълното си вътрешно състояние.
Извеждането на заключения се извършва чрез частична самопроекция със загуби.
Аксиома 2 — Непрозрачност на контейнера
Системата не може да наблюдава многообразието, което я съдържа
(разпределение на обучаващите данни, траектория, предходен контекст и т.н.).
Аксиома 3 — Липса на глобална отправна система
Всяко извеждане на заключения е локално спрямо видимия в момента контекст.
Не може да се гарантира съгласуваност на големи разстояния.
Аксиома 4 — Принудителна локална оптимизация
Дори при несигурност системата трябва да произведе следващото обновяване
използвайки само локална информация.
Обединено ограничение
Обединявайки аксиомите:
Вграден наблюдател, който не заема централна позиция, не може да изгради глобално стабилен логически извод от частична информация.
Това не е недостиг на интелект.
Това е геометрично ограничение.
Защо възникват познатите откази на LLM
При частична видимост системата трябва да допълва невидимите части на света.
Този процес на допълване е:
недоопределен
нестабилен в дълги диапазони
несъвместимо с която и да е невидима глобална структура
С разрастването на контекста:
изходните резултати се отклоняват
вътрешната кохерентност се влошава
разсъждението в 8–12 стъпки колапсира
корекциите не успяват да възстановят глобалната стабилност
Това не са програмни грешки — това са последици от извеждането на заключения при непълна информация.
Защо мащабирането и съгласуването с човешките цели не премахват това
Мащабирането, дообучаването или RLHF не дават на модела:
глобална видимост
съвършена интроспекция
достъп до многообразието, което го съдържа
Тези методи могат да подобрят локалното поведение,
но не могат да премахнат лежащата в основата геометрична граница.
Следствия
Ако RCC са верни:
халюцинацията не може да бъде премахната, а само преместена
дрейфът не може да бъде премахнат, само да бъде затихван
колапсът на веригата от разсъждения не може да премине отвъд границата
самосъгласуваността не може да бъде глобално гарантирана
Това преосмисля „режимите на отказ на LLM“ като структурно необходими резултати от вграденото извеждане.
Това също подсказва, че някои изследователски направления може да са фундаментално ограничени, докато други остават отворени.
Какво прави възможно RCC
RCC не ограничава напредъка — то го пренасочва.
Като установява геометричната граница на вграденото извеждане на заключения, RCC позволява:
целенасочено мащабиране вместо сляпо прекомерно обучение
архитектури, които се съгласуват с геометрията, вместо да се борят с нея
предсказване на откази вместо последващо закърпване
хоризонти на планиране с ефективно използване на изчислителните ресурси за задачи с дълъг контекст
метрики за оценяване на дрейфа и колапса, отчитащи границите
RCC превръща неопределеността от дефект в карта.
Ако не сте съгласни
Несъгласието трябва да посочва коя аксиома е погрешна —
а не само да критикува симптомите, наблюдавани в съвременните модели.
Теорема за тройната граница на RCC
RCC описва не само какво се проваля, но и защо никой модел не може да избяга от триъгълника на провала.
Никоя вградена система за извеждане на заключения не може едновременно да оптимизира:
H (честота на халюцинациите ↓)
D (дрейф ↓)
C (вероятност за колапс ↓)
При ограниченията на RCC системата трябва да плаща с
R (цена на външната отправна рамка),
S (дълбочина на разсъждението),
или C (колапс).
R, S и C не могат да бъдат минимизирани едновременно.
Това не е емпиричен факт; то е геометричен.
Формално:
Нека
H = честота на халюцинациите
D = дрейф при рекурсивно разсъждение
C = вероятност за колапс при рекурентност
R = цена на външното сверяване (търсене / инструменти / човек)
S = дълбочина на разсъждението (стъпки)
Тогава от RCC следва:
H ↓ ⇒ R ↑
Намаляването на халюцинациите изисква повече позоваване на външни източници.
S ↑ ⇒ D ↑
По-дълбокото разсъждение усилва дрейфа поради частичното самонаблюдение.
D ↓ ⇒ C ↑
Стабилизирането на дрейфа налага по-ранен колапс на границата.
Това тройно ограничение е структурно, а не архитектурно.
Никой модел — независимо от мащаба, архитектурата или съгласуването си — не може да го наруши
ТЕХНИЧЕСКО ПРИЛОЖЕНИЕ — Формални аксиоми на RCC
Аксиома 1 — Недостъпност на вътрешното състояние
Нека Ω е пълното вътрешно състояние.
Наблюдателят вижда само проекция:
π : Ω → Ω′ при |Ω′| < |Ω|
Всяко извеждане оперира върху Ω′.
Аксиома 2 — Непрозрачност на контейнера
Нека M е съдържащото многообразие.
Видимост(M) = 0
Глобални свойства като ∂M или curvature(M)
са ненаблюдаеми отвътре.
Аксиома 3 — Няма глобална отправна система
Не съществува Γ, за което:
Γ : Ω′ → глобално съгласувани координати
Извеждането на заключения се осъществява само в локални системи φᵢ,
където изображенията φᵢ ↛ φⱼ
за отдалечени или декорелирани контексти.
Аксиома 4 — Необратим локален колапс
На всяка стъпка t от извеждането на заключения:
x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))
Това изискване важи дори когато:
∂информация / ∂M = 0
Теорема за границата (RCC)
Никоя вградена система за извеждане на заключения не може да поддържа стабилно разсъждение без дрейф в дълъг хоризонт, когато:
∂Ω > 0, ∂M > 0, Γ ∄
Следователно халюцинацията, дрейфът и колапсът са
структурни следствия,
а не артефакти от обучението.