RCC — Các ràng buộc sụp đổ đệ quy

Lý thuyết Ranh giới về Trí tuệ Nhúng

RCC là điều kiện biên của mọi suy luận.

Bất kỳ hệ thống nào dự đoán từ bên trong một miền bao chứa—

không có quyền truy cập toàn bộ trạng thái, không có hệ quy chiếu toàn cục—

sẽ sinh ảo giác, trôi dạt và tự mâu thuẫn cục bộ.

Đây không phải những thất bại mà là những tất yếu hình học của người quan sát nhúng.

Tổng quan RCC — Vì sao điều này quan trọng

Các mô hình ngôn ngữ lớn thất bại không phải vì được thiết kế kém, mà vì chúng vận hành như những hệ thống suy luận nhúng, mù một phần.

RCC cho thấy ảo giác, độ trôi và sụp đổ khả năng lập kế hoạch là không thể tránh khỏi về mặt cấu trúc, không phải lỗi kỹ thuật.

Điều này có nghĩa là:

• Chúng ta có thể lập bản đồ các biên thay vì phỏng đoán.

• Chúng ta có thể tối ưu hóa tính toán thay vì phung phí quy mô.

• Chúng ta có thể thiết kế những kiến trúc vận hành thuận theo hình học ấy, thay vì chống lại nó.

RCC không phải một mô hình mới.

Nó là biên mà mọi mô hình đều nằm bên trong.

Vì sao các thất bại của LLM vẫn dai dẳng — ngay cả ở quy mô hàng nghìn tỷ tham số

Một lập luận theo lý thuyết biên cho rằng ảo giác, trôi lệch và sụp đổ trong lập kế hoạch có thể là điều không thể tránh khỏi về mặt cấu trúc.

Phần lớn các cuộc thảo luận xem ảo giác, độ trôi trong lập luận và sự sụp đổ dài hạn là những vấn đề kỹ thuật.

RCC (Các ràng buộc sụp đổ đệ quy) đưa ra một khẳng định mạnh hơn:

Những hành vi này có thể không khắc phục được —

chúng có thể là những hệ quả phụ về hình học của chính suy luận nhúng.

Nếu cách đặt vấn đề này là đúng, những cải tiến về mở rộng quy mô, RLHF hoặc tinh chỉnh kiến trúc có thể dịch chuyển nơi các thất bại xuất hiện, nhưng không thể loại bỏ chúng.

RCC là gì

RCC là một lý thuyết về ranh giới:

• không phải một kiến trúc mới

• không phải một phương pháp huấn luyện

• không phải một chiến lược căn chỉnh

Đây là một mô tả tiên đề về những giới hạn cấu trúc mà mọi hệ thống suy luận nhúng đều phải tuân theo.

Bất kỳ hệ thống nào thỏa mãn các tiên đề đều chịu cùng những ràng buộc, bất kể quy mô mô hình hay cách triển khai.

Bốn tiên đề RCC

Tiên đề 1 — Tính bất khả truy cập của trạng thái nội tại

Một hệ thống nhúng không thể nhìn thấy toàn bộ trạng thái nội tại của mình.

Suy luận được thực hiện qua một phép tự chiếu có mất mát và không đầy đủ.

Tiên đề 2 — Tính bất khả kiến của vật chứa

Hệ thống không thể quan sát đa tạp chứa nó

(phân bố huấn luyện, quỹ đạo, ngữ cảnh thượng nguồn, v.v.).

Tiên đề 3 — Không có hệ quy chiếu toàn cục

Mọi suy luận đều mang tính cục bộ trong ngữ cảnh hiện có thể quan sát.

Không thể bảo đảm tính nhất quán trên phạm vi dài.

Tiên đề 4 — Tối ưu hóa cục bộ bắt buộc

Ngay cả trong điều kiện bất định, hệ thống vẫn phải tạo ra lần cập nhật tiếp theo

chỉ sử dụng thông tin cục bộ.

Ràng buộc thống nhất

Kết hợp các tiên đề:

Một người quan sát nhúng, không ở trung tâm, không thể xây dựng suy luận ổn định toàn cục từ thông tin một phần.

Đây không phải sự thiếu hụt trí tuệ.

Đó là một giới hạn hình học.

Vì sao những thất bại quen thuộc của LLM xuất hiện

Khi chỉ nhìn thấy một phần, hệ thống phải điền vào những phần không nhìn thấy của thế giới.

Quá trình điền đầy đó là:

• không được xác định duy nhất bởi dữ liệu hiện có

• bất ổn trên phạm vi dài

• không nhất quán với bất kỳ cấu trúc toàn cục vô hình nào

Khi ngữ cảnh mở rộng:

• đầu ra trôi lệch

• tính nhất quán nội tại suy giảm

• suy luận 8–12 bước sụp đổ

• các hiệu chỉnh không khôi phục được tính ổn định toàn cục

Đây không phải lỗi — chúng là hệ quả của suy luận trong điều kiện thông tin không đầy đủ.

Vì sao việc mở rộng quy mô và căn chỉnh không loại bỏ được điều này

Mở rộng quy mô, tinh chỉnh hay RLHF không trao cho mô hình:

• khả năng quan sát toàn cục

• khả năng nội quan hoàn hảo

• quyền truy cập vào đa tạp chứa nó

Những phương pháp này có thể cải thiện hành vi cục bộ,

nhưng chúng không thể loại bỏ ranh giới hình học nền tảng.

Hệ quả

Nếu RCC đúng:

• ảo giác không thể bị loại bỏ, chỉ có thể bị chuyển chỗ

• độ trôi không thể bị loại bỏ, chỉ có thể được làm suy giảm

• sự sụp đổ của chuỗi suy luận không thể vượt quá biên

• không thể bảo đảm tính tự nhất quán trên toàn cục

Điều này định hình lại “các dạng thất bại của LLM” thành những kết quả tất yếu về cấu trúc của suy luận trong hệ nhúng.

Nó cũng gợi ý rằng một số hướng nghiên cứu có thể bị ràng buộc về căn bản, trong khi những hướng khác vẫn còn mở.

Những điều RCC Cho phép

RCC không giới hạn tiến bộ — nó chuyển hướng tiến bộ.

Bằng cách xác định biên hình học của suy luận nhúng, RCC cho phép:

• mở rộng quy mô có mục tiêu thay vì huấn luyện quá mức một cách mù quáng

• những kiến trúc thuận theo hình học thay vì chống lại nó

• dự đoán lỗi thay vì vá lỗi sau khi sự việc xảy ra

• các tầm hoạch định tiết kiệm tính toán cho những tác vụ ngữ cảnh dài

• các thước đo đánh giá có xét đến ranh giới đối với trôi dạt và sụp đổ

RCC biến sự bất định từ một lỗi thành một bản đồ.

Nếu bạn không đồng ý

Sự bất đồng cần chỉ ra tiên đề nào không đúng —

chứ không chỉ phê phán các triệu chứng quan sát được trong những mô hình hiện tại.

Định lý ba giới hạn RCC

RCC không chỉ mô tả điều gì thất bại, mà còn vì sao không mô hình nào có thể thoát khỏi tam giác thất bại.

Không hệ suy luận được nhúng nào có thể đồng thời tối ưu hóa:

• H (tỷ lệ ảo giác ↓)

• D (độ trôi ↓)

• C (xác suất sụp đổ ↓)

Dưới các ràng buộc RCC, hệ thống phải trả bằng

R (chi phí tham chiếu bên ngoài),

S (độ sâu suy luận),

hoặc C (sụp đổ).

R, S và C không thể được tối thiểu hóa cùng lúc.

Điều này không mang tính thực nghiệm; nó mang tính hình học.

Về mặt hình thức:

Gọi

H = tỷ lệ ảo giác

D = độ trôi trong suy luận đệ quy

C = xác suất sụp đổ do tái diễn

R = chi phí tham chiếu bên ngoài (tìm kiếm / công cụ / con người)

S = độ sâu suy luận (số bước)

Khi đó RCC hàm ý:

1. H ↓ ⇒ R ↑

   Giảm ảo giác đòi hỏi tăng cường tham chiếu bên ngoài.

2. S ↑ ⇒ D ↑

   Suy luận sâu hơn khuếch đại sự trôi lệch do khả năng tự quan sát chỉ có tính bộ phận.

3. D ↓ ⇒ C ↑

   Ổn định trôi lệch buộc sự sụp đổ xảy ra sớm hơn tại biên.

Bộ ba giới hạn này thuộc về cấu trúc, không phải kiến trúc.

Không mô hình nào—bất kể quy mô, kiến trúc hay sự căn chỉnh—có thể phá vỡ nó

PHỤ LỤC KỸ THUẬT — Các tiên đề hình thức của RCC

Tiên đề 1 — Tính bất khả truy cập của trạng thái nội tại

Gọi Ω là toàn bộ trạng thái nội tại.

Người quan sát chỉ thấy một phép chiếu:

 π : Ω → Ω′ với |Ω′| < |Ω|

Mọi suy luận đều vận hành trên Ω′.

Tiên đề 2 — Tính bất khả kiến của vật chứa

Gọi M là đa tạp bao chứa.

 Khả năng quan sát(M) = 0

Các tính chất toàn cục như ∂M hoặc độ cong(M)

không thể được quan sát từ bên trong.

Tiên đề 3 — Không có Hệ quy chiếu Toàn cục

Không tồn tại Γ nào sao cho:

 Γ : Ω′ → các tọa độ nhất quán toàn cục

Suy luận chỉ diễn ra trong các hệ quy chiếu cục bộ φᵢ,

nơi các ánh xạ φᵢ ↛ φⱼ

đối với những ngữ cảnh xa nhau hoặc mất tương quan.

Tiên đề 4 — Sụp đổ cục bộ không thể đảo ngược

Tại mỗi bước suy luận t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Yêu cầu này vẫn đúng ngay cả khi:

 ∂thông tin / ∂M = 0

Định lý ranh giới (RCC)

Không hệ suy luận nhúng nào có thể duy trì suy luận dài hạn ổn định, không trôi dạt khi:

 ∂Ω > 0, ∂M > 0, Γ ∄

Vì vậy, ảo giác, độ trôi và sụp đổ là

những hệ quả cấu trúc,

chứ không phải sản phẩm phụ của huấn luyện.