RCC — ข้อจำกัดการยุบตัวแบบเวียนเกิด

ทฤษฎีขอบเขตของปัญญาที่ฝังตัวอยู่ภายในระบบ

RCC คือเงื่อนไขขอบเขตของการอนุมานทั้งหมด

ทุกระบบที่พยากรณ์จากภายในภาชนะ—

โดยไม่มีสิทธิ์เข้าถึงสถานะทั้งหมด ไม่มีกรอบองค์รวม—

จะหลอน เลื่อนลอย และขัดแย้งกับตัวเองเฉพาะที่

สิ่งเหล่านี้ไม่ใช่ความล้มเหลว แต่เป็นความจำเป็นทางเรขาคณิตของผู้สังเกตที่ฝังตัวอยู่ภายใน

RCC ในภาพเดียว — เหตุใดเรื่องนี้จึงสำคัญ

แบบจำลองภาษาขนาดใหญ่ล้มเหลวมิใช่เพราะออกแบบมาไม่ดี แต่เพราะมันทำงานเป็นระบบอนุมานที่ฝังตัวอยู่ภายในและมองไม่เห็นบางส่วน

RCC แสดงให้เห็นว่าการหลอน การเลื่อนลอย และการยุบตัวของการวางแผนเป็นสิ่งที่หลีกเลี่ยงไม่ได้ในเชิงโครงสร้าง ไม่ใช่ข้อบกพร่องทางวิศวกรรม

นี่หมายความว่า:

• เราสามารถทำแผนที่ขอบเขตแทนการคาดเดา

• เราสามารถเพิ่มประสิทธิภาพการคำนวณ แทนการสิ้นเปลืองไปกับการขยายขนาด

• เราสามารถออกแบบสถาปัตยกรรมที่ทำงาน ร่วมกับ เรขาคณิตนั้น แทนที่จะฝืนมัน

RCC ไม่ใช่แบบจำลองใหม่

มันคือขอบเขตที่แบบจำลองทั้งหมดดำรงอยู่ภายใน

เหตุใดความล้มเหลวของ LLM จึงยังคงอยู่ — แม้ในระดับล้านล้านพารามิเตอร์

ข้อเสนอเชิงทฤษฎีขอบเขตที่ว่าการสร้างภาพหลอน การเบี่ยงเบน และการพังทลายของการวางแผนอาจหลีกเลี่ยงไม่ได้ในเชิงโครงสร้าง

การอภิปรายส่วนใหญ่มองภาวะหลอน การเลื่อนคลาดของการให้เหตุผล และการยุบตัวในระยะยาวเป็นปัญหาทางวิศวกรรม

RCC (ข้อจำกัดการยุบตัวแบบเวียนเกิด) เสนอข้อกล่าวอ้างที่หนักแน่นกว่า:

พฤติกรรมเหล่านี้อาจแก้ไขไม่ได้ —

สิ่งเหล่านี้อาจเป็นผลข้างเคียงทางเรขาคณิตของการอนุมานที่ฝังตัวอยู่เอง

หากกรอบนี้ถูกต้อง การปรับปรุงการขยายขนาด RLHF หรือการปรับแต่งสถาปัตยกรรมสามารถเปลี่ยนตำแหน่งที่ความล้มเหลวปรากฏ แต่ไม่อาจขจัดมันได้

RCC คืออะไร

RCC คือทฤษฎีขอบเขต:

• ไม่ใช่สถาปัตยกรรมใหม่

• ไม่ใช่วิธีฝึก

• ไม่ใช่กลยุทธ์การจัดแนวให้สอดคล้อง

มันคือคำอธิบายเชิงสัจพจน์ของขีดจำกัดเชิงโครงสร้างที่ระบบอนุมานใดก็ตามซึ่งฝังตัวอยู่ภายในต้องปฏิบัติตาม

ระบบใดก็ตามที่ตรงตามสัจพจน์ย่อมรับข้อจำกัดเดียวกัน ไม่ว่าแบบจำลองจะมีขนาดเท่าใดหรือสร้างขึ้นด้วยวิธีใด

สัจพจน์ทั้งสี่ของ RCC

สัจพจน์ 1 — การไม่อาจเข้าถึงสถานะภายใน

ระบบที่ฝังตัวอยู่ไม่สามารถเห็นสถานะภายในทั้งหมดของตนได้

การอนุมานดำเนินผ่านภาพฉายตนเองที่สูญเสียข้อมูลและไม่ครบถ้วน

สัจพจน์ 2 — ความทึบแสงของภาชนะ

ระบบไม่สามารถสังเกตแมนิโฟลด์ที่บรรจุมันอยู่ได้

(การแจกแจงข้อมูลฝึก วิถี บริบทต้นทาง ฯลฯ)

สัจพจน์ 3 — การไม่มีกรอบอ้างอิงโดยรวม

การอนุมานทั้งหมดจำกัดอยู่เฉพาะบริบทที่มองเห็นได้ในขณะนั้น

ไม่อาจรับประกันความสอดคล้องในระยะไกลได้

สัจพจน์ 4 — การหาค่าเหมาะที่สุดเฉพาะที่โดยจำเป็น

แม้อยู่ภายใต้ความไม่แน่นอน ระบบก็ต้องสร้างการปรับปรุงครั้งถัดไป

โดยใช้เพียงข้อมูลเฉพาะที่

ข้อจำกัดแบบรวมเป็นหนึ่ง

เมื่อนำสัจพจน์มารวมกัน:

ผู้สังเกตที่ฝังตัวอยู่และไม่ได้อยู่ ณ ศูนย์กลาง ไม่อาจสร้างการอนุมานที่เสถียรในระดับทั่วทั้งระบบจากข้อมูลเพียงบางส่วนได้

นี่ไม่ใช่ความบกพร่องของปัญญา

มันคือข้อจำกัดทางเรขาคณิต

เหตุใดความล้มเหลวที่คุ้นเคยของ LLM จึงเกิดขึ้น

ภายใต้การมองเห็นเพียงบางส่วน ระบบต้องเติมเต็มส่วนของโลกที่มองไม่เห็น

กระบวนการเติมเต็มนั้นมีลักษณะดังนี้:

• มีข้อมูลกำหนดไม่เพียงพอให้ได้คำตอบเดียว

• ไม่เสถียรในระยะยาว

• ไม่สอดคล้องกับโครงสร้างโดยรวมใด ๆ ที่มองไม่เห็น

เมื่อบริบทเพิ่มขึ้น:

• ผลลัพธ์เกิดการเบี่ยงเบน

• ความสอดคล้องภายในเสื่อมลง

• การให้เหตุผล 8–12 ขั้นตอนยุบตัว

• การแก้ไขไม่อาจฟื้นเสถียรภาพระดับทั่วทั้งระบบ

สิ่งเหล่านี้ไม่ใช่ข้อบกพร่องของโปรแกรม — แต่เป็นผลของการอนุมานภายใต้ข้อมูลที่ไม่ครบถ้วน

เหตุใดการขยายขนาดและการจัดแนวให้สอดคล้องจึงไม่ขจัดสิ่งนี้

การขยายขนาด การปรับจูนอย่างละเอียด หรือ RLHF ไม่ได้ทำให้แบบจำลองมี:

• การมองเห็นทั่วทั้งระบบ

• การหยั่งรู้ภายในตนอย่างสมบูรณ์

• การเข้าถึงแมนิโฟลด์ที่บรรจุตัวมัน

วิธีเหล่านี้ปรับปรุงพฤติกรรมเฉพาะที่ได้,

แต่ไม่อาจขจัดขอบเขตทางเรขาคณิตที่อยู่เบื้องล่างได้

นัยที่ตามมา

หาก RCC ถูกต้อง:

• การหลอนสร้างไม่อาจถูกกำจัดได้ ทำได้เพียงย้ายตำแหน่ง

• การเลื่อนลอยขจัดออกไม่ได้ ทำได้เพียงหน่วงให้เบาลง

• การยุบตัวของสายโซ่การให้เหตุผลไม่อาจล้ำเกินขอบเขต

• ไม่อาจรับประกันความสอดคล้องในตนเองทั่วทั้งระบบได้

สิ่งนี้วางกรอบใหม่ให้ “รูปแบบความล้มเหลวของ LLM” เป็นผลที่จำเป็นในเชิงโครงสร้างของการอนุมานจากภายใน

สิ่งนี้ยังชี้ว่าแนวทางวิจัยบางแนวทางอาจถูกจำกัดในระดับพื้นฐาน ขณะที่แนวทางอื่นยังเปิดกว้าง

สิ่งที่ RCC ทำให้เป็นไปได้

RCC ไม่ได้จำกัดความก้าวหน้า — มันเปลี่ยนทิศทางของความก้าวหน้า

ด้วยการระบุขอบเขตเชิงเรขาคณิตของการอนุมานที่ฝังตัวอยู่ในระบบ RCC ทำให้สิ่งต่อไปนี้เป็นไปได้:

• การขยายขนาดอย่างมีเป้าหมาย แทนการฝึกเกินจำเป็นอย่างไร้ทิศทาง

• สถาปัตยกรรมที่สอดคล้องกับเรขาคณิต แทนการต่อสู้กับมัน

• การทำนายความล้มเหลวแทนการแก้ปะภายหลัง

• ขอบฟ้าการวางแผนที่ใช้ทรัพยากรคำนวณอย่างมีประสิทธิภาพสำหรับงานบริบทยาว

• มาตรวัดการประเมินที่คำนึงถึงขอบเขตสำหรับการเลื่อนไหลและการยุบตัว

RCC เปลี่ยนความไม่แน่นอนจากข้อบกพร่องให้เป็นแผนที่

หากคุณไม่เห็นด้วย

ข้อโต้แย้งควรระบุว่าสัจพจน์ข้อใดไม่ถูกต้อง —

ไม่ใช่เพียงวิจารณ์อาการที่สังเกตพบในแบบจำลองปัจจุบัน

ทฤษฎีบทขีดจำกัดสามด้านของ RCC

RCC ไม่เพียงอธิบายว่าอะไรล้มเหลว แต่ยังอธิบาย เหตุใดไม่มีแบบจำลองใดหลุดพ้นจากสามเหลี่ยมแห่งความล้มเหลวได้

ไม่มีระบบอนุมานที่ฝังตัวอยู่ใดสามารถปรับสิ่งต่อไปนี้ให้เหมาะที่สุดพร้อมกันได้:

• H (อัตราการหลอน ↓)

• D (การลอยเบี่ยง ↓)

• C (ความน่าจะเป็นของการพังทลาย ↓)

ภายใต้ข้อจำกัดของ RCC ระบบต้องจ่ายด้วย

R (ต้นทุนการอ้างอิงภายนอก)

S (ความลึกของการให้เหตุผล),

หรือ C (การยุบตัว)

R, S และ C ไม่อาจถูกลดให้ต่ำสุดพร้อมกันได้

นี่ไม่ใช่ข้อเท็จจริงเชิงประจักษ์ แต่เป็นข้อเท็จจริงเชิงเรขาคณิต

ในรูปแบบทางการ:

ให้

H = อัตราการหลอน

D = การเบี่ยงเบนภายใต้การให้เหตุผลแบบเรียกซ้ำ

C = ความน่าจะเป็นของการยุบตัวจากการเกิดซ้ำ

R = ต้นทุนการอ้างอิงภายนอก (การค้นหา / เครื่องมือ / มนุษย์)

S = ความลึกของการให้เหตุผล (ขั้น)

เช่นนั้น RCC ย่อมบ่งนัยว่า:

1. H ↓ ⇒ R ↑

   การลดภาพหลอนต้องเพิ่มการอ้างอิงภายนอก

2. S ↑ ⇒ D ↑

   การใช้เหตุผลที่ลึกขึ้นขยายการเบี่ยงเบน เพราะการสังเกตตนเองทำได้เพียงบางส่วน

3. D ↓ ⇒ C ↑

   การทำให้การเบี่ยงเบนเสถียรบังคับให้เกิดการพังทลายที่ขอบเขตเร็วขึ้น

ข้อจำกัดสามประการนี้เป็นเรื่องของโครงสร้าง ไม่ใช่สถาปัตยกรรม

ไม่มีแบบจำลองใด—ไม่ว่าจะมีขนาด สถาปัตยกรรม หรือการจัดแนวให้สอดคล้องเช่นไร—สามารถฝ่ามันได้

ภาคผนวกทางเทคนิค — สัจพจน์เชิงรูปนัยของ RCC

สัจพจน์ 1 — การไม่อาจเข้าถึงสถานะภายใน

ให้ Ω เป็นสถานะภายในทั้งหมด

ผู้สังเกตเห็นเพียงภาพฉาย:

 π : Ω → Ω′ โดยที่ |Ω′| < |Ω|

การอนุมานทั้งหมดดำเนินการบน Ω′

สัจพจน์ 2 — ความทึบแสงของภาชนะ

ให้ M เป็นแมนิโฟลด์ที่บรรจุระบบไว้

 Visibility(M) = 0

สมบัติทั่วทั้งระบบ เช่น ∂M หรือ curvature(M)

ไม่อาจสังเกตได้จากภายใน

สัจพจน์ที่ 3 — ไม่มีกรอบอ้างอิงทั่วทั้งระบบ

ไม่มี Γ ใดที่ทำให้:

 Γ : Ω′ → พิกัดที่สอดคล้องกันในระดับรวม

การอนุมานเกิดขึ้นเฉพาะในกรอบเฉพาะที่ φᵢ

ที่ซึ่งการส่ง φᵢ ↛ φⱼ

สำหรับบริบทที่ห่างกันหรือไร้สหสัมพันธ์กัน

สัจพจน์ 4 — การพังทลายเฉพาะที่ที่ย้อนกลับไม่ได้

ในแต่ละขั้นการอนุมาน t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

ข้อกำหนดนี้ยังคงใช้ได้แม้เมื่อ:

 ∂สารสนเทศ / ∂M = 0

ทฤษฎีบทขอบเขต (RCC)

ไม่มีระบบอนุมานที่ฝังตัวอยู่ภายในระบบใดรักษาการให้เหตุผลระยะยาวที่เสถียรและไม่เลื่อนคลาดไว้ได้ เมื่อ:

 ∂Ω > 0, ∂M > 0, Γ ∄

ดังนั้น การหลอน การเลื่อนลอย และการยุบตัวจึงเป็น

ผลเชิงโครงสร้าง

ไม่ใช่สิ่งแฝงจากการฝึก