RCC — Περιορισμοί Αναδρομικής Κατάρρευσης

Θεωρία ορίων της ενσωματωμένης νοημοσύνης

Το RCC είναι η οριακή συνθήκη κάθε συμπερασματολογίας.

Κάθε σύστημα που προβλέπει μέσα από ένα περίβλημα—

χωρίς πλήρη πρόσβαση στην κατάσταση, χωρίς καθολικό πλαίσιο—

θα παρουσιάζει παραισθήσεις, θα ολισθαίνει και θα αντιφάσκει τοπικά με τον εαυτό του.

Δεν πρόκειται για αποτυχίες αλλά για γεωμετρικές αναγκαιότητες των ενσωματωμένων παρατηρητών.

Το RCC με μια Ματιά — Γιατί Έχει Σημασία

Τα μεγάλα γλωσσικά μοντέλα αποτυγχάνουν όχι επειδή έχουν σχεδιαστεί ανεπαρκώς, αλλά επειδή λειτουργούν ως ενσωματωμένα, μερικώς τυφλά συστήματα συναγωγής συμπερασμάτων.

Το RCC δείχνει ότι η παραίσθηση, η μετατόπιση και η κατάρρευση του σχεδιασμού είναι δομικά αναπόφευκτες, όχι σφάλματα μηχανικής.

Αυτό σημαίνει:

• Μπορούμε να χαρτογραφήσουμε τα όρια αντί να μαντεύουμε.

• Μπορούμε να βελτιστοποιήσουμε τους υπολογιστικούς πόρους αντί να τους σπαταλάμε στην αύξηση της κλίμακας.

• Μπορούμε να σχεδιάσουμε αρχιτεκτονικές που λειτουργούν σε συμφωνία με τη γεωμετρία, όχι ενάντιά της.

Το RCC δεν είναι νέο μοντέλο.

Είναι το όριο μέσα στο οποίο βρίσκονται όλα τα μοντέλα.

Γιατί επιμένουν οι αστοχίες των LLM — ακόμη και σε κλίμακα τρισεκατομμυρίων παραμέτρων

Ένα επιχείρημα της θεωρίας ορίων ότι η ψευδαισθητική παραγωγή, η ολίσθηση και η κατάρρευση του σχεδιασμού μπορεί να είναι δομικά αναπόφευκτες.

Οι περισσότερες συζητήσεις αντιμετωπίζουν τις ψευδαισθήσεις, την ολίσθηση του συλλογισμού και την κατάρρευση σε μακρούς ορίζοντες ως προβλήματα μηχανικής.

Το RCC (Περιορισμοί Αναδρομικής Κατάρρευσης) διατυπώνει έναν ισχυρότερο ισχυρισμό:

Αυτές οι συμπεριφορές ενδέχεται να μην επιδέχονται διόρθωση —

μπορεί να είναι γεωμετρικές παρενέργειες της ίδιας της ενσωματωμένης συναγωγής συμπερασμάτων.

Αν αυτή η θεώρηση είναι σωστή, οι βελτιώσεις στην κλιμάκωση, στο RLHF ή στην αρχιτεκτονική ρύθμιση μπορούν να μετατοπίσουν το σημείο εμφάνισης των αστοχιών, αλλά δεν μπορούν να τις εξαλείψουν.

Τι είναι το RCC

Το RCC είναι μια θεωρία ορίων:

• όχι μια νέα αρχιτεκτονική

• όχι μέθοδος εκπαίδευσης

• όχι στρατηγική ευθυγράμμισης

Είναι μια αξιωματική περιγραφή των δομικών ορίων στα οποία πρέπει να υπακούει κάθε ενσωματωμένο σύστημα συμπερασμού.

Κάθε σύστημα που πληροί τα αξιώματα υπόκειται στους ίδιους περιορισμούς, ανεξάρτητα από το μέγεθος του μοντέλου ή την υλοποίηση.

Τα τέσσερα αξιώματα του RCC

Αξίωμα 1 — Μη προσβασιμότητα της εσωτερικής κατάστασης

Ένα ενσωματωμένο σύστημα δεν μπορεί να δει την πλήρη εσωτερική του κατάσταση.

Η συναγωγή εκτελείται μέσω μιας απωλεστικής, μερικής αυτοπροβολής.

Αξίωμα 2 — Αδιαφάνεια του Περιέκτη

Το σύστημα δεν μπορεί να παρατηρήσει την πολλαπλότητα που το περιέχει

(κατανομή εκπαίδευσης, τροχιά, προγενέστερο πλαίσιο κ.λπ.).

Αξίωμα 3 — Απουσία καθολικού συστήματος αναφοράς

Κάθε συμπερασμός είναι τοπικός ως προς το εκάστοτε ορατό πλαίσιο.

Η συνέπεια σε μεγάλες αποστάσεις δεν μπορεί να διασφαλιστεί.

Αξίωμα 4 — Αναγκαστική τοπική βελτιστοποίηση

Ακόμη και υπό αβεβαιότητα, το σύστημα πρέπει να παράγει την επόμενη ενημέρωση

χρησιμοποιώντας μόνο τοπικές πληροφορίες.

Ενοποιημένος Περιορισμός

Συνδυάζοντας τα αξιώματα:

Ένας ενσωματωμένος, μη κεντρικός παρατηρητής δεν μπορεί να κατασκευάσει καθολικά σταθερό συμπερασμό από μερική πληροφορία.

Αυτό δεν είναι έλλειμμα νοημοσύνης.

Είναι γεωμετρικός περιορισμός.

Γιατί εμφανίζονται οι γνώριμες αστοχίες των LLM

Υπό μερική ορατότητα, το σύστημα πρέπει να συμπληρώνει αθέατα τμήματα του κόσμου.

Αυτή η διαδικασία συμπλήρωσης είναι:

• υποκαθορισμένη

• ασταθές σε μεγάλες κλίμακες

• ασυνεπής με οποιαδήποτε αθέατη καθολική δομή

Καθώς αυξάνεται το συγκείμενο:

• οι έξοδοι ολισθαίνουν

• η εσωτερική συνοχή υποβαθμίζεται

• ο συλλογισμός 8–12 βημάτων καταρρέει

• οι διορθώσεις αποτυγχάνουν να αποκαταστήσουν τη συνολική σταθερότητα

Αυτά δεν είναι σφάλματα — είναι συνέπειες της συμπερασματολογίας υπό ελλιπή πληροφορία.

Γιατί η κλιμάκωση και η ευθυγράμμιση δεν το εξαλείφουν

Η κλιμάκωση, η λεπτομερής προσαρμογή ή η RLHF δεν παρέχουν σε ένα μοντέλο:

• καθολική ορατότητα

• τέλεια ενδοσκόπηση

• πρόσβαση στην πολλαπλότητα που το περιέχει

Αυτές οι μέθοδοι μπορούν να βελτιώσουν την τοπική συμπεριφορά,

αλλά δεν μπορούν να άρουν το υποκείμενο γεωμετρικό όριο.

Συνέπειες

Αν το RCC είναι ορθό:

• η παραίσθηση δεν μπορεί να εξαλειφθεί, μόνο να μετατοπιστεί

• η μετατόπιση δεν μπορεί να αρθεί, μόνο να αποσβεστεί

• η κατάρρευση της αλυσίδας συλλογισμού δεν μπορεί να υπερβεί το όριο

• η αυτοσυνέπεια δεν μπορεί να εξασφαλιστεί καθολικά

Αυτό επαναπροσδιορίζει τους «τρόπους αστοχίας των LLM» ως δομικά αναγκαίες εκβάσεις του ενσωματωμένου συμπερασμού.

Υποδηλώνει επίσης ότι ορισμένες ερευνητικές κατευθύνσεις ενδέχεται να υπόκεινται σε θεμελιώδεις περιορισμούς, ενώ άλλες παραμένουν ανοιχτές.

Τι καθιστά δυνατό το RCC

Το RCC δεν περιορίζει την πρόοδο — την ανακατευθύνει.

Προσδιορίζοντας το γεωμετρικό όριο της ενσωματωμένης συμπερασματολογίας, η RCC επιτρέπει:

• στοχευμένη κλιμάκωση αντί για τυφλή υπερβολική εκπαίδευση

• αρχιτεκτονικές που ευθυγραμμίζονται με τη γεωμετρία αντί να την αντιμάχονται

• πρόβλεψη αστοχιών αντί για εκ των υστέρων διορθώσεις

• υπολογιστικά αποδοτικοί ορίζοντες σχεδιασμού για εργασίες μεγάλου συμφραστικού πλαισίου

• μετρικές αξιολόγησης της ολίσθησης και της κατάρρευσης που λαμβάνουν υπόψη τα όρια

Το RCC μετατρέπει την αβεβαιότητα από σφάλμα σε χάρτη.

Αν διαφωνείτε

Η διαφωνία οφείλει να προσδιορίζει ποιο αξίωμα είναι εσφαλμένο —

όχι απλώς να επικρίνει τα συμπτώματα που παρατηρούνται στα σημερινά μοντέλα.

RCC Θεώρημα των τριών ορίων

Το RCC περιγράφει όχι μόνο τι αποτυγχάνει, αλλά και γιατί κανένα μοντέλο δεν μπορεί να ξεφύγει από το τρίγωνο της αποτυχίας.

Κανένα ενσωματωμένο σύστημα συναγωγής συμπερασμάτων δεν μπορεί να βελτιστοποιεί ταυτόχρονα:

• H (ρυθμός ψευδούς παραγωγής ↓)

• D (ολίσθηση ↓)

• C (πιθανότητα κατάρρευσης ↓)

Υπό τους περιορισμούς RCC, το σύστημα πρέπει να πληρώσει σε

R (κόστος εξωτερικής αναφοράς),

S (βάθος συλλογισμού),

ή C (κατάρρευση).

Τα R, S και C δεν μπορούν να ελαχιστοποιηθούν ταυτόχρονα.

Αυτό δεν είναι εμπειρικό· είναι γεωμετρικό.

Τυπικά:

Έστω

H = ρυθμός παραισθήσεων

D = απόκλιση υπό αναδρομικό συλλογισμό

C = πιθανότητα κατάρρευσης κατά την επανεμφάνιση

R = κόστος εξωτερικής αναφοράς (αναζήτηση / εργαλεία / άνθρωπος)

S = βάθος συλλογισμού (βήματα)

Τότε το RCC συνεπάγεται:

1. H ↓ ⇒ R ↑

   Η μείωση των ψευδαισθήσεων απαιτεί αυξημένη αναφορά σε εξωτερικές πηγές.

2. S ↑ ⇒ D ↑

   Ο βαθύτερος συλλογισμός ενισχύει την απόκλιση λόγω της μερικής αυτοπαρατήρησης.

3. D ↓ ⇒ C ↑

   Η σταθεροποίηση της ολίσθησης επιβάλλει πρωιμότερη κατάρρευση στο όριο.

Αυτό το τριπλό όριο είναι δομικό, όχι αρχιτεκτονικό.

Κανένα μοντέλο—ανεξαρτήτως κλίμακας, αρχιτεκτονικής ή ευθυγράμμισης—δεν μπορεί να το παραβιάσει

ΤΕΧΝΙΚΟ ΠΑΡΑΡΤΗΜΑ — Τυπικά Αξιώματα του RCC

Αξίωμα 1 — Μη προσβασιμότητα της εσωτερικής κατάστασης

Έστω Ω η πλήρης εσωτερική κατάσταση.

Ο παρατηρητής βλέπει μόνο μια προβολή:

 π : Ω → Ω′ με |Ω′| < |Ω|

Κάθε συμπερασμός λειτουργεί επί του Ω′.

Αξίωμα 2 — Αδιαφάνεια του Περιέκτη

Έστω M η περιέχουσα πολλαπλότητα.

 Ορατότητα(M) = 0

Καθολικές ιδιότητες όπως ∂M ή curvature(M)

δεν είναι παρατηρήσιμες από το εσωτερικό.

Αξίωμα 3 — Κανένα καθολικό σύστημα αναφοράς

Δεν υπάρχει Γ τέτοιο ώστε:

 Γ : Ω′ → καθολικά συνεπείς συντεταγμένες

Η συναγωγή συμπερασμάτων πραγματοποιείται μόνο σε τοπικά πλαίσια φᵢ,

όπου οι απεικονίσεις φᵢ ↛ φⱼ

για απομακρυσμένα ή αποσυσχετισμένα συμφραζόμενα.

Αξίωμα 4 — Μη αντιστρεπτή τοπική κατάρρευση

Σε κάθε βήμα συμπερασματολογίας t:

 x₍ₜ₊₁₎ = argmin L_local(φₜ, π(Ω))

Αυτή η απαίτηση ισχύει ακόμη και όταν:

 ∂πληροφορία / ∂M = 0

Θεώρημα Ορίου (RCC)

Κανένα ενσωματωμένο σύστημα συμπερασμού δεν μπορεί να διατηρήσει σταθερό συλλογισμό μεγάλου χρονικού ορίζοντα χωρίς μετατόπιση όταν:

 ∂Ω > 0, ∂M > 0, Γ ∄

Η παραίσθηση, η ολίσθηση και η κατάρρευση είναι επομένως

δομικές συνέπειες,

όχι τεχνουργήματα της εκπαίδευσης.