Η μάθηση Hebb συναντά τα δίκτυα Hopfield: η αρχιτεκτονική που ήταν πάντα εξυπνότερη από τους Transformers
Την τελευταία δεκαετία, οι transformers και οι μηχανισμοί προσοχής (attention) κυριαρχούν στο τοπίο της τεχνητής νοημοσύνης. Από το GPT στο BERT και στους Vision Transformers, το σύνθημα «attention is all you need» άλλαξε τον τρόπο που σκεφτόμαστε τη μηχανική μάθηση. Τα συστήματα μετάφρασης (translator), δηλαδή οι αγωγοί κωδικοποιητή-αποκωδικοποιητή που μετατρέπουν δεδομένα από τη μία αναπαράσταση στην άλλη, έγιναν η ραχοκοκαλιά των πάντων, από την επεξεργασία γλώσσας ώς τη δημιουργία εικόνων. Ήταν επαναστατικά. Ήταν ισχυρά.
Και τώρα έχουν φτάσει σε τοίχο.
Η ειρωνεία είναι ότι η λύση υπάρχει από το 1982. Εκείνη τη χρονιά ο John Hopfield δημοσίευσε μια εργασία στο Proceedings of the National Academy of Sciences που παρουσίαζε ένα αναδρομικό νευρωνικό δίκτυο με μια ιδιότητα που οι transformers δεν πέτυχαν ποτέ πραγματικά: εγγυημένη σύγκλιση σε σταθερές καταστάσεις μέσω ελαχιστοποίησης ενέργειας. Το δίκτυο Hopfield δεν μάθαινε απλώς μοτίβα· τα αποθήκευε ως φυσικούς ελκυστές σε ένα ενεργειακό τοπίο, που μπορούσαν να ανακτηθούν ακόμη και από θορυβώδη ή ελλιπή δεδομένα εισόδου.
Η κοινότητα της τεχνητής νοημοσύνης μόλις τώρα αρχίζει να αφομοιώνει όσα γνωρίζουν εδώ και δεκαετίες οι κοινότητες της φυσικής και των νευροεπιστημών: η ενεργειακή, συνειρμική προσέγγιση του νευρωνικού υπολογισμού δεν είναι μια ιστορική περιέργεια, είναι ένα θεμελιώδες παράδειγμα, πάνω στο οποίο η εποχή των transformers απλώς χτίστηκε χωρίς να το κατανοήσει πλήρως.
Το ταβάνι των Transformers
Οι transformers λειτουργούν υπολογίζοντας ταυτόχρονα τις σχέσεις ανάμεσα σε κάθε στοιχείο μιας ακολουθίας μέσω της αυτοπροσοχής (self-attention). Αυτό είναι εξαιρετικό για τη γλώσσα. Είναι εξαιρετικό και για δομημένα δεδομένα με σαφή διαδοχικά μοτίβα. Ο πραγματικός κόσμος όμως, ο κόσμος της ρομποτικής, των ενσωματωμένων κυκλωμάτων, των αποφάσεων που βασίζονται σε αισθητήρες και του edge computing, δεν οργανώνεται σε τακτοποιημένες ακολουθίες που περιμένουν να τους δοθεί προσοχή.
Η αρχιτεκτονική των transformers προϋποθέτει αφθονία: άφθονη υπολογιστική ισχύ, άφθονη μνήμη, άφθονη ενέργεια. Η αυτοπροσοχή κλιμακώνεται τετραγωνικά με το μήκος της ακολουθίας. Τα επίπεδα feed-forward μεγαλώνουν γραμμικά, αλλά τεράστια. Όταν εγκαταστήσεις ένα σύστημα βασισμένο σε transformers σε ένα κινητό ρομπότ που κινείται σε μια αποθήκη, ή το ενσωματώσεις σε ένα ηλεκτρονικό κύκλωμα που ελέγχει έναν βραχίονα παραγωγής, αυτές οι παραδοχές καταρρέουν.
Το παράδειγμα του μεταφραστή έχει κι αυτό τον δικό του περιορισμό: αντιμετωπίζει τη νοημοσύνη κυρίως ως πρόβλημα μετατροπής ανάμεσα σε σταθερές αναπαραστάσεις. Κωδικοποίησε την είσοδο. Αποκωδικοποίησε την έξοδο. Η πραγματική νοημοσύνη όμως δεν μεταφράζει απλώς: θυμάται, συνδέει και συγκλίνει σε σταθερές ερμηνείες ακόμη και όταν η είσοδος είναι αλλοιωμένη ή διφορούμενη.
Μέχρι τώρα μπαλώνουμε αυτά τα προβλήματα με κβαντοποίηση, απόσταξη, κλάδεμα και εκατό άλλα κόλπα βελτιστοποίησης. Οι έρευνες για το Edge AI το 2025 επιβεβαιώνουν ότι η εγκατάσταση της βαθιάς μάθησης σε ενσωματωμένο υλικό παραμένει «περιορισμένη από αυστηρούς περιορισμούς σε μνήμη, υπολογιστική ισχύ και ενέργεια». Η βελτιστοποίηση όμως μιας αρχιτεκτονικής που εξαρχής δεν ταιριάζει απλώς αναβάλλει τον λογαριασμό. Χρειαζόμαστε μια αρχιτεκτονική που αντιμετωπίζει τη μνήμη, τη σταθερότητα και την ενεργειακή απόδοση ως πρώτες αρχές και όχι ως δευτερεύουσες σκέψεις.
Το νευρωνικό δίκτυο Hopfield
Ένα δίκτυο Hopfield είναι ένα αναδρομικό νευρωνικό δίκτυο που αποτελείται από ένα μόνο επίπεδο νευρώνων, όπου κάθε νευρώνας συνδέεται με όλους τους άλλους εκτός από τον εαυτό του. Το δίκτυο σχηματίζει έναν πλήρη μη κατευθυνόμενο γράφο: κάθε ζεύγος νευρώνων μοιράζεται ένα συμμετρικό βάρος σύνδεσης, που σημαίνει ότι η ισχύς από τον νευρώνα i προς τον νευρώνα j είναι ίδια με την ισχύ από τον j προς i. Δεν υπάρχουν αυτοσυνδέσεις (wᵢᵢ = 0). Δεν υπάρχει ιεραρχία επιπέδων ούτε διοχέτευση διαδοχικής επεξεργασίας. Αντίθετα, ολόκληρο το δίκτυο λειτουργεί ως ένα ενιαίο, αλληλοσυνδεδεμένο δυναμικό σύστημα που εξελίσσεται με τον χρόνο προς σταθερές καταστάσεις ισορροπίας.
Ένα δίκτυο Hopfield με πλήρως συνδεδεμένους νευρώνες. Κάθε κόμβος συνδέεται με κάθε άλλον μέσω συμμετρικών βαρών (wᵢⱼ = wⱼᵢ), σχηματίζοντας έναν πλήρη μη κατευθυνόμενο γράφο. Δεν υπάρχουν αυτοσυνδέσεις.
Η κομψότητα αυτής της αρχιτεκτονικής βρίσκεται στη συνάρτηση ενέργειας. Ο Hopfield απέδειξε ότι το δίκτυό του διαθέτει μια συσχετισμένη συνάρτηση ενέργειας Lyapunov:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
Η ενέργεια αυτή εγγυημένα μειώνεται (ή παραμένει σταθερή) με κάθε ενημέρωση ενός νευρώνα. Το δίκτυο συγκλίνει πάντα: δεν ταλαντώνεται επ' άπειρον, δεν αποκλίνει, δεν παγιδεύεται σε ατέρμονους βρόχους υπολογισμού. Καταλήγει σε ηρεμία. Ο Bruck απέδειξε το 1990 ότι αυτή η συμπεριφορά ηρεμίας συνδέεται με τις τομές στον συσχετισμένο γράφο: το δίκτυο ουσιαστικά εκτελεί έναν άπληστο αλγόριθμο για το πρόβλημα της μέγιστης τομής (max-cut) σε κάθε βήμα ενημέρωσης.
Και εκεί που ηρεμεί το δίκτυο, εκεί κατοικεί η νοημοσύνη. Τα αποθηκευμένα πρότυπα αντιστοιχούν σε τοπικά ελάχιστα της συνάρτησης ενέργειας, τις κοιλάδες του ενεργειακού τοπίου. Όταν παρουσιάσεις στο δίκτυο μια αλλοιωμένη, θορυβώδη ή ελλιπή εκδοχή ενός αποθηκευμένου προτύπου, η δυναμική το κατρακυλά στην κατηφόρα μέχρι να πέσει στην πλησιέστερη κοιλάδα: το αποθηκευμένο πρότυπο που ταιριάζει καλύτερα με την είσοδο.
Το ενεργειακό τοπίο ενός δικτύου Hopfield. Κάθε κοιλάδα (τοπικό ελάχιστο) αντιστοιχεί σε ένα αποθηκευμένο πρότυπο μνήμης. Ξεκινώντας από οποιαδήποτε αρχική κατάσταση, η δυναμική του δικτύου κατρακυλά "στην κατηφόρα" μέχρι να καταλήξει στον πλησιέστερο ελκυστή, ανακτώντας ολόκληρο το πρότυπο από μερική ή θορυβώδη είσοδο.
Αυτή είναι η προσαρμόσιμη κατά περιεχόμενο συνειρμική μνήμη η ικανότητα να ανακαλείς ολόκληρες μνήμες από μερικές ενδείξεις, κάτι που οι βιολογικοί εγκέφαλοι κάνουν αβίαστα, ενώ οι transformers μπορούν μόνο να προσεγγίσουν μέσω δαπανηρών υπολογισμών.
Η σύνδεση με τη φυσική είναι βαθιά. Το δίκτυο Hopfield είναι μαθηματικά ισοδύναμο με ένα μοντέλο Ising, το ίδιο πλαίσιο που χρησιμοποιείται για να περιγράψει τον μαγνητισμό στη στατιστική μηχανική. Το μοντέλο Sherrington-Kirkpatrick για το σπιν-γυαλί, που δημοσιεύτηκε το 1975, είναι ουσιαστικά ένα δίκτυο Hopfield με τυχαία βάρη. Η διορατικότητα του Hopfield ήταν να αξιοποιήσει συνειδητά αυτή την ιδιότητα, σχεδιάζοντας το ενεργειακό τοπίο έτσι ώστε κάθε ελάχιστο να αντιστοιχεί σε ένα χρήσιμο αποθηκευμένο πρότυπο.
Εκμάθηση Hebb: Νευρώνες που ενεργοποιούνται μαζί συνδέονται μαζί
Ο κανόνας εκμάθησης που κάνει τα δίκτυα Hopfield να λειτουργούν έχει ρίζες ακόμη βαθύτερες, στο βιβλίο του Donald Hebb το 1949, The Organization of Behavior, το οποίο πρότεινε αυτό που σήμερα θεωρείται η θεμελιώδης αρχή της θεωρίας της νευρωνικής μάθησης.
Η ιδέα του Hebb ήταν απατηλά απλή: όταν ένα προσυναπτικό κύτταρο συμμετέχει επανειλημμένα και επίμονα στην πυροδότηση ενός μετασυναπτικού κυττάρου, η συναπτική σύνδεση μεταξύ τους ενισχύεται. «Νευρώνες που ενεργοποιούνται μαζί, συνδέονται μαζί», αν και ο ίδιος ο Hebb ήταν πιο ακριβής, τονίζοντας ότι το κύτταρο Α πρέπει να συμμετέχει στην πρόκληση της πυροδότησης του κυττάρου Β, και όχι απλώς να πυροδοτείται την ίδια στιγμή. Αυτή η χρονική αιτιότητα προανήγγειλε αυτό που σήμερα είναι γνωστό ως πλαστικότητα εξαρτώμενη από τον χρόνο των δυναμικών ενέργειας (STDP), η οποία επιβεβαιώθηκε πειραματικά δεκαετίες αργότερα, μεταξύ άλλων με την πρωτοποριακή έρευνα του Eric Kandel στο θαλάσσιο σαλιγκάρι Aplysia californica.
Η εκμάθηση Hebb (Hebbian learning): όταν δύο συνδεδεμένοι νευρώνες ενεργοποιούνται επανειλημμένα ταυτόχρονα, η σύναψη ανάμεσά τους ενισχύεται. Αυτή η αρχή, «οι νευρώνες που πυροδοτούνται μαζί συνδέονται μαζί», αποτελεί το βιολογικό θεμέλιο του τρόπου με τον οποίο τα δίκτυα Hopfield αποθηκεύουν μοτίβα.
Στο δίκτυο Hopfield, η εκμάθηση Hebb υλοποιείται ως εξής:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) για όλα τα αποθηκευμένα μοτίβα l, όπου u ≠ v
Όταν δύο νευρώνες έχουν την ίδια κατάσταση σε ένα δεδομένο μοτίβο (και οι δύο +1 ή και οι δύο −1), το γινόμενό τους είναι θετικό και ενισχύει τη διεγερτική σύνδεση. Όταν διαφωνούν, το γινόμενο είναι αρνητικό και δημιουργεί μια ανασταλτική σύνδεση. Το σωρευτικό αποτέλεσμα σμιλεύει ένα ενεργειακό τοπίο με μια κοιλάδα σε κάθε αποθηκευμένο μοτίβο.
Ο κανόνας του Hebb είναι τοπικός (κάθε ενημέρωση βάρους χρησιμοποιεί μόνο πληροφορίες που είναι διαθέσιμες στους δύο συνδεδεμένους νευρώνες) και επαυξητικός (νέα μοτίβα μπορούν να αποθηκευτούν χωρίς να επεξεργαστούν ξανά τα παλιά). Το αξιοσημείωτο είναι ότι μπορεί να αποδειχθεί μαθηματικά πως η εκμάθηση Hebb εκτελεί μη επιβλεπόμενη ανάλυση κύριων συνιστωσών (PCA) των δεδομένων εισόδου: το δίκτυο εξάγει φυσικά τα στατιστικά σημαντικότερα χαρακτηριστικά από το περιβάλλον του.
Το 1997, ο Amos Storkey παρουσίασε έναν βελτιωμένο κανόνα εκμάθησης που λαμβάνει υπόψη το τοπικό πεδίο σε κάθε νευρώνα και πετυχαίνει μεγαλύτερη χωρητικότητα αποθήκευσης από την τυπική εκμάθηση Hebb. Αυτό δείχνει ότι ακόμη και μέσα στην ίδια αρχιτεκτονική η επιλογή του αλγορίθμου εκμάθησης έχει βαθιά σημασία, μια αρχή που συνηχεί με το ευρύτερο δίδαγμα της έρευνας στα νευρωνικά δίκτυα.
Η τομή: «Hopfield Networks is All You Need»
Το 2020, μια ομάδα με επικεφαλής τον Hubert Ramsauer στο Johannes Kepler University Linz δημοσίευσε μια εργασία με έναν προκλητικό τίτλο που αντηχεί την ιστορία γέννησης του transformer: «Hopfield Networks is All You Need». Η συμβολή τους ήταν η μαθηματική απόδειξη αυτού που πολλοί υποψιάζονταν: ο μηχανισμός αυτοπροσοχής (self-attention) στους transformers είναι ακριβώς ο κανόνας ενημέρωσης ενός σύγχρονου συνεχούς δικτύου Hopfield.
Η σύνδεση ανάμεσα στα σύγχρονα δίκτυα Hopfield και στην προσοχή (attention) των transformers. Ο μηχανισμός προσοχής των transformers που βασίζεται στη softmax είναι μαθηματικά ισοδύναμος με ένα βήμα ενημέρωσης ενός συνεχούς δικτύου Hopfield με εκθετική ενεργειακή συνάρτηση. Εικόνα από τους Ramsauer et al., «Hopfield Networks is All You Need».
Αυτό δεν ήταν απλώς μια αναλογία. Η ομάδα έδειξε ότι, γενικεύοντας την κλασική ενεργειακή συνάρτηση του Hopfield σε συνεχείς καταστάσεις και χρησιμοποιώντας έναν εκθετικό όρο αλληλεπίδρασης, ο κανόνας ενημέρωσης που προκύπτει γίνεται:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
που είναι ακριβώς ο τύπος προσοχής των transformers. Το σύγχρονο δίκτυο Hopfield μπορεί να αποθηκεύσει εκθετικά πολλά μοτίβα (ως προς τη διάσταση του συσχετιστικού χώρου), τα ανακτά με μία μόνο ενημέρωση και έχει εκθετικά μικρά σφάλματα ανάκτησης.
Η εργασία εντόπισε τρεις τύπους ενεργειακών ελαχίστων σε αυτό το σύγχρονο πλαίσιο: (1) ένα καθολικό σταθερό σημείο που υπολογίζει τον μέσο όρο όλων των αποθηκευμένων μοτίβων, (2) μετασταθείς καταστάσεις που υπολογίζουν τον μέσο όρο υποσυνόλων μοτίβων, και (3) σταθερά σημεία που αποθηκεύουν μεμονωμένα μοτίβα. Οι κεφαλές (heads) των transformers στα χαμηλότερα επίπεδα τείνουν να λειτουργούν στο καθεστώς του καθολικού μέσου όρου, ενώ οι κεφαλές των ανώτερων επιπέδων χρησιμοποιούν μετασταθείς καταστάσεις για να συλλέξουν και να επεξεργαστούν πληροφορίες, ένα εύρημα που προσφέρει βαθιά εικόνα για το γιατί οι transformers λειτουργούν όπως λειτουργούν.
Η πρακτική συνέπεια ήταν άμεση: η ομάδα κυκλοφόρησε τα επίπεδα Hopfield (Hopfield layers)ως drop-in μονάδες PyTorch που μπορούν να αντικαταστήσουν τα επίπεδα pooling, τα επίπεδα GRU/LSTM και τα συνήθη επίπεδα προσοχής (attention). Στα benchmarks, αυτά τα επίπεδα Hopfield πέτυχαν αποτελέσματα αιχμής στην ταξινόμηση ανοσολογικών ρεπερτορίων (με αρκετές εκατοντάδες χιλιάδες περιπτώσεις ανά δείγμα), σε προβλήματα μάθησης πολλαπλών περιπτώσεων (multiple instance learning) και στα benchmarks ταξινόμησης του UCI, όπου οι παραδοσιακές μέθοδοι βαθιάς μάθησης συνήθως δυσκολεύονται.
Μέχρι τον Δεκέμβριο του 2025, μια εργασία των Masumura και Taki στο NeurIPS προχώρησε ακόμη παραπέρα και έδειξε ότι, αν ξεπεράσουμε την «αδιαβατική προσέγγιση», αποκαλύπτονται κρυφές καταστάσεις στην αντιστοιχία Hopfield–transformer, οι οποίες μπορούν να λύσουν τα προβλήματα της κατάρρευσης της τάξης (rank collapse) και της ομοιομορφίας των tokens που ταλαιπωρούν τους βαθείς transformers, βελτιώνοντας την ακρίβεια χωρίς να προσθέτουν καμία παράμετρο εκπαίδευσης.
Η αυξανόμενη συναίνεση: Ποιοι άλλοι το λένε αυτό;
Αυτό το επιχείρημα, ότι τα δίκτυα Hopfield αποτελούν το επόμενο παράδειγμα (paradigm) μετά τους transformers, δεν είναι εικασία. Το ακολουθούν ενεργά μεγάλα ερευνητικά ιδρύματα και τα στοιχεία συσσωρεύονται με γοργούς ρυθμούς. Ακολουθούν οι βασικές φωνές και εργασίες που καταλήγουν στο ίδιο συμπέρασμα.
IBM Research και Dmitry Krotov
Τον Ιανουάριο του 2025, η IBM Research δημοσίευσε μια εκτενή συνέντευξη με τον Dmitry Krotov, μακροχρόνιο συνεργάτη του Hopfield και έναν από τους αρχιτέκτονες της Dense Associative Memory. Ο Krotov έθεσε το ζήτημα ευθέως: καθώς τα δίκτυα Hopfield αντικατοπτρίζουν τους επαναλαμβανόμενους βρόχους ανάδρασης του εγκεφάλου, σε αντίθεση με την αρχιτεκτονική τροφοδότησης προς τα εμπρός (feedforward) του 90% των σημερινών μοντέλων τεχνητής νοημοσύνης, αποτελούν «μια πολλά υποσχόμενη εναλλακτική των σημερινών feedforward δικτύων». Επισήμανε ότι οι transformers επεξεργάζονται την πληροφορία μόνο προς μία κατεύθυνση και ότι, όσο μεγαλώνουν τα παράθυρα πλαισίου (context windows), η υπολογιστική πολυπλοκότητα αυξάνεται ραγδαία. Ο εγκέφαλος, αντίθετα, χρησιμοποιεί επαναλαμβανόμενους βρόχους ανάδρασης για να συνοψίζει και να αποθηκεύει στη μνήμη την προηγούμενη πληροφορία. Τα δίκτυα Hopfield λειτουργούν με τον ίδιο τρόπο.
Ο Krotov περιέγραψε επίσης τον Energy Transformer (NeurIPS 2023), μια συνεργασία της IBM Research με το Georgia Tech, ο οποίος δεν περιορίζεται στο να προσθέσει τις ιδέες του Hopfield πάνω στους υπάρχοντες transformers, αλλά αντικαθιστά ολόκληρη την ακολουθία των feedforward μπλοκ ενός transformer με ένα μοναδικό μεγάλο μοντέλο Associative Memory. Ο μηχανισμός προσοχής στον Energy Transformer διαφέρει ρητά από τη συμβατική προσοχή: προκύπτει από πρώτες αρχές ελαχιστοποίησης της ενέργειας και δεν έχει «μπαλωθεί» πάνω σε μια feedforward διοχέτευση.
🔗 IBM Research «Searching for brain-inspired AI algorithms» (Ιαν. 2025)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
Πανεπιστήμιο Johannes Kepler – Ομάδα του Hochreiter
Ο Sepp Hochreiter, συνεφευρέτης του LSTM, ηγήθηκε της ομάδας που δημοσίευσε το «Hopfield Networks is All You Need». Το αποθετήριο Hopfield layers της ομάδας παρέχει έτοιμες για παραγωγή μονάδες PyTorch που λειτουργούν ως drop-in αντικαταστάσεις για τα επίπεδα προσοχής των transformers, τα επίπεδα pooling και τα επαναλαμβανόμενα επίπεδα. Το συνοδευτικό άρθρο στο blog παρουσιάζει βήμα βήμα τη μαθηματική παραγωγή, η οποία δείχνει ότι ο τύπος της προσοχής softmax είναι ειδική περίπτωση του σύγχρονου κανόνα ενημέρωσης Hopfield και ότι τα επίπεδα Hopfield προσφέρουν πρόσθετες δυνατότητες που η συνήθης προσοχή δεν μπορεί να προσφέρει, όπως στατικά μαθημένα πρωτότυπα και ευέλικτες διαμορφώσεις συνειρμικής μνήμης.
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers
Τα πιο πρόσφατα στοιχεία προέρχονται από την εργασία των Masumura και Taki στο NeurIPS τον Δεκέμβριο του 2025. Έδειξαν ότι Modern Hopfield Attention (MHA), η οποία προσθέτει κρυφές καταστάσεις που προκύπτουν από την πλήρη (μη αδιαβατική) δυναμική Hopfield, βελτιώνει συστηματικά τόσο τα γλωσσικά μοντέλα GPT-2 και LLaMA όσο και τους Vision Transformers. Οι βελτιώσεις ήρθαν χωρίς καμία πρόσθετη παράμετρο εκπαίδευσης. Σημαντικότερο ακόμη, διαπιστώθηκε ότι η MHA λύνει το πρόβλημα της κατάρρευσης βαθμίδας (rank collapse), όπου οι πίνακες προσοχής στους βαθείς transformers εκφυλίζονται και όλα τα tokens καταλήγουν σε παρόμοιες αναπαραστάσεις, μια θεμελιώδη παθολογία που ταλαιπωρεί εδώ και καιρό τις προσπάθειες κλιμάκωσης των transformers. Οι συγγραφείς κατέληξαν: «Ελπίζουμε ότι αυτή η έρευνα θα ανοίξει νέες δυνατότητες για τον συστηματικό σχεδιασμό αρχιτεκτονικών Transformer με δίκτυα Hopfield.»
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: Βιολογικά εύλογη διαδικτυακή μάθηση
Τον Μάιο του 2024, το Nature Communications δημοσίευσε μια εργασία για το Sparse Quantized Hopfield Network, ένα μοντέλο που μαθαίνει με τοπικούς κανόνες μάθησης σε διαδικτυακά (online) και συνεχή σενάρια, ακριβώς όπως οι βιολογικοί εγκέφαλοι. Έτσι αντιμετωπίζεται ένας βασικός περιορισμός των transformers, που απαιτούν μη τοπική οπισθοδιάδοση (backpropagation) και εκπαίδευση εκτός σύνδεσης (offline) σε επιμελημένα σύνολα δεδομένων. Η εργασία παρουσιάζει τις αρχιτεκτονικές βασισμένες στο Hopfield ως τη φυσική γέφυρα ανάμεσα στα τεχνητά νευρωνικά δίκτυα και το νευρομορφικό υλικό.
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
Outlier-Efficient Hopfield Layers for Large Foundation Models
Μια εργασία του 2024 έπιασε ένα πρακτικό πρόβλημα των μεγάλων μοντέλων transformer: την τάση να δίνουν προσοχή σε tokens χωρίς πληροφορική αξία (διαχωριστικά, σημεία στίξης), το λεγόμενο πρόβλημα των «no-op outliers». Η λύση τους ήταν μια outlier-efficient συνάρτηση ενέργειας Hopfield που κατατάσσει αυτά τα tokens και τα δρομολογεί σε ένα σημείο μηδενικής ενέργειας, ώστε να μην αραιώνουν τη χρήσιμη προσοχή. Το μοντέλο που προκύπτει περιλαμβάνει την προσοχή Softmax₁ ως ειδική περίπτωση και επικυρώθηκε σε BERT, OPT και Vision Transformers. Εδώ η θεωρία Hopfield λύνει πραγματικά προβλήματα μηχανικής των transformers.
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
Οι Transformers ως ελαχιστοποιητές ενέργειας (Ιανουάριος 2026)
Η πιο πρόσφατη θεωρητική εργασία, που δημοσιεύτηκε τον Ιανουάριο του 2026, περιγράφει ολόκληρο το forward pass ενός transformer ως εγγενή ελαχιστοποίηση ενέργειας, υιοθετώντας πλήρως την οπτική Hopfield ως το ερμηνευτικό πλαίσιο για το γιατί οι transformers λειτουργούν. Η εργασία συνδέει τα αραιά σύγχρονα μοντέλα Hopfield με ολόκληρη την οικογένεια παραλλαγών προσοχής (softmax, sparsemax, α-entmax), δείχνοντας ότι όλες είναι ειδικές περιπτώσεις μιας δυναμικής ανάκτησης βασισμένης στην ενέργεια.
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (Ιαν. 2026)
Εργασίες ανασκόπησης και πόροι της κοινότητας
Η ευρύτερη ερευνητική κοινότητα οργανώνεται γύρω από αυτή τη σύγκλιση:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, Απρίλιος 2025) Μια ολοκληρωμένη ανασκόπηση που ακολουθεί ολόκληρη την πορεία από τον Hopfield (1982) και τις Μηχανές Boltzmann μέχρι την επανερμηνεία της προσοχής των transformers ως σύγχρονης δυναμικής Hopfield. → Διαβάστε την εργασία
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" Ένα εμπεριστατωμένο τεχνικό blog που υποστηρίζει ότι η κατανόηση των transformers μέσα από τον φακό της ενέργειας Hopfield «μπορεί να οδηγήσει σε ποιοτικά διαφορετικές βελτιώσεις, πέρα από όσα είναι εφικτά βασιζόμενοι μόνο στην κλιμάκωση και τη μείωση της υπολογιστικής πολυπλοκότητας.» → Διαβάστε το ιστολόγιο
- Awesome Modern Hopfield Networks Ένα επιμελημένο αποθετήριο στο GitHub που παρακολουθεί πάνω από 50 εργασίες για τα σύγχρονα δίκτυα Hopfield σε διάφορους τομείς: κατανομή περιουσιακών στοιχείων, ανίχνευση αλλαγών, ανακατασκευή δημιουργικής σκέψης, ανίχνευση δεδομένων εκτός κατανομής, ταξινόμηση ανοσολογικού ρεπερτορίου και πολλά ακόμη. → Περιηγηθείτε στη συλλογή
- «Is Hopfield Networks All You Need?» (Analytics India Magazine, Δεκ. 2024) Κάλυψη προσανατολισμένη στους επαγγελματίες για το πώς η ομάδα του Hochreiter έδειξε ότι τα δίκτυα Hopfield είναι «εναλλάξιμα με τα κορυφαία μοντέλα transformer». → Διαβάστε το άρθρο
- «New Research in Hopfield Networks: A Short Intro» (Medium, Ιούλ. 2024) Προσιτή επισκόπηση που επισημαίνει ότι η χωρητικότητα αποθήκευσης έχει αυξηθεί από 0,138N σε 2^(N/2) μέσω εκθετικών συναρτήσεων ενεργοποίησης. → Διαβάστε στο Medium
Η πορεία είναι ξεκάθαρη. Δεν πρόκειται για πρόταση ενός μόνο εργαστηρίου ούτε για εικασία μίας μόνο εργασίας. Η IBM Research, το Πανεπιστήμιο Johannes Kepler, το MIT, το NeurIPS, το Nature Communications και η ευρύτερη κοινότητα της μηχανικής μάθησης οδηγούνται στο ίδιο συμπέρασμα από διαφορετικές κατευθύνσεις: το ενεργειακό παράδειγμα της συνειρμικής μνήμης που καθιέρωσε ο Hopfield δεν είναι απλώς το θεμέλιο πάνω στο οποίο χτίστηκαν εν αγνοία τους οι transformers, είναι το πλαίσιο που θα πάει την τεχνητή νοημοσύνη πέρα από όσα μπορούν να πετύχουν μόνοι τους οι transformers.
Γιατί έχει σημασία τώρα: τα επιχειρήματα για την αλλαγή
Εγγυημένη σύγκλιση για συστήματα κρίσιμης ασφάλειας
Οι transformers παράγουν εξόδους, αλλά δεν υπάρχει μαθηματική εγγύηση σταθερότητας. Τα δίκτυα Hopfield συγκλίνουν σε σταθερές καταστάσεις αποδεδειγμένα η συνάρτηση ενέργειας μειώνεται μονότονα. Για τη ρομποτική, τα αυτόνομα οχήματα, τις ιατρικές συσκευές και κάθε σύστημα όπου η αξιοπιστία είναι αδιαπραγμάτευτη, αυτό είναι μια απαίτηση που οι transformers δεν μπορούν να καλύψουν.
Η συνειρμική μνήμη ως βασική ικανότητα
Αν εκπαιδεύσετε ένα δίκτυο Hopfield ώστε η κατάσταση (1, −1, 1, −1, 1) να είναι ελάχιστο ενέργειας και του δώσετε την αλλοιωμένη είσοδο (1, −1, −1, −1, 1), το δίκτυο συγκλίνει στο σωστό αποθηκευμένο μοτίβο. Δεν μαντεύει ούτε παρεμβάλλει κυλάει προς τα κάτω στο ενεργειακό τοπίο μέχρι τον κοντινότερο ελκυστή. Για τη ρομποτική με αισθητήρες που καλύπτονται εν μέρει, για τα ενσωματωμένα συστήματα με θορυβώδη δεδομένα και για κάθε εφαρμογή που χρειάζεται συμπλήρωση μοτίβου από μερική είσοδο, αυτό είναι ένα μεγάλο βήμα μπροστά.
Μια καθολική μηχανή βελτιστοποίησης
Ο Hopfield και ο David Tank έδειξαν το 1985 ότι τα δίκτυα Hopfield μπορούν να λύσουν το πρόβλημα του πλανόδιου πωλητή. Αν μια συνάρτηση κόστους μπορεί να γραφτεί με τη μορφή της ενέργειας Hopfield, τότε τα σημεία ισορροπίας του δικτύου είναι οι λύσεις. Έκτοτε, η αρχιτεκτονική έχει εφαρμοστεί στον προγραμματισμό εργασιών (job-shop scheduling), στην κατανομή καναλιών σε ασύρματα δίκτυα, στην αποκατάσταση εικόνας, στη μετατροπή αναλογικού σε ψηφιακό, στη δρομολόγηση κινητών δικτύων και στον συνδυαστικό βελτιστοποιητικό υπολογισμό. Μια δημοσίευση του 2024 στο Nature Communications παρουσίασε ένα Sparse Quantized Hopfield Network για διαδικτυακή συνεχή εκμάθηση μνήμης με τοπικούς κανόνες με τον ίδιο τρόπο που λειτουργούν οι βιολογικοί εγκέφαλοι, μια ικανότητα που στους transformers λείπει εκ φύσεως.
Υλικό που σκέφτεται χωρίς λογισμικό
Ο περιορισμός της συμμετρίας των βαρών (wᵢⱼ = wⱼᵢ) αντιστοιχίζεται απευθείας σε αναλογικά ηλεκτρονικά κυκλώματα μια αντιστατική σύνδεση είναι εκ φύσεως συμμετρική. Τα δίκτυα Hopfield μπορούν να κατασκευαστούν ως ASIC ή FPGA με συμπερασμό σε κλίμακα νανοδευτερολέπτων. Η συλλογή του Nature για το 2025 σχετικά με τον νευρομορφικό υπολογισμό επιβεβαιώνει αυτή την κατεύθυνση: ενεργειακά αποδοτικό αναλογικό υλικό που υλοποιεί νευρωνικές δυναμικές στην άκρη του δικτύου, με μνήμη προσπελάσιμη βάσει περιεχομένου που δεν χρειάζεται GPU, CPU ούτε στοίβα λογισμικού.
Νευρομορφικά και αναλογικά τσιπ τεχνητής νοημοσύνης που υλοποιούν τη δυναμική των νευρωνικών δικτύων απευθείας στο υλικό. Η συμμετρική, ενεργειακή δομή των δικτύων Hopfield αντιστοιχεί με φυσικό τρόπο σε αντιστατικά κυκλώματα και επιτρέπει συμπερασμό (inference) ΤΝ σε κλίμακα νανοδευτερολέπτων, χωρίς τις παραδοσιακές στοίβες λογισμικού.
Δυαδική και συνεχής ευελιξία
Τα κλασικά δίκτυα Hopfield χρησιμοποιούν δυαδικούς νευρώνες (+1 ή −1)· οι συνεχείς παραλλαγές χρησιμοποιούν σιγμοειδή συνάρτηση ενεργοποίησης και διαφορικές εξισώσεις. Οι ενημερώσεις μπορούν να γίνονται ασύγχρονα (ένας νευρώνας τη φορά, με εγγυημένη σύγκλιση) ή σύγχρονα (όλοι μαζί, επιτρέποντας παραλληλισμό). Η ίδια αρχιτεκτονική προσαρμόζεται από έναν μικροελεγκτή με λίγα kilobytes RAM μέχρι ένα massively parallel FPGA και πλέον, με τα σύγχρονα επίπεδα Hopfield, μέχρι τις γραμμές επεξεργασίας deep learning που επιταχύνονται από GPU.
Χωρητικότητα αποθήκευσης: ο ειλικρινής περιορισμός
Ο κλασικός περιορισμός είναι σαφής: ένα δίκτυο N νευρώνων αποθηκεύει αξιόπιστα περίπου 0.138N πρότυπα, πριν οι ψευδείς καταστάσεις επιδεινώσουν την ανάκληση. Είναι πραγματικός περιορισμός, αλλά είναι ειλικρινής. Οι transformers δεν έχουν ένα καθαρό μαθηματικό όριο για το πότε θα αρχίσουν να παραισθάνονται (hallucinate).
Επιπλέον, τα σύγχρονα δίκτυα Hopfield (Krotov & Hopfield, 2016· Demircigil et al., 2017) επιτυγχάνουν εκθετική χωρητικότητα αποθήκευσης μέσω όρων αλληλεπίδρασης ανώτερης τάξης. Η έρευνα συνεχίζει να διευρύνει αυτά τα όρια: τα αραιά και δομημένα δίκτυα Hopfield, η μνήμη Hopfield για μακριές ακολουθίες και τα δίκτυα Hopfield για κατανομή περιουσιακών στοιχείων είναι όλα ενεργά πεδία ανάπτυξης, με τις δημοσιεύσεις να πολλαπλασιάζονται γρήγορα.
Πρακτική εφαρμογή: από τους υπολογιστές στα κυκλώματα
Το αρχικό όραμα των πρωτοπόρων της έρευνας στα νευρωνικά δίκτυα ήταν σαφές: ένα πλαίσιο που θα περιγράφεται μία φορά και θα εφαρμόζεται παντού. Η αρχιτεκτονική του Hopfield το πραγματώνει:
Εφαρμογές υπολογιστή Ένας πίνακας βαρών και ένας κανόνας ενημέρωσης. Δεν απαιτείται GPU.
Εφαρμογές διαδικτύου Μνήμη προσπελάσιμη μέσω περιεχομένου για αναζήτηση ομοιότητας, συστάσεις και αφαίρεση διπλότυπων.
Ρομποτική Εγγυημένη σύγκλιση για βρόχους ελέγχου πραγματικού χρόνου. Τα πρότυπα κίνησης αποθηκεύονται ως ελκυστές και ανακαλούνται ακόμη και από θορυβώδη δεδομένα αισθητήρων.
Ενσωματωμένα συστήματα Τα δυαδικά δίκτυα Hopfield τρέχουν σε μικροελεγκτές μόνο με αριθμητική ακεραίων.
Ηλεκτρονικά κυκλώματα Τα συμμετρικά βάρη αντιστοιχούν σε αντιστατικά δίκτυα. Η νοημοσύνη κατασκευάζεται απευθείας στο πυρίτιο.
Ο δρόμος προς τα εμπρός
Η εποχή των transformers μάς έδωσε εξαιρετικές μηχανές γλώσσας. Όμως το μέτωπο της έρευνας επεκτείνεται στον φυσικό κόσμο: ρομπότ, αισθητήρες, ενεργοποιητές και αποφάσεις σε πραγματικό χρόνο. Αυτό το μέτωπο απαιτεί αρχιτεκτονικές που είναι σταθερές, αποδοτικές, ερμηνεύσιμες και εφαρμόσιμες σε υλικό που υπάρχει πραγματικά στην άκρη του δικτύου (edge).
Η απόδειξη του 2020 ότι η προσοχή (attention) των transformers είναι ένας σύγχρονος κανόνας ενημέρωσης Hopfield δεν ήταν απλώς μια μαθηματική περιέργεια αποκάλυψε ότι χρησιμοποιούσαμε δίκτυα Hopfield από την αρχή, τυλιγμένα σε ένα πλαίσιο που συγκάλυπτε την πραγματική τους φύση. Η εργασία του NeurIPS 2025, που δείχνει ότι οι κρυφές καταστάσεις Hopfield λύνουν παθογένειες των transformers όπως η κατάρρευση βαθμίδας (rank collapse), υποδεικνύει το επόμενο βήμα: όχι να μπαλώνουμε τους transformers με ιδέες από τα δίκτυα Hopfield, αλλά να χτίσουμε απευθείας πάνω στο ίδιο το παράδειγμα Hopfield.
Ο John Hopfield μάς έδειξε τον δρόμο το 1982. Ο Donald Hebb έθεσε τα βιολογικά θεμέλια το 1949. Η ερευνητική κοινότητα συγκλίνει πλέον προς αυτόν.
Ήρθε η ώρα να αλλάξουμε.
Βιβλιογραφία
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior. Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, Απρίλιος 2025. techrxiv.org
