Hebbovo učenje susreće Hopfieldove mreže: arhitektura koja je oduvijek bila pametnija od transformera

Tijekom proteklog desetljeća transformeri i njihovi mehanizmi pažnje dominirali su svijetom umjetne inteligencije. Od GPT-a preko BERT-a do Vision Transformera, mantra "pažnja je sve što trebaš" iznova je oblikovala naše razmišljanje o strojnom učenju. Sustavi prevoditelja, enkoder-dekoder cjevovodi koji pretvaraju podatke iz jednog prikaza u drugi, postali su okosnica svega, od obrade jezika do generiranja slika. Bili su revolucionarni. Bili su moćni.

A sada udaraju u zid.

Ironija je u tome što rješenje postoji još od 1982. Te je godine John Hopfield objavio rad u časopisu Proceedings of the National Academy of Sciences u kojem je predstavio rekurentnu neuronsku mrežu sa svojstvom koje transformeri nikada nisu zaista postigli: zajamčenom konvergencijom prema stabilnim stanjima putem minimizacije energije. Hopfieldova mreža nije samo učila uzorke, nego ih je pohranjivala kao fizičke atraktore u energetskom krajoliku, iz kojeg ih je moguće dohvatiti čak i iz šumnih ili nepotpunih ulaznih podataka.

Zajednica umjetne inteligencije tek sada počinje usvajati ono što fizičari i neuroznanstvenici znaju desetljećima: energetski utemeljen, asocijativan pristup neuronskom računanju nije povijesna kuriozitet, nego temeljna paradigma na kojoj je era transformera samo gradila, a da je do kraja nije razumjela.

Strop transformera

Transformeri rade tako da putem samopažnje istodobno računaju odnose između svakog elementa u nizu. To je sjajno za jezik. Sjajno je i za strukturirane podatke s jasnim slijednim uzorcima. No stvarni svijet, svijet robotike, ugradbenih sklopova, odlučivanja temeljenog na senzorima i rubnog računalstva, ne organizira se u uredne nizove koji čekaju da im se posveti pažnja.

Arhitektura transformera pretpostavlja obilje: obilje računalne snage, obilje memorije, obilje energije. Samopažnja raste kvadratno s duljinom niza. Slojevi s propagacijom unaprijed rastu linearno, ali golemo. Kad transformerski sustav postavite na mobilnog robota koji se kreće skladištem ili ga ugradite u elektronički sklop koji upravlja proizvodnom rukom, te pretpostavke se urušavaju.

Paradigma prevoditelja nosi vlastito ograničenje: inteligenciju promatra prije svega kao problem pretvorbe između fiksnih prikaza. Kodiraj ulaz. Dekodiraj izlaz. No prava inteligencija ne samo da prevodi, ona pamti, ona povezuje i konvergira prema stabilnim tumačenjima čak i kad je ulaz oštećen ili dvosmislen.

Te probleme krpamo kvantizacijom, destilacijom, orezivanjem i stotinom drugih optimizacijskih trikova. Pregledi rubne umjetne inteligencije iz 2025. potvrđuju da je primjena dubokog učenja na ugradbenom hardveru i dalje "ograničena strogim ograničenjima memorije, računanja i energije". No optimizacija u osnovi neprikladne arhitekture samo odgađa obračun. Trebamo arhitekturu koja memoriju, stabilnost i energetsku učinkovitost smatra prvim načelima, a ne naknadnim mislima.

Hopfieldova neuronska mreža stupa na scenu

Hopfieldova mreža je rekurentna neuronska mreža koja se sastoji od jednog sloja neurona, pri čemu je svaki neuron povezan sa svakim drugim neuronom, osim sa samim sobom. Mreža tvori potpuni neusmjereni graf: svaki par neurona dijeli simetričnu težinu veze, što znači da je jakost veze od neurona i prema neuronu j jednaka jakosti veze od jnai. Nema samopovezivanja (wᵢᵢ = 0). Nema slojevite hijerarhije. Nema slijednog cjevovoda obrade. Umjesto toga, cijela mreža funkcionira kao jedan jedinstven, međusobno povezan dinamički sustav koji se s vremenom razvija prema stabilnim ravnotežnim stanjima.

Hopfieldova mreža s potpuno povezanim neuronima. Svaki čvor povezan je sa svakim drugim čvorom simetričnim težinama (wᵢⱼ = wⱼᵢ), čime nastaje potpuni neusmjereni graf. Samopovezivanja ne postoje.

Eleganciju ove arhitekture čini njezina energijska funkcija. Hopfield je dokazao da njegova mreža ima pridruženu Ljapunovljevu energijsku funkciju:

E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ

Zajamčeno je da se ta energija smanjuje (ili ostaje nepromijenjena) pri svakom ažuriranju neurona. Mreža uvijek konvergira: nikad ne oscilira unedogled, nikad ne divergira, nikad ne zapne u beskonačnim petljama računanja. Ona se smiruje. Bruck je 1990. dokazao da je to smirivanje povezano s rezovima u pridruženom grafu: mreža pri svakom koraku ažuriranja zapravo izvodi pohlepni algoritam za problem maksimalnog reza.

A tamo gdje se mreža smiri, tamo živi inteligencija. Pohranjeni obrasci odgovaraju lokalnim minimumima energijske funkcije, dolinama u energijskom krajoliku. Kad mreži predočite oštećenu, bučnu ili nepotpunu verziju pohranjenog obrasca, dinamika spušta stanje mreže nizbrdo sve dok ne upadne u najbližu dolinu: pohranjeni obrazac koji se najbolje podudara s ulazom.

Energijski krajolik Hopfieldove mreže. Svaka dolina (lokalni minimum) odgovara jednom pohranjenom obrascu sjećanja. Polazeći od bilo kojeg početnog stanja, dinamika mreže kotrlja stanje „nizbrdo” sve dok se ne smiri u najbližem atraktoru, čime se iz djelomičnog ili bučnog ulaza vraća cjelovit obrazac.

Ovo je asocijativna memorija adresirana sadržajem sposobnost prisjećanja cjelovitih sjećanja iz djelomičnih znakova, ono što biološki mozak čini bez po muke, a transformeri to mogu samo približno oponašati skupim računanjem.

Veza s fizikom seže duboko. Hopfieldova mreža matematički je ekvivalentna Isingovu modelu, istom okviru kojim se u statističkoj mehanici opisuje magnetizam. Sherrington–Kirkpatrickov model spinskog stakla, objavljen 1975., zapravo je Hopfieldova mreža sa slučajnim težinama. Hopfieldov uvid bio je da se to svojstvo iskoristi namjerno, oblikujući energijski krajolik tako da svaki minimum odgovara jednom korisnom pohranjenom obrascu.

Hebbovo učenje: neuroni koji zajedno pale, zajedno se povezuju

Pravilo učenja zbog kojeg Hopfieldove mreže rade ima korijene još dublje u prošlosti, u knjizi Donalda Hebba iz 1949. The Organization of Behavior, u kojoj je iznio ono što se danas smatra temeljnim načelom teorije neuronskog učenja.

Hebbov uvid bio je varljivo jednostavan: kad presinaptička stanica ponavljano i trajno sudjeluje u aktiviranju postsinaptičke stanice, sinaptička veza među njima jača. „Neuroni koji zajedno pale, zajedno se povezuju”, iako je sam Hebb bio precizniji i isticao da stanica A mora sudjelovati u izazivanju paljenja stanice B, a ne samo paliti istodobno s njom. Ta vremenska uzročnost nagovijestila je ono što je danas poznato kao plastičnost ovisna o vremenu impulsa (STDP), koja je eksperimentalno potvrđena desetljećima poslije, uključujući revolucionarno istraživanje Erica Kandela na morskom puževu Aplysia californica.

Hebbovo učenje: kad se dva povezana neurona opetovano aktiviraju zajedno, sinapsa među njima jača. Načelo „neuroni koji se zajedno pale, zajedno se i povezuju” ("neurons that fire together wire together") biološka je osnova na kojoj Hopfieldove mreže pohranjuju uzorke.

U Hopfieldovoj mreži Hebbovo učenje provodi se ovako:

wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) za sve pohranjene uzorke l, pri čemu je u ≠ v

Kad dva neurona u određenom uzorku imaju isto stanje (oba +1 ili oba −1), njihov je umnožak pozitivan i pojačava ekscitacijsku vezu. Kad se ne slažu, umnožak je negativan i stvara inhibicijsku vezu. Zbroj tih učinaka oblikuje energetski krajolik s dolinom na mjestu svakog pohranjenog uzorka.

Hebbovo pravilo je lokalno (svako ažuriranje težine koristi samo informacije dostupne dvama povezanim neuronima) i inkrementalno (nove se uzorke može pohraniti bez ponovne obrade starih). Zanimljivo je da se matematički može pokazati kako Hebbovo učenje provodi nenadziranu analizu glavnih komponenti (PCA) ulaznih podataka mreža tako sasvim prirodno izdvaja statistički najznačajnija obilježja iz svoje okoline.

Godine 1997. Amos Storkey predstavio je poboljšano pravilo učenja koje uzima u obzir lokalno polje svakog neurona i postiže veći kapacitet pohrane od standardnog Hebbova učenja. To pokazuje da je i unutar iste arhitekture izbor algoritma učenja od presudne važnosti načelo koje odjekuje u široj pouci istraživanja neuronskih mreža.

Prijelomnica: „Hopfield Networks is All You Need”

Godine 2020. tim pod vodstvom Huberta Ramsauera sa Sveučilišta Johannes Kepler u Linzu objavio je rad s provokativnim naslovom koji odjekuje početkom priče o transformeru: „Hopfield Networks is All You Need.” Njihov je doprinos matematički dokaz onoga što su mnogi slutili: mehanizam samopažnje (self-attention) u transformerima točno je pravilo ažuriranja moderne kontinuirane Hopfieldove mreže.

Veza između modernih Hopfieldovih mreža i pažnje u transformerima. Mehanizam pažnje utemeljen na softmaxu u transformerima matematički je jednak jednom koraku ažuriranja kontinuirane Hopfieldove mreže s eksponencijalnom energetskom funkcijom. Slika: Ramsauer i sur., „Hopfield Networks is All You Need.”

To nije bila tek analogija. Tim je pokazao da se poopćenjem klasične Hopfieldove energetske funkcije na kontinuirana stanja i uvođenjem eksponencijalnog člana interakcije dobiva sljedeće pravilo ažuriranja:

Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv

a to je upravo formula pažnje u transformerima. Moderna Hopfieldova mreža može pohraniti eksponencijalno mnogo uzoraka (s obzirom na dimenziju asocijativnog prostora), dohvaća ih jednim korakom ažuriranja i ima eksponencijalno male pogreške dohvaćanja.

Rad je u ovom modernom okviru prepoznao tri vrste energetskih minimuma: (1) globalnu fiksnu točku koja usrednjuje sve pohranjene uzorke, (2) metastabilna stanja koja usrednjuju podskupove uzoraka i (3) fiksne točke koje pohranjuju pojedinačne uzorke. Glave transformera u nižim slojevima obično djeluju u režimu globalnog usrednjavanja, dok glave u višim slojevima koriste metastabilna stanja za prikupljanje i obradu informacija a taj nalaz nudi dubok uvid u to zašto transformeri rade onako kako rade.

Praktična je posljedica bila trenutačna: tim je objavio Hopfieldove slojevekao zamjenske PyTorch module koji mogu zamijeniti slojeve sažimanja (pooling), GRU/LSTM slojeve i standardne slojeve pažnje. U mjerenjima su ti Hopfieldovi slojevi postigli vrhunske rezultate u klasifikaciji imunoloških repertoara (s nekoliko stotina tisuća instanci po uzorku), u problemima učenja s višestrukim instancama te na UCI referentnim skupovima za klasifikaciju, na kojima se tradicionalne metode dubokog učenja obično muče.

Do prosinca 2025. rad Masumure i Takija na konferenciji NeurIPS otišao je i korak dalje te pokazao da prelazak preko „adijabatske aproksimacije” otkriva skrivena stanja u korespondenciji između Hopfieldovih mreža i transformera, koja mogu riješiti probleme kolapsa ranga i uniformnosti tokena što muče duboke transformere, i to poboljšavajući točnost bez ijednog dodatnog parametra za treniranje.

Rastući konsenzus: tko još to govori?

Tvrdnja da Hopfieldove mreže predstavljaju sljedeću paradigmu nakon transformera nije puka spekulacija. Njome se aktivno bave velike istraživačke institucije, a dokazi se brzo gomilaju. Evo ključnih glasova i radova koji dolaze do istog zaključka.

IBM Research i Dmitry Krotov

U siječnju 2025. IBM Research objavio je opsežan intervju s Dmitryjem Krotovom, dugogodišnjim Hopfieldovim suradnikom i jednim od arhitekata Dense Associative Memory modela. Krotov je to izravno obrazložio: budući da Hopfieldove mreže odražavaju povratne petlje mozga, za razliku od feedforward arhitekture koju ima 90 % današnjih AI modela, one predstavljaju „obećavajuću alternativu današnjim feedforward mrežama”. Istaknuo je da transformeri obrađuju informacije samo u jednom smjeru te da se, kako kontekstni prozori rastu, računska složenost brzo povećava. Mozak, nasuprot tome, koristi povratne petlje kako bi sažimao i pohranjivao prošle informacije u memoriji. Hopfieldove mreže rade na isti način.

Krotov je opisao i Energy Transformer (NeurIPS 2023), suradnju IBM Researcha i Georgia Techa koja ne nadograđuje postojeće transformere Hopfieldovim spoznajama, nego cijeli niz feedforward blokova transformera zamjenjuje jednim velikim modelom asocijativne memorije. Mehanizam pažnje u Energy Transformeru izričito se razlikuje od konvencionalne pažnje: izveden je iz prvih načela minimizacije energije, a ne zakrpan na feedforward cjevovod.

🔗 IBM Research „Searching for brain-inspired AI algorithms” (siječanj 2025.)

🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)

Sveučilište Johannesa Keplera – Hochreiterova grupa

Sepp Hochreiter, suizumitelj LSTM-a, vodio je tim koji je objavio rad „Hopfield Networks is All You Need”. Njihov repozitorij Hopfieldovih slojeva nudi PyTorch module spremne za produkciju, koji služe kao zamjena za slojeve pažnje u transformerima, slojeve sažimanja i rekurentne slojeve. Prateći blog post korak po korak prolazi kroz matematičko izvođenje koje pokazuje da je formula softmax pažnje poseban slučaj modernog Hopfieldovog pravila ažuriranja te da Hopfieldovi slojevi nude dodatne mogućnosti koje standardna pažnja ne može pružiti, uključujući statične naučene prototipove i fleksibilne konfiguracije asocijativne memorije.

🔗 Hopfield Networks is All You Need - ICLR 2021

🔗 PyTorch Hopfield Layers - GitHub

🔗 Interactive Blog Post - ml-jku.github.io

NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers

Najnoviji dokazi dolaze iz rada Masumure i Takija s konferencije NeurIPS iz prosinca 2025. Oni su pokazali da Moderna Hopfieldova pažnja (MHA) koja dodaje skrivena stanja izvedena iz pune (neadijabatske) Hopfieldove dinamike, sustavno poboljšava i jezične modele GPT-2 i LLaMA te Vision Transformere. Poboljšanja su stigla bez ijednog dodatnog parametra za treniranje. Što je još važnije, pokazalo se da MHA rješava problem kolapsa ranga (kad matrice pažnje u dubokim transformerima degeneriraju pa svi tokeni konvergiraju prema sličnim reprezentacijama), temeljnu patologiju koja već godinama muči pokušaje skaliranja transformera. Autori zaključuju: "Nadamo se da će ovo istraživanje otvoriti nove mogućnosti za sustavno oblikovanje arhitektura Transformera pomoću Hopfieldovih mreža."

🔗 O ulozi skrivenih stanja moderne Hopfieldove mreže u Transformeru, arXiv:2511.20698 (NeurIPS 2025)

Nature Communications: biološki uvjerljivo online učenje

U svibnju 2024. Nature Communications objavio je rad o rijetkoj kvantiziranoj Hopfieldovoj mreži (Sparse Quantized Hopfield Network), modelu koji uči lokalnim pravilima učenja u online-kontinuiranim scenarijima, i to točno onako kako uče biološki mozgovi. Time se rješava temeljno ograničenje transformera, kojima su potrebni nelokalna povratna propagacija i offline treniranje na pažljivo odabranim skupovima podataka. Rad Hopfieldove arhitekture prikazuje kao prirodan most između umjetnih neuronskih mreža i neuromorfnog računalnog hardvera.

🔗 Rijetka kvantizirana Hopfieldova mreža za online-kontinuiranu memoriju, Nature Communications (2024)

Hopfieldovi slojevi otporni na odstupajuće vrijednosti za velike temeljne modele

Rad iz 2024. bavi se praktičnim problemom velikih transformerskih modela: sklonošću da pažnju troše na neinformativne tokene (razdjelnike, interpunkcijske znakove), poznatom kao problem "no-op outliera". Njihovo je rješenje Hopfieldova energijska funkcija otporna na odstupajuće vrijednosti koja te tokene prepoznaje i usmjerava u točku nulte energije, čime sprječava da razvodne korisnu pažnju. Dobiveni model kao poseban slučaj obuhvaća Softmax₁ pažnju, a potvrđen je na modelima BERT, OPT i Vision Transformerima. Hopfieldova teorija ovdje rješava stvarne inženjerske probleme transformera.

🔗 Hopfieldovi slojevi otporni na odstupajuće vrijednosti za velike modele temeljene na transformerima (2024)

Transformeri kao minimizatori energije (siječanj 2026.)

Najnoviji teorijski rad, objavljen u siječnju 2026., cijeli prolaz transformera unaprijed predstavlja kao intrinzičnu minimizaciju energije, čime Hopfieldovu perspektivu u potpunosti prihvaća kao okvir koji objašnjava zašto transformeri uopće rade. Rad povezuje rijetke moderne Hopfieldove modele s cijelom obitelji varijanti pažnje (softmax, sparsemax, α-entmax) i pokazuje da su sve one posebni slučajevi dinamike dohvaćanja temeljene na energiji.

🔗 Transformeri kao intrinzični optimizatori: zaključivanje unaprijed putem energijskog principa (sij. 2026.)

Pregledni radovi i resursi zajednice

Šira istraživačka zajednica okuplja se oko ove konvergencije:

• "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, travanj 2025.) Sveobuhvatan pregled koji prati cijeli luk od Hopfielda (1982.) preko Boltzmannovih strojeva do reinterpretacije pažnje u transformerima kao moderne Hopfieldove dinamike. → Pročitaj rad
• "An Energy-Based Perspective on Attention Mechanisms in Transformers" Dubinski tehnički blog koji tvrdi da bi razumijevanje transformera kroz Hopfieldovu energijsku leću "moglo dovesti do kvalitativno drukčijih poboljšanja od onih koja su moguća oslanjanjem samo na skaliranje i smanjenje računalne složenosti." → Pročitajte blog
• Awesome Modern Hopfield Networks Pomno birani GitHub repozitorij koji prati više od 50 radova o modernim Hopfieldovim mrežama u raznim područjima: raspodjela imovine, otkrivanje promjena, rekonstrukcija kreativnog mišljenja, otkrivanje podataka izvan distribucije, klasifikacija imunoloških repertoara i mnogo toga drugog. → Pregledajte zbirku
• "Je li Hopfieldova mreža sve što nam treba?" (Analytics India Magazine, prosinac 2024.) Pogled iz perspektive praktičara na to kako je Hochreiterov tim pokazao da su Hopfieldove mreže "zamjenjive s najsuvremenijim transformerskim modelima". → Pročitajte članak
• "Novo u istraživanju Hopfieldovih mreža: kratki uvod" (Medium, srpanj 2024.) Pristupačan pregled koji bilježi da je kapacitet pohrane narastao s 0,138N na 2^(N/2) zahvaljujući eksponencijalnim aktivacijskim funkcijama. → Pročitajte na Mediumu

Smjer je jasan. Ovo nije prijedlog jednog laboratorija ni nagađanje jednog rada. IBM Research, Sveučilište Johannesa Keplera, MIT, NeurIPS, Nature Communications i šira zajednica strojnog učenja iz različitih smjerova stižu do istog zaključka: energetski utemeljena paradigma asocijativne memorije koju je postavio Hopfield nije samo temelj na kojem su transformeri nesvjesno izgrađeni, nego i okvir koji će umjetnu inteligenciju odnijeti dalje od onoga što transformeri mogu sami.

Zašto je to važno sada: razlozi za prelazak

Zajamčena konvergencija za sustave kritične za sigurnost

Transformeri daju izlaze, ali nema matematičkog jamstva stabilnosti. Hopfieldove mreže konvergiraju prema stabilnim stanjima dokazivo  energetska funkcija monotono opada. Za robotiku, autonomna vozila, medicinske uređaje i svaki sustav u kojem pouzdanost nije podložna pregovorima, to je zahtjev koji transformeri ne mogu ispuniti.

Asocijativna memorija kao temeljna sposobnost

Ako Hopfieldovu mrežu istrenirate tako da stanje (1, −1, 1, −1, 1) bude energetski minimum, a zatim joj predočite oštećeni ulaz (1, −1, −1, −1, 1), mreža će konvergirati prema ispravnom pohranjenom uzorku. Ne pogađa niti interpolira, nego se kotrlja nizbrdo energetskim krajolikom do najbližeg atraktora. Za robotiku sa zaklonjenim senzorima, ugradbene sustave s bučnim podacima i svaku primjenu koja traži dovršavanje uzorka iz djelomičnog ulaza, to je prijelomna promjena.

Univerzalni mehanizam za optimizaciju

Hopfield i David Tank pokazali su 1985. da Hopfieldove mreže mogu riješiti problem trgovačkog putnika. Ako se funkcija troška može zapisati u obliku Hopfieldove energije, onda su ravnotežne točke mreže upravo rješenja. Od tada se ta arhitektura primjenjuje na raspoređivanje poslova u radionici (job-shop scheduling), dodjelu kanala u bežičnim mrežama, obnovu slike, analogno-digitalnu pretvorbu, mobilno usmjeravanje i kombinatoričku optimizaciju. Rad u časopisu Nature Communications iz 2024. predstavio je rijetku kvantiziranu Hopfieldovu mrežu (Sparse Quantized Hopfield Network) za online-kontinuirano učenje memorije lokalnim pravilima, na isti način na koji to rade biološki mozgovi, sposobnost kakvu transformerima iz temelja nedostaje.

Hardver koji misli bez softvera

Ograničenje simetričnih težina (wᵢⱼ = wⱼᵢ) izravno se preslikava na analogne elektroničke krugove otporna veza po prirodi je simetrična. Hopfieldove mreže mogu se izraditi kao ASIC-ovi ili FPGA-ovi s izvođenjem u nanosekundnim vremenskim okvirima. Zbirka časopisa Nature iz 2025. o neuromorfnom računarstvu potvrđuje taj smjer: energetski učinkovit analogni hardver koji provodi neuralnu dinamiku na rubu mreže, s memorijom adresiranom sadržajem kojoj ne trebaju ni GPU, ni CPU, ni softverski stog.

Neuromorfni i analogni AI čipovi koji dinamiku neuronskih mreža implementiraju izravno u hardveru. Simetrična, energetski utemeljena struktura Hopfieldovih mreža prirodno se preslikava na otporničke sklopove, što omogućuje AI zaključivanje u nanosekundama, bez klasičnog softverskog sloja.

Binarna i kontinuirana fleksibilnost

Klasične Hopfieldove mreže koriste binarne neurone (+1 ili −1); kontinuirane varijante koriste sigmoidnu aktivaciju i diferencijalne jednadžbe. Ažuriranja mogu biti asinkrona (jedan po jedan neuron, što jamči konvergenciju) ili sinkrona (svi odjednom, što omogućuje paralelizam). Ista arhitektura prilagođava se od mikrokontrolera s nekoliko kilobajta RAM-a do masovno paralelnog FPGA-a, a sada, uz moderne Hopfieldove slojeve, i do cjevovoda dubokog učenja ubrzanih GPU-om.

Kapacitet pohrane: iskreno ograničenje

Klasično ograničenje je jasno: mreža od N neurona pouzdano pohranjuje otprilike 0.138N uzoraka prije nego što lažna stanja počnu kvariti dohvat. To je stvarno ograničenje, ali je iskreno. Transformeri nemaju jasnu matematičku granicu nakon koje će početi halucinirati.

Štoviše, moderne Hopfieldove mreže (Krotov & Hopfield, 2016.; Demircigil i sur., 2017.) postižu eksponencijalni kapacitet pohrane zahvaljujući članovima interakcije višeg reda. Istraživanja i dalje pomiču te granice: rijetke i strukturirane Hopfieldove mreže, Hopfieldova memorija za duge sekvence te Hopfieldove mreže za raspodjelu imovine sve su aktivna područja razvoja, a radova se brzo nakuplja.

Praktična primjena: od računala do sklopova

Izvorna vizija prvih istraživača neuronskih mreža bila je jasna: okvir koji se opiše jednom, a primjenjuje posvuda. Hopfieldova arhitektura to ostvaruje:

Računalne aplikacije Matrica težina i pravilo ažuriranja. GPU nije potreban.

Internetske aplikacije Memorija adresirana sadržajem za pretraživanje po sličnosti, preporuke i uklanjanje duplikata.

Robotika Zajamčena konvergencija za upravljačke petlje u stvarnom vremenu. Obrasci pokreta pohranjeni su kao atraktori i dohvaćaju se čak i iz šumovitog ulaza senzora.

Ugradbeni sustavi Binarne Hopfieldove mreže rade na mikrokontrolerima samo uz cjelobrojnu aritmetiku.

Elektronički sklopovi Simetrične težine preslikavaju se na otporničke mreže. Inteligencija izrađena izravno u siliciju.

Put naprijed

Era transformera dala nam je izvanredne jezične strojeve. No granica se širi prema fizičkom svijetu: roboti, senzori, aktuatori i odluke u stvarnom vremenu. Ta granica traži arhitekture koje su stabilne, učinkovite, interpretabilne i primjenjive na hardveru koji doista postoji na rubu mreže.

Dokaz iz 2020. da je pažnja transformera zapravo moderno Hopfieldovo pravilo ažuriranja nije bio tek matematička zanimljivost: pokazao je da smo cijelo vrijeme koristili Hopfieldove mreže, zamotane u okvir koji je skrivao njihovu pravu narav. Rad s NeurIPS-a 2025., koji pokazuje da Hopfieldova skrivena stanja rješavaju patologije transformera poput kolapsa ranga, upućuje na sljedeći korak: ne krpati transformere Hopfieldovim uvidima, nego graditi izravno na samoj Hopfieldovoj paradigmi.

John Hopfield pokazao nam je put 1982. Donald Hebb udario je biološke temelje 1949. Istraživačka zajednica sada konvergira prema tome.

Vrijeme je za promjenu.

Literatura

• Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
• Hebb, D.O. (1949). The Organization of Behavior. Wiley.
• Ramsauer, H. et al. (2020). „Hopfield Networks is All You Need.“ ICLR 2021. arXiv:2008.02217
• Krotov, D. & Hopfield, J.J. (2016). „Dense Associative Memory for Pattern Recognition.“ NeurIPS.
• Storkey, A. (1997). „Increasing the capacity of a Hopfield network without sacrificing functionality.“ ICANN.
• Hoover, B., Krotov, D. et al. (2023). „Energy Transformer.“ NeurIPS 2023. arXiv:2302.07253
• Masumura, T. & Taki, M. (2025). „On the Role of Hidden States of Modern Hopfield Network in Transformer.“ NeurIPS 2025. arXiv:2511.20698
• Alonso, N. & Krichmar, J. (2024). „A sparse quantized Hopfield network for online-continual memory.“ Nature Communications, 15, 3722. nature.com
• Hu, J.Y. et al. (2024). „Outlier-Efficient Hopfield Layers for Large Transformer-Based Models.“ arXiv:2404.03828
• Hu, J.Y. et al. (2026). „Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle.“ arXiv:2511.00907
• Hopfield, J.J. & Tank, D.W. (1985). „'Neural' Computation of Decisions in Optimization Problems.“ Biological Cybernetics, 52, 141–152.
• Bruck, J. (1990). „On the convergence properties of the Hopfield model.“ Proceedings of the IEEE.
• Krotov, D. (2025). „Searching for brain-inspired AI algorithms.“ IBM Research Blog. research.ibm.com
• „Energy-Based Learning and the Evolution of Hopfield Networks.“ TechRxiv, travanj 2025. techrxiv.org