Hebb-nám mætir Hopfield-netum: Arkitektúrinn sem var alltaf gáfaðri en transformerar

Undanfarinn áratug hafa transformerar og athyglisreglur þeirra (attention) verið allsráðandi í gervigreind. Frá GPT til BERT til Vision Transformers hefur möntrunni „attention is all you need“ tekist að umbylta því hvernig við hugsum um vélrænt nám. Þýðingarkerfi, það er að segja kóðara-afkóðara-ferli sem umbreyta gögnum milli framsetninga, urðu burðarás alls frá máltækni til myndsköpunar. Þau voru byltingarkennd. Þau voru öflug.

Og nú rekast þau á vegg.

Kaldhæðnin er sú að lausnin hefur legið fyrir síðan 1982. Það ár birti John Hopfield grein í Proceedings of the National Academy of Sciences þar sem hann kynnti afturvirkt tauganet með eiginleika sem transformerar hafa aldrei náð til fulls: tryggða samleitni að stöðugum ástöndum með lágmörkun orku. Hopfield-netið lærði ekki bara mynstur, það geymdi þau sem eðlisfræðileg aðdráttarmið í orkulandslagi, sem hægt er að sækja jafnvel úr óskýrum eða ófullkomnum inntaksgögnum.

Gervigreindarsamfélagið er fyrst núna að byrja að átta sig á því sem eðlisfræðingar og taugavísindamenn hafa vitað í áratugi: orkumiðuð, tengiminnisbundin nálgun á tauganetsreikninga er ekki sögulegt kuriosum, heldur grundvallarhugmyndafræði sem transformer-tímabilið hefur aðeins byggt ofan á án þess að skilja hana til fulls.

Þak transformeranna

Transformerar vinna þannig að þeir reikna tengsl milli allra þátta í runu samtímis með sjálfsathygli (self-attention). Það er snilldarlegt fyrir tungumál. Það er snilldarlegt fyrir gögn með skýrri uppbyggingu og röð. En raunheimurinn, heimur vélmenna, innbyggðra rása, skynjarastýrðrar ákvarðanatöku og jaðartölvunar, raðar sér ekki upp í snyrtilegar runur sem bíða þess að á þær sé litið.

Arkitektúr transformera gerir ráð fyrir allsnægtum: nægri reikniafkastagetu, nægu minni og nægu afli. Sjálfsathygli vex með veldi miðað við lengd runu. Framvirk lög vaxa línulega en gríðarlega. Þegar transformer-byggt kerfi er sett í farsímavélmenni sem rataði um vöruhús, eða fellt inn í rafrás sem stýrir framleiðslurmi, hrynja þessar forsendur.

Þýðingarhugmyndin ber líka sína eigin takmörkun: hún lítur á greind fyrst og fremst sem umbreytingarvandamál milli fastra framsetninga. Kóðaðu inntakið. Afkóðaðu úttakið. En raunveruleg greind þýðir ekki bara, hún man, hún tengir og hún samleitar að stöðugri túlkun jafnvel þegar inntakið er skemmt eða tvírætt.

Við höfum verið að bæta úr þessum vandamálum með magngreiningu (quantization), eimingu (distillation), grisjun (pruning) og hundrað öðrum hagræðingarbrögðum. Yfirlitsgreinar um jaðargervigreind frá 2025 staðfesta að innleiðing djúpnáms á innbyggðum vélbúnaði sé enn „háð ströngum takmörkunum á minni, reiknigetu og orku“. En að hagræða arkitektúr sem er í grunninn ekki réttur fyrir verkefnið seinkar aðeins uppgjörinu. Það sem við þurfum er arkitektúr sem lítur á minni, stöðugleika og orkunýtni sem grundvallarforsendur, ekki eftirþanka.

Hopfield-tauganetið stígur á svið

Hopfield-net er afturvirkt tauganet sem samanstendur af einu lagi taugunga, þar sem hver taugungur er tengdur öllum hinum taugungunum nema sjálfum sér. Netið myndar fullkominn óstefnugraf þar sem hvert par taugunga deilir samhverfri tengingarvigt, sem þýðir að styrkurinn frá taugungi i til taugungs j er nákvæmlega sá sami og frá jtil i. Engar sjálftengingar eru til staðar (wᵢᵢ = 0). Ekkert lagskipt stigveldi. Engin raðbundin vinnslurás. Þess í stað starfar netið allt sem eitt samtengt kvikt kerfi sem þróast með tímanum í átt að stöðugum jafnvægisástöndum.

Hopfield-net með fulltengdum taugungum. Sérhver hnútur tengist öllum öðrum hnútum með samhverfum vogtölum (wᵢⱼ = wⱼᵢ) og myndar þannig fullkominn óstefndan graf. Engar sjálftengingar eru til staðar.

Glæsileiki þessarar byggingar liggur í orkufallinu. Hopfield sannaði að net hans býr yfir tilheyrandi Lyapunov-orkufalli:

E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ

Orkan er tryggð til að minnka (eða haldast óbreytt) við hverja uppfærslu taugungs. Netið stefnir alltaf í jafnvægi: það sveiflast aldrei endalaust, ræðst aldrei út í óendanleika og festist aldrei í óendanlegum reikniflækjum. Það sest að. Bruck sannaði árið 1990 að þessi hegðun tengist skurðum í tilheyrandi grafi – netið framkvæmir í raun gráðugt reiknirit fyrir max-cut vandamálið við hvert uppfærsluskref.

Og þar sem netið sest að býr greindin. Geymd mynstur samsvara staðbundnum lágmörkum orkufallsins – dölunum í orkulandslaginu. Þegar netinu er sýnd skemmd, óhrein eða ófullkomin útgáfa af geymdu mynstri, veltir virknin ástandi netsins niður á við þar til það lendir í næsta dal: geymda mynstrinu sem best samsvarar inntakinu.

Orkulandslag Hopfield-nets. Hver dalur (staðbundið lágmark) samsvarar geymdu minnismynstri. Frá hvaða upphafsástandi sem er veltir virkni netsins ástandinu „niður brekkuna“ þar til það sest að í næsta aðdráttarpunkti – og heildarmynstrið endurheimtist úr hlutaupplýsingum eða óhreinu inntaki.

Þetta er innihaldsvistanlegt tengiminni hæfileikinn til að kalla fram heil minningabrot út frá broti af vísbendingum, sem lífræn heili gerir áreynslulaust en umbreytar (transformers) geta aðeins nálgast með kostnaðarsömum útreikningum.

Tengslin við eðlisfræði rista djúpt. Hopfield-netið jafngildir stærðfræðilega Ising-líkani – sömu umgjörð og notuð er til að lýsa segulmagni í tölfræðilegri aflfræði. Sherrington-Kirkpatrick-líkanið af spunagleri, sem birtist árið 1975, er í raun Hopfield-net með slembnum vogtölum. Hugmynd Hopfields var að nýta þennan eiginleika af ásettu ráði og hanna orkulandslagið þannig að hvert lágmark samsvari gagnlegu geymdu mynstri.

Hebb-nám: taugungar sem skjóta saman tengjast saman

Námsreglan sem lætur Hopfield-net virka á sér enn eldri rætur, í bók Donalds Hebbs frá 1949, The Organization of Behavior, sem setti fram það sem nú er talin grundvallarregla taugafræðilegrar námskenningar.

Innsæi Hebbs var blekkjandi einfalt: þegar forsynaptísk fruma tekur ítrekað og með þrautseigju þátt í að kveikja í eftirsynaptískri frumu styrkist taugamótatengingin þeirra á milli. „Taugungar sem skjóta saman tengjast saman“ – þótt Hebb sjálfur hafi verið nákvæmari og lagt áherslu á að fruma A þurfi að taka þátt í að valda því að fruma B skjóti, ekki bara skjóta á sama tíma. Þessi tímabundna orsakatengsl boðuðu það sem nú er kallað tímasetningarháð mótanleiki taugamóta (STDP), sem var staðfestur með tilraunum áratugum síðar, þar á meðal í byltingarkenndum rannsóknum Erics Kandels á sæsnigli af tegundinni Aplysia californica.

Hebbísk nám (Hebbian learning): þegar tvær tengdar taugafrumur eru ítrekað virkar samtímis styrkist taugamótin á milli þeirra. Þessi regla, „taugafrumur sem virkjast saman tengjast saman“, er líffræðilegur grunnur þess hvernig Hopfield-net geyma mynstur.

Í Hopfield-netinu er hebbískt nám útfært svona:

wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) fyrir öll geymd mynstur l, þar sem u ≠ v

Þegar tvær taugafrumur eru í sama ástandi í tilteknu mynstri (báðar +1 eða báðar −1) er margfeldi þeirra jákvætt og örvandi tengingin styrkist. Séu þær ósammála verður margfeldið neikvætt og til verður hamlandi tenging. Samanlögð áhrif móta orkulandslag með dal við hvert geymt mynstur.

Hebbíska reglan er staðbundin (hver þyngdaruppfærsla notar aðeins upplýsingar sem tvær tengdu taugafrumurnar hafa aðgang að) og stigvaxandi (hægt er að geyma ný mynstur án þess að vinna gömlu mynstrin upp á nýtt). Merkilegt nokk má sýna stærðfræðilega fram á að hebbískt nám framkvæmir ósjálfstýrða höfuðþáttagreiningu (PCA) á inntaksgögnunum: netið dregur af sjálfu sér fram tölfræðilega mikilvægustu einkenni umhverfis síns.

Árið 1997 kynnti Amos Storkey endurbætta námsreglu sem tekur tillit til staðbundna sviðsins við hverja taugafrumu og nær meiri geymslugetu en hefðbundið hebbískt nám. Þetta sýnir að jafnvel innan sömu byggingar skiptir val á námsreikniriti miklu máli, en það er í samræmi við stærri lærdóm úr rannsóknum á tauganetum.

Byltingin: „Hopfield Networks is All You Need“

Árið 2020 birti hópur undir forystu Huberts Ramsauer við Johannes Kepler-háskólann í Linz grein með titli sem vísaði ögrandi til upphafssögu transformer-líkansins: „Hopfield Networks is All You Need“. Framlag þeirra var stærðfræðileg sönnun á því sem margir höfðu grunað: sjálfsathyglisbúnaðurinn (self-attention) í transformer-líkönum er nákvæmlega uppfærslureglan í nútímalegu samfelldu Hopfield-neti.

Tengslin milli nútímalegra Hopfield-neta og athygli í transformer-líkönum. Softmax-byggði athyglisbúnaðurinn í transformer-líkönum jafngildir stærðfræðilega einu uppfærsluskrefi í samfelldu Hopfield-neti með veldisvísisorkufalli. Mynd úr grein Ramsauer o.fl., „Hopfield Networks is All You Need“.

Þetta var ekki bara samlíking. Hópurinn sýndi fram á að með því að alhæfa klassíska Hopfield-orkufallið yfir í samfelld ástönd og nota veldisvísislið fyrir víxlverkunina verður uppfærslureglan:

Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv

og það er einmitt athyglisformúla transformer-líkansins. Nútímalega Hopfield-netið getur geymt veldisvaxandi fjölda mynstra (miðað við vídd tengsla-rúmsins), sækir þau í einu uppfærsluskrefi og hefur veldisvísislítil endurheimtuskekkjumörk.

Greinin greindi þrjár gerðir orkulágmarka í þessum nútímalega ramma: (1) alþjóðlegan fastapunkt sem tekur meðaltal allra geymdra mynstra, (2) hálfstöðug ástönd sem taka meðaltal undirmengja mynstra, og (3) fastapunkta sem geyma stök mynstur. Transformer-hausar í neðri lögum starfa yfirleitt í alþjóðlegri meðaltalsstillingu, en hausar í efri lögum nota hálfstöðug ástönd til að safna og vinna úr upplýsingum, og sú niðurstaða varpar djúpu ljósi á hvers vegna transformer-líkön virka eins og þau gera.

Hagnýtu áhrifin komu strax í ljós: hópurinn gaf út Hopfield-lög (Hopfield layers)sem innskotseiningar fyrir PyTorch sem gætu komið í stað samtekningarlaga (pooling), GRU/LSTM-laga og hefðbundinna athyglislaga. Í frammistöðuprófunum skiluðu þessi Hopfield-lög fremstu niðurstöðum í flokkun ónæmisrepertoire (með nokkur hundruð þúsund tilvik í hverju sýni), í fjölfeldisnámsverkefnum (multiple instance learning) og í UCI-flokkunarprófum þar sem hefðbundnar djúpnámsaðferðir eiga yfirleitt erfitt uppdráttar.

Í desember 2025 gengu Masumura og Taki enn lengra í grein á NeurIPS og sýndu að þegar farið er út fyrir „adíabatíska nálgun“ koma í ljós falin ástönd í samsvörun Hopfield-nets og transformera sem geta leyst vandamálin um hrun raðar (rank collapse) og einsleitni tókna, sem hrjá djúpa transformera, og bætt nákvæmni án þess að bæta við einni einustu þjálfunarbreytu.

Vaxandi samstaða: Hverjir aðrir segja þetta?

Sú röksemd að Hopfield-net séu næsta stig á eftir transformerum er ekki getgáta. Stórar rannsóknastofnanir vinna að henni af krafti og sönnunargögnin hlaðast upp hratt. Hér eru helstu raddirnar og greinarnar sem komast að sömu niðurstöðu.

IBM Research og Dmitry Krotov

Í janúar 2025 birti IBM Research ítarlegt viðtal við Dmitry Krotov, sem hefur lengi unnið með Hopfield og er einn af höfundum Dense Associative Memory. Krotov færði rök fyrir þessu beint: þar sem Hopfield-net endurspegla afturvirkar afturkoppssilgur heilans, öfugt við framvirka (feedforward) byggingu 90% af gervigreindarlíkönum nútímans, séu þau „vænlegur valkostur við framvirk net samtímans“. Hann benti á að transformerar vinni úr upplýsingum aðeins í eina átt og að reikniflækjan aukist hratt eftir því sem samhengisgluggar lengjast. Heilinn notar hins vegar afturvirkar afturkoppssilgur til að draga saman og geyma fyrri upplýsingar í minni. Hopfield-net vinna á sama hátt.

Krotov lýsti einnig Energy Transformer (NeurIPS 2023), samstarfsverkefni IBM Research og Georgia Tech, sem leggur ekki bara innsýn úr Hopfield-netum ofan á núverandi transformera heldur kemur í stað allrar raðar framvirkra transformer-kubba fyrir eitt stórt Associative Memory líkan. Athyglisbúnaðurinn í Energy Transformer er augljóslega frábrugðinn hefðbundinni athygli: hann er leiddur af grunnreglum orkuminnkunar en ekki settur ofan á framvirka vinnslulögn.

🔗 IBM Research „Searching for brain-inspired AI algorithms“ (jan. 2025)

🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)

Johannes Kepler University – hópur Hochreiters

Sepp Hochreiter, annar uppfinningamanna LSTM, leiddi teymið sem birti „Hopfield Networks is All You Need“. Hopfield layers repository þeirra býður upp á PyTorch-einingar tilbúnar til notkunar í framleiðslu, sem koma beint í stað athyglislaga transformera, samtekningarlaga og endurkvæmra laga. Fylgigreinin á blogginu fer yfir stærðfræðilega afleiðslu sem sýnir að softmax-athyglisformúlan er sértilvik nútíma Hopfield-uppfærslureglunnar og að Hopfield-lög bjóði upp á viðbótarvirkni sem hefðbundin athygli getur ekki veitt, þar á meðal föst lærð frumgerðagildi og sveigjanlegar uppsetningar tengiminnis.

🔗 Hopfield Networks is All You Need - ICLR 2021

🔗 PyTorch Hopfield Layers - GitHub

🔗 Interactive Blog Post - ml-jku.github.io

NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers

Nýjustu sönnunargögnin koma úr grein Masumura og Taki á NeurIPS í desember 2025. Þeir sýndu fram á að Modern Hopfield Attention (MHA) sem bætir við földum stöðum (hidden states) leiddum af fullri (ekki-adíabatískri) Hopfield-hreyfifræði, bætir kerfisbundið bæði GPT-2 og LLaMA mállíkön og Vision Transformers. Umbæturnar kröfðust engra viðbótarbreyta í þjálfun. Enn mikilvægara er að í ljós kom að MHA leysir röðunarhrun (rank collapse) vandamálið (þar sem athyglisfylki í djúpum transformerum úrkynjast og öll tákn enda í áþekkum framsetningum), grundvallarmeinsemd sem hefur hrjáð tilraunir til að stækka transformera. Höfundarnir drógu þá ályktun: „Við vonumst til þess að þessar rannsóknir opni nýja möguleika á kerfisbundinni hönnun Transformer-arkitektúra með Hopfield-netum.“

🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)

Nature Communications: Líffræðilega trúverðugt netnám

Í maí 2024 birtist í Nature Communications verk um Sparse Quantized Hopfield Network, líkan sem lærir með staðbundnum námsreglum í samfelldu netnámi (online-continual), nákvæmlega eins og heilar lífvera gera. Þetta tekur á grundvallartakmörkun transformera, sem þurfa óstaðbundna bakvirkni (backpropagation) og ótengda þjálfun á úrvöldum gagnasöfnum. Greinin staðsetur Hopfield-byggðan arkitektúr sem náttúrulega brú milli gervitauganeta og vélbúnaðar fyrir taugungalíka (neuromorphic) tölvun.

🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)

Hopfield-lög sem ráða við útlaga fyrir stór grunnlíkön

Grein frá 2024 tók á hagnýtu vandamáli í stórum transformer-líkönum: tilhneigingunni til að beina athygli að táknum sem bera litlar upplýsingar (skiltákn, greinarmerki), svokölluðu „no-op outlier“-vandamáli. Lausn þeirra var Hopfield-orkufall sem ræður við útlaga (outlier-efficient Hopfield energy function) sem flokkar þessi tákn og beinir þeim að núllorkupunkti, svo þau þynni ekki út gagnlega athygli. Líkanið sem út kemur felur Softmax₁-athygli í sér sem sértilvik og var sannreynt á BERT, OPT og Vision Transformers. Þetta er Hopfield-kenning að leysa raunveruleg verkfræðileg vandamál í transformerum.

🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)

Transformerar sem orkulágmarkarar (janúar 2026)

Nýjasta fræðilega verkið, birt í janúar 2026, setur allt framhjáhlaup (forward pass) transformers fram sem innri orkulágmörkun og tekur Hopfield-sjónarhornið að fullu upp sem skýringarramma fyrir það hvers vegna transformerar virka yfirleitt. Greinin tengir dreifð nútíma Hopfield-líkön við alla fjölskyldu athyglisafbrigða (softmax, sparsemax, α-entmax) og sýnir að þau eru öll sértilvik orkumiðaðra endurheimtuferla.

🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (jan. 2026)

Yfirlitsgreinar og úrræði samfélagsins

Víðara rannsóknarsamfélag er að skipuleggja sig í kringum þessa samleitni:

• "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, apríl 2025) Yfirgripsmikil samantekt sem rekur allan ferilinn frá Hopfield (1982) um Boltzmann-vélar til endurtúlkunar á athygli transformera sem nútíma Hopfield-hreyfifræði. → Lesa greinina
• "An Energy-Based Perspective on Attention Mechanisms in Transformers" Ítarleg tæknigrein sem færir rök fyrir því að skilningur á transformerum gegnum Hopfield-orkulinsuna „gæti leitt til eigindlega ólíkra umbóta umfram það sem er mögulegt með því að treysta eingöngu á stærðaraukningu og minni reikniflækju.“ → Lestu bloggið
• Awesome Modern Hopfield Networks Vandlega valin GitHub-geymsla sem heldur utan um yfir 50 greinar um nútíma Hopfield-net á ýmsum sviðum: eignadreifingu, greiningu breytinga, endurgerð skapandi hugsunar, greiningu gagna utan dreifingar, flokkun ónæmisrepertoire og fleira. → Skoðaðu safnið
• „Is Hopfield Networks All You Need?“ (Analytics India Magazine, des. 2024) Umfjöllun fyrir fagfólk um hvernig teymi Hochreiters sýndi fram á að Hopfield-net séu „skiptanleg við fullkomnustu transformer-líkön“. → Lestu greinina
• „New Research in Hopfield Networks: A Short Intro“ (Medium, júlí 2024) Aðgengilegt yfirlit þar sem bent er á að geymslurýmd hafi vaxið úr 0,138N í 2^(N/2) með veldisvirkjunarföllum. → Lestu á Medium

Stefnan er skýr. Þetta er ekki tillaga einnar rannsóknarstofu eða getgáta einnar greinar. IBM Research, Johannes Kepler-háskólinn, MIT, NeurIPS, Nature Communications og vísindasamfélag vélnáms í heild stefna að sömu niðurstöðu úr ólíkum áttum: orkubyggða tengiminnislíkanið sem Hopfield lagði grunninn að er ekki aðeins undirstaðan sem transformerar voru óafvitandi byggðir á, heldur er það rammi sem mun bera gervigreind lengra en transformerar einir og sér geta.

Af hverju þetta skiptir máli núna: rökin fyrir því að skipta

Tryggð samleitni fyrir öryggiskritísk kerfi

Transformerar skila niðurstöðum, en engin stærðfræðileg trygging er fyrir stöðugleika. Hopfield-net samleita að stöðugum ástöndum samkvæmt sönnun  orkufallið minnkar einhæft. Fyrir vélmenni, sjálfkeyrandi ökutæki, lækningatæki og öll kerfi þar sem áreiðanleiki er ófrávíkjanleg krafa er þetta eiginleiki sem transformerar geta ekki boðið upp á.

Tengiminni sem kjarnageta

Ef þú þjálfar Hopfield-net þannig að ástandið (1, −1, 1, −1, 1) sé orkulágmark og setur inn skemmt inntak (1, −1, −1, −1, 1), samleitir netið að rétta geymda mynstrinu. Það giskar ekki og brúar ekki bilið, heldur veltur niður brekku orkulandslagsins að næsta aðdráttarpunkti. Fyrir vélmenni með skerta skynjara, innbyggð kerfi með óhreinum gögnum og hvers kyns notkun sem krefst þess að fullkomna mynstur út frá hluta af inntaki er þetta byltingarkennt.

Alhliða hagræðingarvél

Hopfield og David Tank sýndu árið 1985 fram á að Hopfield-net geta leyst farandsölumannsvandann. Ef hægt er að rita kostnaðarfall á formi Hopfield-orkunnar eru jafnvægispunktar netsins lausnirnar. Síðan þá hefur arkitektúrinn verið nýttur í verkröðun, rásaúthlutun í þráðlausum netum, myndlagfæringu, hliðrænt-í-stafrænt umbreytingar, leiðarval fyrir farsíma og bestun á samsetningarvandamálum. Grein í Nature Communications árið 2024 kynnti Sparse Quantized Hopfield Network fyrir samfellt netnám minnis með staðbundnum reglum á sama hátt og heilar í lífverum gera, getu sem transformerum skortir í grundvallaratriðum.

Vélbúnaður sem hugsar án hugbúnaðar

Takmörkunin um samhverfar vogtölur (wᵢⱼ = wⱼᵢ) samsvarar beint hliðrænum rafrásum viðnámstenging er í eðli sínu samhverf. Hægt er að framleiða Hopfield-net sem ASIC- eða FPGA-rásir með ályktun á nanósekúndukvarða. Safn Nature frá 2025 um taugalíka tölvun (neuromorphic computing) staðfestir þessa stefnu: orkusparandi hliðrænn vélbúnaður sem útfærir taugavirkni á jaðrinum, með innihaldsvistanlegu minni sem þarf hvorki GPU, CPU né hugbúnaðarstafla.

Taugakerfislíkar og hliðrænar gervigreindarflögur sem útfæra gangverk tauganeta beint í vélbúnaði. Samhverf, orkubyggð uppbygging Hopfield-neta fellur eðlilega að viðnámsrásum og gerir gervigreindarályktun mögulega á nanósekúndum án hefðbundinna hugbúnaðarstafla.

Tvíundar- og samfelldur sveigjanleiki

Klassísk Hopfield-net nota tvíundartaugunga (+1 eða −1), en samfelld afbrigði nota S-laga (sigmoid) virkjunarfall og diffurjöfnur. Uppfærslur geta verið ósamstilltar (einn taugungur í einu, sem tryggir samleitni) eða samstilltar (allir í einu, sem gerir samhliða vinnslu mögulega). Sama hönnun hentar allt frá örstýringu með nokkrum kílóbætum af vinnsluminni til gríðarlega samhliða FPGA-flögu og nú, með nútíma Hopfield-lögum, einnig í djúpnámsferlum sem keyra á skjákortum (GPU).

Geymslurýmd: heiðarlega takmörkunin

Klassíska takmörkunin er skýr: net með N taugungum geymir með áreiðanlegum hætti um það bil 0.138N mynstur áður en falskar stöður fara að spilla endurheimtinni. Þetta er raunveruleg takmörkun, en hún er heiðarleg. Fyrir transformer-líkön er ekkert skýrt stærðfræðilegt mark á því hvenær þau byrja að ofskynja (hallucinate).

Auk þess ná nútíma Hopfield-net (Krotov & Hopfield, 2016; Demircigil o.fl., 2017) veldisvaxandi geymslurýmd með víxlverkunarliðum af hærri stigum. Rannsóknir halda áfram að víkka þessi mörk: gisin og skipulögð Hopfield-net, Hopfield-minni fyrir langar runur og Hopfield-net fyrir eignastýringu eru öll virk þróunarsvið, og greinum fjölgar ört.

Hagnýt útfærsla: frá tölvum að rafrásum

Upphafleg framtíðarsýn frumkvöðla í rannsóknum á tauganetum var skýr: rammi sem hægt væri að lýsa einu sinni og nota alls staðar. Hopfield-hönnunin gerir þetta að veruleika:

Tölvuforrit Vigtarfylki og uppfærslureglan. Ekkert skjákort þarf.

Netforrit Minni sem sótt er í eftir innihaldi, fyrir líkindaleit, meðmæli og fjarlægingu tvítekninga.

Vélmennafræði Tryggð samleitni fyrir stýrilykkjur í rauntíma. Hreyfimynstur eru geymd sem aðdráttarpunktar og endurheimt jafnvel úr hávaðasömum skynjaragögnum.

Innbyggð kerfi Tvíundar Hopfield-net keyra á örstýringum með heiltölureikningi einum saman.

Rafrásir Samhverfar vigtir varpast beint yfir í viðnámsnet. Greind sem er smíðuð beint í kísil.

Leiðin fram á við

Transformer-tímabilið gaf okkur einstakar málvélar. En framvarðlínan færist nú yfir í hinn líkamlega heim: vélmenni, skynjara, stýribúnað og ákvarðanir í rauntíma. Þar þarf arkitektúr sem er stöðugur, skilvirkur, túlkanlegur og hægt er að keyra á vélbúnaði sem raunverulega er til staðar á jaðrinum (edge).

Sönnunin frá 2020 á því að athygli (attention) í transformer-líkönum er nútíma Hopfield-uppfærslurega var ekki bara stærðfræðileg forvitni. Hún leiddi í ljós að við höfum allan tímann notað Hopfield-net, vafin inn í ramma sem huldi sanna eðli þeirra. Vinna frá NeurIPS 2025, sem sýnir að földu stöðurnar í Hopfield-netum leysa kvilla transformer-líkana á borð við hrun á röð fylkis (rank collapse), bendir til næsta skrefs: ekki að bæta transformer-líkön með innsýn úr Hopfield, heldur að byggja beint á Hopfield-hugmyndafræðinni sjálfri.

John Hopfield vísaði okkur veginn árið 1982. Donald Hebb lagði líffræðilegan grunn árið 1949. Rannsóknasamfélagið er nú að sameinast um þessa leið.

Það er kominn tími til að skipta.

Heimildir

• Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
• Hebb, D.O. (1949). The Organization of BehaviorÍsl. þýð.: Wiley.
• Ramsauer, H. o.fl. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
• Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
• Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
• Hoover, B., Krotov, D. o.fl. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
• Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
• Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
• Hu, J.Y. o.fl. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
• Hu, J.Y. o.fl. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
• Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
• Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
• Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
• "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, apríl 2025. techrxiv.org