Хебово учење среће Хопфилдове мреже: архитектура која је oдувек била паметнија од трансформера

Током протекле деценије трансформери и њихови механизми пажње доминирали су пејзажом вештачке интелигенције. Од GPT-а и BERT-а до Vision Transformera, мантра „attention is all you need“ изменила је начин на који размишљамо о машинском учењу. Преводилачки системи, енкодер-декодер токови који претварају податке из једног облика представљања у други, постали су окосница свега, од обраде језика до генерисања слика. Били су револуционарни. Били су моћни.

А сада наилазе на зид.

Иронија је у томе што решење постоји од 1982. године. Те године Џон Хопфилд је у часопису Proceedings of the National Academy of Sciences објавио рад у којем је представио рекурентну неуронску мрежу са својством које трансформери никада нису заиста достигли: зајемчена конвергенција ка стабилним стањима путем минимизације енергије. Хопфилдова мрежа није само учила обрасце, она их је похрањивала као физичке атракторе у енергетском пејзажу, које је могуће дозвати чак и из зашумљених или непотпуних улаза.

Заједница вештачке интелигенције тек сада почиње да усваја оно што физичари и неуронаучници знају деценијама: енергетски заснован, асоцијативан приступ неуронском рачунању није историјска куриозитет-појава, већ темељна парадигма на којој је ера трансформера само градила, а да је није у потпуности разумела.

Плафон трансформера

Трансформери функционишу тако што помоћу самопажње истовремено израчунавају односе међу свим елементима низа. То је sjajno за језик. Сјајно је и за структуриране податке са јасним секвенцијалним обрасцима. Али прави свет, свет роботике, уграђених кола, одлучивања вођеног сензорима и рачунарства на ивици мреже, не организује се у уредне низове који чекају да им се посveti пажња.

Архитектура трансформера претпоставља обиље: обиље рачунске снаге, обиље меморије, обиље енергије. Самопажња расте квадратно са дужином низа. Потпуно повезани слојеви расту линеарно, али огромно. Када систем заснован на трансформерима поставите на мобилног робота који се креће складиштем, или га уградите у електронско коло које управља производном руком, те претпоставке се распадају.

Преводилачка парадигма носи и сопствено ограничење: интелигенцију третира превасходно као проблем претварања између фиксних представа. Кодирај улаз. Декодирај излаз. Али права интелигенција не преводи само, она памти, она асоцира и конвергира ка стабилним тумачењима чак и када је улаз оштећен или двосмислен.

Те проблеме крпимо квантизацијом, дестилацијом, кресањем и стотинама других трикова оптимизације. Прегледи о Edge AI из 2025. потврђују да је примена дубоког учења на уграђеном хардверу и даље „ограничена строгим лимитима меморије, рачунања и енергије“. Али оптимизација суштински неприкладне архитектуре само одлаже обрачун. Потребна нам је архитектура која меморију, стабилност и енергетску ефикасност третира као прва начела, а не као накнадну мисао.

Хопфилдова неуронска мрежа ступа на сцену

Хопфилдова мрежа је рекурентна неуронска мрежа која се састоји од једног слоја неурона, у којем је сваки неурон повезан са сваким другим неуроном осим са самим собом. Мрежа гради потпуни неусмерени граф: сваки пар неурона дели симетричну тежину везе, што значи да је јачина од неурона i ка неурону j иста као јачина од неурона j ка i. Нема самоповезивања (wᵢᵢ = 0). Нема слојевите хијерархије. Нема секвенцијалног протока обраде. Уместо тога, цела мрежа функционише као јединствен, међусобно повезан динамички систем који се током времена развија ка стабилним равнотежним стањима.

Хопфилдова мрежа са потпуно повезаним неуронима. Сваки чвор је повезан са сваким другим чвором симетричним тежинама (wᵢⱼ = wⱼᵢ), чиме настаје комплетан неусмерени граф. Самоповезивања не постоје.

Елегантност ове архитектуре лежи у њеној функцији енергије. Хопфилд је доказао да његова мрежа поседује придружену Љапуновљеву функцију енергије:

E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ

Гарантовано је да ће се ова енергија смањити (или остати константна) при сваком ажурирању неурона. Мрежа увек конвергира: никада не осцилује бескрајно, никада не дивергира, никада не упада у бесконачне петље рачунања. Она се smiri, то јест умири. Брак је 1990. доказао да је то умиривање повезано са пресецима у придруженом графу: мрежа у суштини при сваком кораку ажурирања извршава похлепни алгоритам за проблем максималног пресека.

А тамо где се мрежа умири, тамо живи интелигенција. Ускладиштени обрасци одговарају локалним минимумима функције енергије, то јест долинама у енергетском пејзажу. Када мрежи представите оштећену, зашумљену или непотпуну верзију ускладиштеног обрасца, динамика котрља стање мреже низбрдо све док не западне у најближу долину: ускладиштени образац који најбоље одговара улазу.

Енергетски пејзаж Хопфилдове мреже. Свака долина (локални минимум) одговара једном ускладиштеном обрасцу памћења. Полазећи од било ког почетног стања, динамика мреже котрља стање „низбрдо“ све док се не смири у најближем атрактору, чиме се из делимичног или зашумљеног улаза поново добија читав образац.

Ово је асоцијативна меморија адресива по садржају – способност да се из делимичних наговештаја призове читаво сећање; нешто што биолошки мозгови раде без напора, а што трансформери могу само да приближно постигну скупим рачунањем.

Веза са физиком иде дубоко. Хопфилдова мрежа је математички еквивалентна Изинговом моделу – истом оквиру који се у статистичкој механици користи за описивање магнетизма. Шерингтон–Киркпатриков модел спинског стакла, објављен 1975. године, у суштини је Хопфилдова мрежа са насумичним тежинама. Хопфилдов увид био је да ту особину намерно искористи и да обликује енергетски пејзаж тако да сваки минимум одговара једном корисном ускладиштеном обрасцу.

Хебово учење: неурони који се заједно активирају, заједно се и повезују

Правило учења на којем почивају Хопфилдове мреже има корене још дубље у прошлости, све до књиге Доналда Хеба из 1949. године под насловом Организација понашања, у којој је изложено начело које се данас сматра темељним начелом теорије неуронског учења.

Хебов увид био је варљиво једноставан: када пресинаптичка ћелија поновљено и упорно учествује у активирању постсинаптичке ћелије, синаптичка веза међу њима јача. „Неурони који се заједно активирају, заједно се и повезују“, мада је сам Хеб био прецизнији и наглашавао је да ћелија A мора да учествује у изазивању активирања ћелије B, а не само да се активира у исто време. Та временска узрочност наслутила је оно што је данас познато као пластичност зависна од временског усклађивања импулса (STDP), експериментално потврђена деценијама касније, укључујући револуционарно истраживање Ерика Кендела на морском пужу Aplysia californica.

Хебово учење: када су два повезана неурона више пута активна заједно, синапса између њих се јача. Тај принцип, „неурони који се заједно активирају, заједно се и повезују“, биолошка је основа начина на који Хопфилдове мреже памте обрасце.

У Хопфилдовој мрежи Хебово учење се спроводи овако:

wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) за све сачуване обрасце l, при чему је u ≠ v

Када два неурона имају исто стање у датом обрасцу (оба +1 или оба −1), њихов производ је позитиван и појачава подстицајну везу. Када се не слажу, производ је негативан и ствара сузбијајућу везу. Збирни ефекат обликује енергетски пејзаж са једном долином за сваки сачувани образац.

Хебово правило је локално (за сваку измену тежине довољне су само информације доступне два повезана неурона) и инкрементално (нови обрасци могу да се сачувају без поновне обраде старих). Занимљиво је да се математички може доказати да Хебово учење спроводи неусмерену анализу главних компоненти (PCA) улазних података: мрежа сама од себе извлачи статистички најзначајније одлике свог окружења.

Амос Сторки је 1997. представио унапређено правило учења које узима у обзир локално поље сваког неурона и постиже већи капацитет памћења од стандардног Хебовог учења. То показује да и унутар исте архитектуре избор алгоритма учења има велики значај, а то се уклапа у ширу поуку истраживања неуронских мрежа.

Прекретница: „Хопфилдове мреже су све што вам треба“

Тим predвођен Хубертом Рамсауером са Универзитета Јоханес Кеплер у Линцу објавио је 2020. рад чији наслов провокативно одјекује причу о настанку трансформера: „Hopfield Networks is All You Need“. Њихов допринос био је математички доказ онога што су многи слутили: механизам самопажње у трансформерима је тачно правило ажурирања савремене континуалне Хопфилдове мреже.

Веза између савремених Хопфилдових мрежа и пажње у трансформерима. Механизам пажње заснован на softmax функцији у трансформерима математички је еквивалентан једном кораку ажурирања континуалне Хопфилдове мреже са експоненцијалном енергетском функцијом. Слика је из рада Ramsauer и сарадника, „Hopfield Networks is All You Need“.

То није била само аналогија. Тим је показао да, уопштавањем класичне Хопфилдове енергетске функције на континуална стања и увођењем експоненцијалног члана интеракције, правило ажурирања постаје:

Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv

а то је управо формула пажње у трансформерима. Савремена Хопфилдова мрежа може да сачува експоненцијално много образаца (у односу на димензију асоцијативног простора), враћа их једним ажурирањем и има експоненцијално мале грешке при враћању.

Рад је у овом савременом оквиру препознао три врсте енергетских минимума: (1) глобалну фиксну тачку која усредњава све сачуване обрасце, (2) метастабилна стања која усредњавају подскупове образаца и (3) фиксне тачке које чувају појединачне обрасце. Главе трансформера у нижим слојевима теже да раде у режиму глобалног усредњавања, док главе виших слојева користе метастабилна стања да прикупе и обраде информације, а тај налаз даје дубок увид у то зашто трансформери раде онако како раде.

Практична последица била је тренутна: тим је објавио Хопфилдове слојевекао уграђени PyTorch модули који могу заменити слојеве здруживања (pooling), GRU/LSTM слојеве и стандардне слојеве пажње. У бенчмаркинзима су ови Хопфилдови слојеви постигли врхунске резултате у класификацији имунског репертоара (са неколико стотина хиљада инстанци по узорку), у проблемима учења са више инстанци и на UCI бенчмарцима за класификацију, где се традиционалне методе дубоког учења обично муче.

До децембра 2025. рад Масумуре и Такија са NeurIPS-а отишао је корак даље и показао да излазак изван „адијабатске апроксимације“ открива скривена стања у вези између Хопфилдових мрежа и трансформера, која могу да реше проблеме колапса ранга и уједначености токена што муче дубоке трансформере, и то побољшавајући тачност без додавања иједног параметра за обуку.

Растући консензус: ко још то говори?

Теза да Хопфилдове мреже представљају следећу парадигму после трансформера није спекулација. Њоме се активно баве велике истраживачке институције, а докази се брзо гомилају. Ево кључних гласова и радова који долазе до истог закључка.

IBM Research и Дмитриј Кротов

У јануару 2025. IBM Research је објавио опширан интервју са Дмитријем Кротовим, Хопфилдовим дугогодишњим сарадником и једним од твораца густе асоцијативне меморије (Dense Associative Memory). Кротов је то изнео отворено: пошто Хопфилдове мреже одражавају мождане рекурентне повратне петље, за разлику од feedforward архитектуре коју користи 90% савремених AI модела, оне представљају „обећавајућу алтернативу данашњим feedforward мрежама“. Истакао је да трансформери обрађују информације само у једном смеру, а да са растом контекстних прозора рачунска сложеност нагло расте. Мозак, насупрот томе, користи рекурентне повратне петље да сажме и сачува прошле информације у меморији. Хопфилдове мреже раде на исти начин.

Кротов је описао и Energy Transformer (NeurIPS 2023), сарадњу IBM Research-а и Georgia Tech-а који не само да наслојава Хопфилдове идеје на постојеће трансформере него читав низ feedforward блокова трансформера замењује једним великим моделом асоцијативне меморије. Механизам пажње у Energy Transformer-у изричито се разликује од конвенционалне пажње: изведен је из основних принципа минимизације енергије, а не залепљен на feedforward цевовод.

🔗 IBM Research „Searching for brain-inspired AI algorithms“ (јан. 2025)

🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)

Универзитет Јоханес Кеплер – Хохрајтерова група

Зеп Хохрајтер, суизумитељ LSTM-а, предводио је тим који је објавио рад „Hopfield Networks is All You Need“. Њихов репозиторијум Hopfield слојева нуди PyTorch модуле спремне за продукцију, који служе као директна замена за слојеве пажње у трансформерима, слојеве здруживања и рекурентне слојеве. Пратећи блог текст корак по корак води кроз математичко извођење које показује да је softmax формула пажње посебан случај савременог Хопфилдовог правила ажурирања и да Хопфилдови слојеви нуде додатне могућности које стандардна пажња не може да пружи, укључујући статичке научене прототипове и флексибилне конфигурације асоцијативне меморије.

🔗 Hopfield Networks is All You Need – ICLR 2021

🔗 PyTorch Hopfield Layers – GitHub

🔗 Интерактивни блог текст – ml-jku.github.io

NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers

Најновији доказ долази из рада Масумуре и Такија са NeurIPS-а из децембра 2025. Они су показали да Modern Hopfield Attention (MHA) која додаје скривена стања изведена из пуне (неадијабатске) Хопфилдове динамике, систематски побољшава и GPT-2 и LLaMA језичке моделе, као и Vision Transformers. Побољшања су стигла без иједног додатног параметра за обуку. Још важније, показало се да MHA решава проблем колапса ранга (када матрице пажње у дубоким трансформерима дегенеришу, па сви токени конвергирају ка сличним репрезентацијама), фундаменталну патологију која прати покушаје скалирања трансформера. Аутори закључују: „Надамо се да ће ово истраживање отворити нове могућности за систематско пројектовање архитектура трансформера помоћу Хопфилдових мрежа.“

🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)

Nature Communications: биолошки веродостојно онлајн учење

У мају 2024. часопис Nature Communications објавио је рад о моделу Sparse Quantized Hopfield Network, који учи помоћу локалних правила учења у онлајн-континуалним сценаријима, баш као што то раде биолошки мозгови. Тиме се решава једно суштинско ограничење трансформера, којима је потребна нелокална повратна пропагација и офлајн обука на уређеним скуповима података. Рад Хопфилдове архитектуре види као природан мост између вештачких неуронских мрежа и неуроморфног хардвера.

🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)

Outlier-Efficient Hopfield Layers for Large Foundation Models

Рад из 2024. бавио се практичним проблемом великих трансформер модела: склоношћу да се пажња троши на неинформативне токене (граничнике, знаке интерпункције), познатом као проблем „no-op outlier“. Њихово решење била је outlier-efficient Hopfield енергијска функција која те токене класификује и усмерава у тачку нулте енергије, чиме спречава да разводне корисну пажњу. Добијени модел као посебан случај обухвата Softmax₁ пажњу и потврђен је на моделима BERT, OPT и Vision Transformers. То је Хопфилдова теорија која решава стварне инжењерске проблеме трансформера.

🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)

Трансформери као минимизатори енергије (јануар 2026)

Најновији теоријски рад, објављен у јануару 2026, читав прелаз унапред кроз трансформер представља као својствену минимизацију енергије и у потпуности усваја Хопфилдову перспективу као објашњење зашто трансформери уопште раде. Рад повезује ретке савремене Хопфилдове моделе са читавом породицом варијанти пажње (softmax, sparsemax, α-entmax) и показује да су све оне посебни случајеви енергијске динамике претраживања.

🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (јан 2026)

Прегледни радови и ресурси заједнице

Шира истраживачка заједница организује се око ове конвергенције:

• „Energy-Based Learning and the Evolution of Hopfield Networks“ (TechRxiv, април 2025) Свеобухватан преглед који прати цео лук од Хопфилда (1982) преко Болцманових машина до новог тумачења пажње трансформера као савремене Хопфилдове динамике. → Прочитајте рад
• „An Energy-Based Perspective on Attention Mechanisms in Transformers“ Продубљен технички блог који тврди да разумевање трансформера кроз Хопфилдово енергијско сочиво „може довести до квалитативно другачијих побољшања изван оног што је могуће само ослањањем на скалирање и смањење рачунске сложености.“ → Прочитајте блог
• Awesome Modern Hopfield Networks Пажљиво одабрано GitHub спремиште које прати више од 50 радова о савременим Хопфилдовим мрежама у разним областима: алокација имовине, откривање промена, реконструкција креативне мисли, откривање података ван расподеле, класификација имунолошког репертоара и још много тога. → Погледајте колекцију
• „Is Hopfield Networks All You Need?“ (Analytics India Magazine, децембар 2024) Практичан приказ тога како је Хохрајтеров тим показао да су Хопфилдове мреже „заменљиве са најсавременијим моделима трансформера“. → Прочитајте чланак
• „New Research in Hopfield Networks: A Short Intro“ (Medium, јул 2024) Приступачан преглед који истиче да је капацитет складиштења порастао са 0,138N на 2^(N/2) захваљујући експоненцијалним активационим функцијама. → Прочитајте на Medium-у

Правац је јасан. Ово није предлог једне лабораторије нити спекулација једног рада. IBM Research, Универзитет Јоханес Кеплер, MIT, NeurIPS, Nature Communications и шира заједница машинског учења из различитих праваца долазе до истог закључка: парадигма асоцијативне меморије заснована на енергији, коју је поставио Хопфилд, није само темељ на коме су трансформери, несвесно, изграђени она је оквир који ће вештачку интелигенцију понети даље од онога што трансформери могу да постигну сами.

Зашто је ово важно сада: аргументи за прелазак

Zagarantovana konvergencija za безбедносно критичне системе

Трансформери дају излазне вредности, али не постоји математичка гаранција стабилности. Хопфилдове мреже конвергирају ка стабилним стањима по доказу  функција енергије монотоно опада. За роботику, аутономна возила, медицинске уређаје и сваки систем у коме је поузданост неupитна, то је захтев који трансформери не могу да испуне.

Асоцијативна меморија као кључна способност

Ако Хопфилдову мрежу обучите тако да стање (1, −1, 1, −1, 1) буде минимум енергије, а затим јој представите оштећен улаз (1, −1, −1, −1, 1), мрежа ће конвергирати ка исправном ускладиштеном обрасцу. Она не nagађа и не интерполира она се котрља низбрдо кроз енергетски предео до најближег атрактора. За роботику са заклоњеним сензорима, уграђене системе са зашумљеним подацима и сваку примену која захтева допуњавање обрасца на основу делимичног улаза, ово је преокрет.

Универзални мотор за оптимизацију

Хопфилд и Дејвид Тенк су 1985. показали да Хопфилдове мреже могу да реше проблем трговачког путника. Ако се функција трошка може записати у облику Хопфилдове енергије, тада су равнотежне тачке мреже управо решења. Од тада се ова архитектура примењује на распоређивање послова у радионицама, доделу канала у бежичним мрежама, рестаурацију слика, аналогно-дигиталну конверзију, мобилно рутирање и комбинаторну оптимизацију. Рад у часопису Nature Communications из 2024. представио је Sparse Quantized Hopfield Network за онлајн-континуално учење меморије помоћу локалних правила на исти начин као што то раде биолошки мозгови, способност којој трансформерима суштински недостаје.

Хардвер који размишља без софтвера

Ограничење симетричних тежина (wᵢⱼ = wⱼᵢ) директно се пресликава на аналогна електронска кола отпорничка веза је по природи симетрична. Хопфилдове мреже могу се израдити као ASIC или FPGA кола са закључивањем у наносекундним временским размерама. Збирка часописа Nature из 2025. о неуроморфном рачунарству потврђује овај правац: енергетски ефикасан аналогни хардвер који имплементира неуронску динамику на ивици мреже, уз меморију адресирану садржајем којој не требају GPU, CPU нити софтверски стек.

Нео­морфни и аналогни АИ чипови који динамику неуронских мрежа имплементирају директно у хардверу. Симетрична структура Хопфилдових мрежа заснована на енергији природно се пресликава на отпорничка кола и омогућава АИ закључивање у наносекундама, без класичног софтверског слоја.

Бинарна и непрекидна флексибилност

Класичне Хопфилдове мреже користе бинарне неуроне (+1 или −1); непрекидне варијанте користе сигмоидну активацију и диференцијалне једначине. Ажурирања могу бити асинхрона (један неурон у једном тренутку, чиме је конвергенција загарантована) или синхрона (сви одједном, што омогућава паралелизам). Иста архитектура прилагођава се свему од микроконтролера са неколико килобајта RАМ-а до масовно паралелног FPGA-а, а сада, уз савремене Хопфилдове слојеве, и до deep learning токова рада убрзаних на GPU-у.

Капацитет складиштења: поштано ограничење

Класично ограничење је јасно: мрежа од N неурона поуздано памти приближно 0.138N образаца пре него што лажна стања почну да нарушавају дохватање. То је стварно ограничење, али је поштено. Трансформери немају чисту математичку границу после које почињу да халуцинирају.

Штавише, савремене Хопфилдове мреже (Krotov & Hopfield, 2016; Demircigil et al., 2017) постижу експоненцијални капацитет складиштења захваљујући интеракцијским члановима вишег реда. Истраживања и даље померају ове границе: ретке и структуриране Хопфилдове мреже, Хопфилдова меморија за дугачке секвенце и Хопфилдове мреже за алокацију имовине све су активна подручја развоја, а радови се брзо нагомилавају.

Практична примена: од рачунара до кола

Првобитна визија раних истраживача неуронских мрежа била је јасна: оквир који се опише једном, а примењује свуда. Хопфилдова архитектура то остварује:

Рачунарске апликације Матрица тежина и правило ажурирања. ГПУ није потребан.

Интернет апликације Адресабилна меморија по садржају за претрагу по сличности, препоруке и уклањање дупликата.

Роботика Загарантована конвергенција за управљачке петље у реалном времену. Моторички обрасци се чувају као атрактори и призивају чак и из шумовитог улаза сензора.

Угађени системи Бинарне Хопфилдове мреже раде на микроконтролерима уз чисту целобројну аритметику.

Електронска кола Симетричне тежине пресликавају се на отпорничке мреже. Интелигенција израђена директно у силицијуму.

Пут напред

Ера трансформера подарила нам је изузетне језичке машине. Али граница се шири на физички свет: роботе, сензоре, актуаторе и одлуке у реалном времену. Та граница захтева архитектуре које су стабилне, ефикасне, тумачљиве и примењиве на хардверу који заиста постоји на ивици мреже.

Доказ из 2020. да је трансформерска пажња заправо савремено Хопфилдово правило ажурирања није био само математичка занимљивост већ је открио да смо све време користили Хопфилдове мреже, умотане у оквир који је скривао њихову праву природу. Рад са NeurIPS-а 2025. који показује да Хопфилдова скривена стања решавају патологије трансформера, попут колапса ранга, указује на следећи корак: не крпити трансформере Хопфилдовим увидима, већ градити директно на самој Хопфилдовој парадигми.

Џон Хопфилд нам је показао пут 1982. Доналд Хеб поставио је биолошке темеље 1949. Истраживачка заједница се сада окупља око тога.

Време је да пређемо.

Референце

• Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
• Hebb, D.O. (1949). The Organization of BehaviorWiley.
• Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
• Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
• Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
• Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
• Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
• Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
• Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
• Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
• Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
• Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
• Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
• "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, April 2025. techrxiv.org