হেবিয়ান লার্নিং ও হপফিল্ড নেটওয়ার্ক: যে আর্কিটেকচার সবসময়ই ট্রান্সফরমারের চেয়ে বুদ্ধিমান ছিল
গত এক দশক ধরে ট্রান্সফরমার ও তার অ্যাটেনশন মেকানিজমই এআই-জগতে একচ্ছত্র আধিপত্য করছে। GPT থেকে BERT, এমনকি Vision Transformer পর্যন্ত, "অ্যাটেনশনই যথেষ্ট" মন্ত্রটি মেশিন লার্নিং নিয়ে আমাদের ভাবনাকেই নতুন করে গড়ে দিয়েছে। অনুবাদক (translator) সিস্টেম, অর্থাৎ এনকোডার-ডিকোডার পাইপলাইন, যা এক উপস্থাপনা থেকে আরেক উপস্থাপনায় ডেটা রূপান্তর করে, ভাষা প্রক্রিয়াকরণ থেকে ছবি তৈরি পর্যন্ত সবকিছুর মেরুদণ্ড হয়ে উঠেছে। এগুলো ছিল বৈপ্লবিক। এগুলো ছিল শক্তিশালী।
আর এখন, এরা একটি দেয়ালের মুখোমুখি।
মজার বিষয় হলো, সমাধানটি ১৯৮২ সাল থেকেই আমাদের হাতের কাছে আছে। সে বছর জন হপফিল্ড Proceedings of the National Academy of Sciences-এ এমন একটি গবেষণাপত্র প্রকাশ করেন, যেখানে তিনি একটি রিকারেন্ট নিউরাল নেটওয়ার্ক উপস্থাপন করেন। এর একটি বৈশিষ্ট্য ট্রান্সফরমার আজও সত্যিকার অর্থে অর্জন করতে পারেনি: শক্তি ন্যূনতমকরণের (energy minimization) মাধ্যমে স্থিতিশীল অবস্থায় পৌঁছানোর নিশ্চিত অভিসরণ। হপফিল্ড নেটওয়ার্ক কেবল প্যাটার্ন শেখেনি, সেগুলোকে একটি শক্তির প্রান্তরে (energy landscape) ভৌত আকর্ষক (attractor) হিসেবে সংরক্ষণ করেছে, যাতে এলোমেলো বা অসম্পূর্ণ ইনপুট থেকেও সেগুলো ফিরিয়ে আনা যায়।
পদার্থবিজ্ঞান ও স্নায়ুবিজ্ঞানের জগৎ যা কয়েক দশক ধরে জানে, এআই সম্প্রদায় এখন সবে তা আত্মস্থ করতে শুরু করেছে: নিউরাল কম্পিউটেশনের শক্তিভিত্তিক, অ্যাসোসিয়েটিভ পদ্ধতি কোনো ঐতিহাসিক কৌতূহল নয়, এটি একটি মৌলিক দৃষ্টান্ত, যার ওপর ট্রান্সফরমারের যুগ দাঁড়িয়েছে, অথচ পুরোপুরি না বুঝেই।
ট্রান্সফরমারের সীমারেখা
ট্রান্সফরমার সেলফ-অ্যাটেনশনের মাধ্যমে একটি সিকোয়েন্সের প্রতিটি উপাদানের মধ্যে সম্পর্ক একসঙ্গে হিসাব করে কাজ করে। ভাষার জন্য এটি অসাধারণ। স্পষ্ট ক্রমিক প্যাটার্নযুক্ত কাঠামোবদ্ধ ডেটার জন্যও অসাধারণ। কিন্তু বাস্তব জগৎ, অর্থাৎ রোবোটিক্স, এমবেডেড সার্কিট, সেন্সরনির্ভর সিদ্ধান্ত গ্রহণ আর এজ কম্পিউটিংয়ের জগৎ, নিজেকে পরিপাটি সিকোয়েন্সে সাজিয়ে অ্যাটেনশনের অপেক্ষায় বসে থাকে না।
ট্রান্সফরমার আর্কিটেকচার ধরে নেয় সবকিছুর প্রাচুর্য: প্রচুর কম্পিউট, প্রচুর মেমরি, প্রচুর বিদ্যুৎ। সেলফ-অ্যাটেনশনের খরচ সিকোয়েন্সের দৈর্ঘ্যের সঙ্গে দ্বিঘাতভাবে বাড়ে। ফিড-ফরওয়ার্ড লেয়ার রৈখিকভাবে বাড়ে বটে, কিন্তু বিপুল পরিমাণে। কোনো গুদামে চলাচলকারী মোবাইল রোবটে, কিংবা উৎপাদন-লাইনের রোবোটিক বাহু নিয়ন্ত্রণকারী ইলেকট্রনিক সার্কিটে ট্রান্সফরমারভিত্তিক সিস্টেম বসাতে গেলে এই ধারণাগুলো ভেঙে পড়ে।
অনুবাদক (translator) দৃষ্টান্তের নিজস্ব একটি সীমাবদ্ধতাও আছে: এটি বুদ্ধিমত্তাকে মূলত নির্দিষ্ট উপস্থাপনাগুলোর মধ্যে রূপান্তরের সমস্যা বলে ধরে নেয়। ইনপুট এনকোড করো। আউটপুট ডিকোড করো। কিন্তু প্রকৃত বুদ্ধিমত্তা কেবল অনুবাদ করে না, সে মনে রাখে, সে সংযোগ ঘটায়, আর ইনপুট নষ্ট বা অস্পষ্ট হলেও সে স্থিতিশীল একটি ব্যাখ্যায় অভিসৃত হয়।
আমরা কোয়ান্টাইজেশন, ডিস্টিলেশন, প্রুনিং আর আরও শত অপটিমাইজেশন কৌশলে এই সমস্যাগুলোয় জোড়াতালি দিয়ে চলেছি। ২০২৫ সালের এজ এআই সমীক্ষাগুলো নিশ্চিত করে যে এমবেডেড হার্ডওয়্যারে ডিপ লার্নিং চালানো এখনও "মেমরি, কম্পিউটেশন ও শক্তির কঠোর সীমাবদ্ধতায় আটকে" আছে। কিন্তু মৌলিকভাবে বেমানান একটি আর্কিটেকচারকে অপটিমাইজ করে হিসাব-নিকাশের দিনটি কেবল পিছিয়ে দেওয়া যায়। আমাদের দরকার এমন একটি আর্কিটেকচার, যা মেমরি, স্থিতিশীলতা ও শক্তিদক্ষতাকে ভাবে প্রথম নীতি হিসেবে, পরে মনে পড়া বিষয় হিসেবে নয়।
হপফিল্ড নিউরাল নেটওয়ার্কের আগমন
হপফিল্ড নেটওয়ার্ক হলো এক স্তরের নিউরন নিয়ে গঠিত একটি রিকারেন্ট নিউরাল নেটওয়ার্ক, যেখানে প্রতিটি নিউরন নিজেকে বাদ দিয়ে বাকি সব নিউরনের সঙ্গে যুক্ত। নেটওয়ার্কটি গড়ে তোলে একটি সম্পূর্ণ অনির্দেশিত গ্রাফ: প্রতিটি নিউরন-জোড়া একটি প্রতিসম সংযোগ-ওজন ভাগ করে নেয়, অর্থাৎ নিউরন i থেকে নিউরন j-এর সংযোগের শক্তি ঠিক ততটাই, যতটা jথেকেi। কোনো স্ব-সংযোগ নেই (wᵢᵢ = 0)। স্তরবিন্যস্ত কোনো কাঠামো নেই। ধাপে ধাপে চলা কোনো প্রক্রিয়াকরণ পাইপলাইনও নেই। বরং পুরো নেটওয়ার্কটি একটিমাত্র আন্তঃসংযুক্ত গতিশীল ব্যবস্থা হিসেবে কাজ করে, যা সময়ের সঙ্গে সঙ্গে বিবর্তিত হয়ে স্থিতিশীল ভারসাম্য অবস্থার দিকে এগোয়।
পূর্ণ সংযুক্ত নিউরন নিয়ে গঠিত একটি হপফিল্ড নেটওয়ার্ক। প্রতিটি নোড প্রতিটি অন্য নোডের সঙ্গে প্রতিসম ওজনে (wᵢⱼ = wⱼᵢ) যুক্ত, ফলে একটি সম্পূর্ণ অনির্দেশিত গ্রাফ তৈরি হয়। কোনো স্ব-সংযোগ নেই।
এই স্থাপত্যের সৌন্দর্য নিহিত রয়েছে এর শক্তি ফাংশনে। হপফিল্ড প্রমাণ করেছিলেন যে তাঁর নেটওয়ার্কের সঙ্গে যুক্ত রয়েছে একটি লিয়াপুনভ শক্তি ফাংশন:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
প্রতিটি নিউরন হালনাগাদের সঙ্গে এই শক্তি অবশ্যই কমে (অথবা অপরিবর্তিত থাকে)। নেটওয়ার্ক সবসময় একটি অবস্থায় এসে স্থির হয়: কখনো অনন্তকাল দুলতে থাকে না, কখনো অপসারী হয়ে যায় না, অসীম গণনার চক্রেও আটকে পড়ে না। সে থিতু হয়। ১৯৯০ সালে ব্রুক প্রমাণ করেন, এই থিতু হওয়ার আচরণ সংশ্লিষ্ট গ্রাফের কাট-এর সঙ্গে সম্পর্কিত: প্রতিটি হালনাগাদ ধাপে নেটওয়ার্ক আসলে ম্যাক্স-কাট সমস্যার জন্য একটি লোভী (গ্রিডি) অ্যালগরিদম চালায়।
আর নেটওয়ার্ক যেখানে থিতু হয়, সেখানেই বাস করে বুদ্ধিমত্তা। সংরক্ষিত প্যাটার্নগুলো শক্তি ফাংশনের স্থানীয় সর্বনিম্ন বিন্দুর সঙ্গে মেলে, অর্থাৎ শক্তির ভূদৃশ্যের উপত্যকাগুলোর সঙ্গে। যখন নেটওয়ার্কের সামনে কোনো সংরক্ষিত প্যাটার্নের বিকৃত, বিঘ্নিত বা অসম্পূর্ণ রূপ তুলে ধরা হয়, তখন তার গতিবিদ্যা নেটওয়ার্কের অবস্থাকে ঢাল বেয়ে নিচে গড়িয়ে নিয়ে যায়, যতক্ষণ না সে নিকটতম উপত্যকায় গিয়ে পড়ে: অর্থাৎ ইনপুটের সঙ্গে সবচেয়ে ভালো মেলে এমন সংরক্ষিত প্যাটার্নে।
একটি হপফিল্ড নেটওয়ার্কের শক্তির ভূদৃশ্য। প্রতিটি উপত্যকা (স্থানীয় সর্বনিম্ন বিন্দু) একটি সংরক্ষিত স্মৃতি-প্যাটার্নের সঙ্গে সম্পর্কিত। যেকোনো প্রারম্ভিক অবস্থা থেকে শুরু করে নেটওয়ার্কের গতিবিদ্যা "ঢাল বেয়ে নিচে" গড়াতে থাকে, যতক্ষণ না নিকটতম আকর্ষকে (অ্যাট্র্যাক্টর) থিতু হয়: আংশিক বা বিঘ্নিত ইনপুট থেকে পূর্ণ প্যাটার্নটি ফিরে পায়।
এটাই হলো বিষয়বস্তু-ঠিকানাযুক্ত সংযোগী স্মৃতি অর্থাৎ আংশিক ইঙ্গিত থেকে পূর্ণ স্মৃতি মনে করার সক্ষমতা। জৈব মস্তিষ্ক এটা অনায়াসেই করে, অথচ ট্রান্সফরমার একে কেবল ব্যয়বহুল গণনার মাধ্যমে মোটামুটি অনুকরণ করতে পারে।
পদার্থবিজ্ঞানের সঙ্গে এর যোগ অনেক গভীর। হপফিল্ড নেটওয়ার্ক গাণিতিকভাবে আইজিং মডেলের সমতুল্য, পরিসংখ্যানগত বলবিদ্যায় চুম্বকত্ব বর্ণনা করতে যে কাঠামো ব্যবহার করা হয়, এটি সেটিই। ১৯৭৫ সালে প্রকাশিত স্পিন গ্লাসের শেরিংটন-কার্কপ্যাট্রিক মডেল মূলত এলোমেলো ওজনযুক্ত একটি হপফিল্ড নেটওয়ার্কই। হপফিল্ডের অন্তর্দৃষ্টি ছিল এই বৈশিষ্ট্যটিকে সচেতনভাবে কাজে লাগানো: শক্তির ভূদৃশ্যটি এমনভাবে গড়ে তোলা, যাতে প্রতিটি সর্বনিম্ন বিন্দু একটি কাজের সংরক্ষিত প্যাটার্নের সঙ্গে মেলে।
হেবীয় শিখন: যে নিউরন একসঙ্গে জ্বলে ওঠে, তারা একসঙ্গে জুড়ে যায়
হপফিল্ড নেটওয়ার্ককে কাজ করার সামর্থ্য দেয় যে শিখন-নিয়ম, তার শিকড় আরও পেছনে চলে যায়, ডোনাল্ড হেবের ১৯৪৯ সালের বই দ্য অর্গানাইজেশন অব বিহেভিয়র-এ, যেখানে এমন একটি নীতি প্রস্তাব করা হয়েছিল যাকে আজ নিউরাল শিখন তত্ত্বের ভিত্তিমূল নীতি বলে গণ্য করা হয়।
হেবের অন্তর্দৃষ্টি ছিল ছলনাময় রকমের সরল: কোনো প্রি-সিন্যাপটিক কোষ যদি বারবার ও অবিরামভাবে কোনো পোস্ট-সিন্যাপটিক কোষকে জ্বলে উঠতে সাহায্য করে, তবে তাদের মধ্যকার সিন্যাপটিক সংযোগ শক্তিশালী হয়। "যে নিউরন একসঙ্গে জ্বলে ওঠে, তারা একসঙ্গে জুড়ে যায়"। যদিও হেব নিজে আরও নির্ভুল ছিলেন; তিনি জোর দিয়েছিলেন যে কোষ A-কে কোষ B-র জ্বলে ওঠার কারণ ঘটাতে অংশ নিতে হবে, কেবল একই সময়ে জ্বলে উঠলেই হবে না। এই সময়গত কার্যকারণ সম্পর্কই আজ যাকে স্পাইক-টাইমিং-নির্ভর প্লাস্টিসিটি (STDP) বলা হয়, তার পূর্বাভাস দিয়েছিল। কয়েক দশক পর পরীক্ষামূলকভাবে তা নিশ্চিত হয়, এর মধ্যে রয়েছে সামুদ্রিক শামুক অ্যাপ্লিসিয়া ক্যালিফর্নিকা.
হেবিয়ান লার্নিং: পরস্পর সংযুক্ত দুটি নিউরন যখন বারবার একসঙ্গে সক্রিয় হয়, তখন তাদের মধ্যকার সিন্যাপস আরও শক্তিশালী হয়। "যে নিউরনগুলো একসঙ্গে সক্রিয় হয়, তারা একসঙ্গে সংযুক্ত হয়" এই নীতিই হপফিল্ড নেটওয়ার্কের প্যাটার্ন সংরক্ষণ পদ্ধতির জৈবিক ভিত্তি।
হপফিল্ড নেটওয়ার্কে হেবিয়ান লার্নিং বাস্তবায়িত হয় এভাবে:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) সংরক্ষিত সব প্যাটার্ন l এর জন্য, যেখানে u ≠ v
কোনো প্যাটার্নে দুটি নিউরনের অবস্থা এক হলে (দুটোই +1 বা দুটোই −1) তাদের গুণফল ধনাত্মক হয়, ফলে উদ্দীপক সংযোগ জোরালো হয়। অবস্থা ভিন্ন হলে গুণফল ঋণাত্মক হয় এবং একটি নিরোধক সংযোগ তৈরি হয়। এই সম্মিলিত প্রভাব একটি শক্তি-ভূদৃশ্য (energy landscape) গড়ে তোলে, যেখানে প্রতিটি সংরক্ষিত প্যাটার্নের জায়গায় থাকে একটি উপত্যকা।
হেবিয়ান নিয়মটি স্থানীয় (প্রতিটি ওজন হালনাগাদে কেবল সংযুক্ত দুই নিউরনের হাতে থাকা তথ্যই ব্যবহৃত হয়) এবং ক্রমবর্ধমান (পুরনো প্যাটার্ন নতুন করে প্রক্রিয়া না করেই নতুন প্যাটার্ন সংরক্ষণ করা যায়)। আশ্চর্যের বিষয়, গাণিতিকভাবে দেখানো যায় যে হেবিয়ান লার্নিং ইনপুট ডেটার অনিরীক্ষিত প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস (PCA) সম্পন্ন করে নেটওয়ার্ক স্বভাবতই তার পরিবেশ থেকে পরিসংখ্যানগতভাবে সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্যগুলো বের করে আনে।
১৯৯৭ সালে অ্যামোস স্টোরকি একটি উন্নত শেখার নিয়ম উপস্থাপন করেন, যেটি প্রতিটি নিউরনের স্থানীয় ক্ষেত্র (local field) বিবেচনায় নেয় এবং সাধারণ হেবিয়ান লার্নিংয়ের চেয়ে বেশি ধারণক্ষমতা অর্জন করে। এতে বোঝা যায়, একই স্থাপত্যের মধ্যেও শেখার অ্যালগরিদমের বাছাই গভীরভাবে গুরুত্বপূর্ণ নিউরাল নেটওয়ার্ক গবেষণার বৃহত্তর শিক্ষার সঙ্গে এই নীতি মিলে যায়।
যুগান্তকারী মোড়: "Hopfield Networks is All You Need"
২০২০ সালে জোহানেস কেপলার ইউনিভার্সিটি লিনৎসের হুবার্ট রামসাউয়ারের নেতৃত্বে একটি দল এমন একটি গবেষণাপত্র প্রকাশ করে, যার শিরোনাম ট্রান্সফরমারের উৎপত্তির গল্পের এক উসকানিমূলক প্রতিধ্বনি: "Hopfield Networks is All You Need." অনেকে যা সন্দেহ করছিলেন, তাদের অবদান ছিল তার গাণিতিক প্রমাণ: ট্রান্সফরমারের সেল্ফ-অ্যাটেনশন প্রক্রিয়া আধুনিক অবিচ্ছিন্ন হপফিল্ড নেটওয়ার্কের হালনাগাদ নিয়মের হুবহু রূপ।
আধুনিক হপফিল্ড নেটওয়ার্ক ও ট্রান্সফরমার অ্যাটেনশনের সংযোগ। ট্রান্সফরমারের সফটম্যাক্সভিত্তিক অ্যাটেনশন প্রক্রিয়া গাণিতিকভাবে সূচকীয় শক্তি-ফাংশনসহ একটি অবিচ্ছিন্ন হপফিল্ড নেটওয়ার্কের একটি হালনাগাদ ধাপের সমতুল্য। ছবি: Ramsauer et al., "Hopfield Networks is All You Need."
এটি নিছক উপমা ছিল না। দলটি দেখিয়েছে, ধ্রুপদি হপফিল্ড শক্তি-ফাংশনকে অবিচ্ছিন্ন অবস্থায় সাধারণীকরণ করে এবং একটি সূচকীয় মিথস্ক্রিয়া পদ ব্যবহার করলে হালনাগাদ নিয়মটি দাঁড়ায়:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
আর এটাই ঠিক ট্রান্সফরমারের অ্যাটেনশন সূত্র। আধুনিক হপফিল্ড নেটওয়ার্ক সূচকীয় হারে অসংখ্য প্যাটার্ন সংরক্ষণ করতে পারে (অ্যাসোসিয়েটিভ স্পেসের মাত্রার সঙ্গে সঙ্গতি রেখে), একটিমাত্র হালনাগাদে সেগুলো ফিরিয়ে আনে এবং এর পুনরুদ্ধারজনিত ত্রুটি সূচকীয় হারে ক্ষুদ্র।
গবেষণাপত্রটি এই আধুনিক কাঠামোয় তিন ধরনের শক্তি-নিম্নবিন্দু শনাক্ত করেছে: (1) সব সংরক্ষিত প্যাটার্নের গড় নেওয়া একটি বৈশ্বিক স্থির বিন্দু, (2) প্যাটার্নের উপসেটগুলোর গড় নেওয়া মেটাস্টেবল অবস্থা, এবং (3) একক প্যাটার্ন সংরক্ষণকারী স্থির বিন্দু। নিচের স্তরের ট্রান্সফরমার হেডগুলো সাধারণত বৈশ্বিক গড়ের ধরনে কাজ করে, আর উপরের স্তরের হেডগুলো তথ্য সংগ্রহ ও প্রক্রিয়াকরণে মেটাস্টেবল অবস্থা ব্যবহার করে এই পর্যবেক্ষণ ট্রান্সফরমার কেন এভাবে কাজ করে, সে সম্পর্কে গভীর অন্তর্দৃষ্টি দেয়।
এর বাস্তব প্রভাব ছিল তাৎক্ষণিক: দলটি প্রকাশ করল হপফিল্ড লেয়ারএগুলোকে ড্রপ-ইন PyTorch মডিউল হিসেবে, যা পুলিং লেয়ার, GRU/LSTM লেয়ার এবং স্ট্যান্ডার্ড অ্যাটেনশন লেয়ারের জায়গা নিতে পারে। বেঞ্চমার্কে এই Hopfield লেয়ারগুলো ইমিউন রেপার্টোয়ার শ্রেণিবিন্যাসে (প্রতি নমুনায় কয়েক লক্ষ ইনস্ট্যান্স), মাল্টিপল ইনস্ট্যান্স লার্নিং সমস্যায় এবং UCI শ্রেণিবিন্যাস বেঞ্চমার্কে অত্যাধুনিক ফলাফল অর্জন করেছে, যেখানে প্রচলিত ডিপ লার্নিং পদ্ধতি সাধারণত হিমশিম খায়।
২০২৫ সালের ডিসেম্বরে মাসুমুরা ও তাকির একটি NeurIPS গবেষণাপত্র আরও এক ধাপ এগিয়ে দেখায়, "অ্যাডিয়াব্যাটিক আসন্নকরণ"-এর গণ্ডি পেরিয়ে গেলে Hopfield-ট্রান্সফরমার সংশ্লেষে লুকানো অবস্থা (hidden states) ধরা পড়ে। এগুলো ডিপ ট্রান্সফরমারকে ভোগানো র্যাঙ্ক কলাপ্স ও টোকেন সমরূপতার সমস্যা মেটাতে পারে, এবং কোনো বাড়তি প্রশিক্ষণ প্যারামিটার ছাড়াই নির্ভুলতা বাড়ায়।
বাড়তে থাকা ঐকমত্য: আর কারা এ কথা বলছেন?
Hopfield নেটওয়ার্কই ট্রান্সফরমারের পরবর্তী প্যারাডাইম, এই যুক্তি কোনো অনুমান নয়। বড় বড় গবেষণা প্রতিষ্ঠান সক্রিয়ভাবে এ পথে কাজ করছে, আর প্রমাণ জমছে দ্রুত। একই সিদ্ধান্তে এসে মিলছে যেসব প্রধান কণ্ঠ ও গবেষণাপত্র, সেগুলো এখানে তুলে ধরা হলো।
IBM Research এবং দিমিত্রি ক্রোতভ
২০২৫ সালের জানুয়ারিতে IBM Research প্রকাশ করে একটি বিস্তারিত সাক্ষাৎকার, দিমিত্রি ক্রোতভের সঙ্গে, যিনি Hopfield-এর দীর্ঘদিনের সহযোগী এবং Dense Associative Memory-র অন্যতম স্থপতি। ক্রোতভ সরাসরিই যুক্তি দিলেন: বর্তমান AI মডেলগুলোর ৯০%-এর ফিডফরওয়ার্ড স্থাপত্যের বিপরীতে Hopfield নেটওয়ার্ক মস্তিষ্কের পৌনঃপুনিক ফিডব্যাক লুপের প্রতিফলন ঘটায়, তাই এগুলো "আজকের ফিডফরওয়ার্ড নেটওয়ার্কের একটি সম্ভাবনাময় বিকল্প"। তিনি উল্লেখ করেন, ট্রান্সফরমার তথ্য প্রক্রিয়া করে কেবল এক দিকে, আর কনটেক্সট উইন্ডো যত লম্বা হয়, গণনার জটিলতা তত দ্রুত বাড়ে। মস্তিষ্ক এর উল্টো: অতীতের তথ্য সংক্ষেপে ধরে রাখতে ও স্মৃতিতে জমা করতে সে পৌনঃপুনিক ফিডব্যাক লুপ ব্যবহার করে। Hopfield নেটওয়ার্কও কাজ করে ঠিক একইভাবে।
ক্রোতভ আরও বর্ণনা করেন Energy Transformer (NeurIPS 2023) নিয়ে, যা IBM Research ও Georgia Tech-এর যৌথ কাজ। এটি শুধু বিদ্যমান ট্রান্সফরমারের ওপর Hopfield-এর অন্তর্দৃষ্টি চাপিয়ে দেয় না; ফিডফরওয়ার্ড ট্রান্সফরমার ব্লকের পুরো ধারাটিকেই একটিমাত্র বড় Associative Memory মডেল দিয়ে প্রতিস্থাপন করে। Energy Transformer-এর অ্যাটেনশন প্রক্রিয়া প্রচলিত অ্যাটেনশন থেকে স্পষ্টতই আলাদা: এটি শক্তি ন্যূনীকরণের মৌলিক নীতি থেকে উদ্ভূত, ফিডফরওয়ার্ড পাইপলাইনের গায়ে জোড়াতালি দেওয়া নয়।
🔗 IBM Research "Searching for brain-inspired AI algorithms" (জানু ২০২৫)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
Johannes Kepler University - Hochreiter-এর গবেষণা দল
LSTM-এর সহ-উদ্ভাবক Sepp Hochreiter সেই দলের নেতৃত্ব দেন, যারা "Hopfield Networks is All You Need" প্রকাশ করে। তাদের Hopfield layers রিপোজিটরি দেয় উৎপাদনের উপযোগী PyTorch মডিউল, যেগুলো ট্রান্সফরমারের অ্যাটেনশন লেয়ার, পুলিং লেয়ার ও রিকারেন্ট লেয়ারের জায়গায় সরাসরি বসানো যায়। সহযোগী ব্লগ পোস্টে গাণিতিক ব্যুৎপত্তি ধাপে ধাপে দেখানো হয়েছে: softmax অ্যাটেনশন সূত্র আধুনিক Hopfield আপডেট নিয়মেরই একটি বিশেষ রূপ, আর Hopfield লেয়ার এমন বাড়তি সক্ষমতা দেয় যা স্ট্যান্ডার্ড অ্যাটেনশন দিতে পারে না, যেমন স্থির শেখা প্রোটোটাইপ ও নমনীয় অ্যাসোসিয়েটিভ মেমরি কনফিগারেশন।
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers
সবচেয়ে সাম্প্রতিক প্রমাণ এসেছে মাসুমুরা ও তাকির ২০২৫ সালের ডিসেম্বরের NeurIPS গবেষণাপত্রে। তাঁরা দেখিয়েছেন যে আধুনিক হপফিল্ড অ্যাটেনশন (MHA) যা পূর্ণ (অ-আডিয়াব্যাটিক) হপফিল্ড গতিবিদ্যা থেকে প্রাপ্ত হিডেন স্টেট যোগ করে, GPT-2 ও LLaMA ভাষা মডেল এবং ভিশন ট্রান্সফরমার—এই সবকটিকেই নিয়মিতভাবে আরও ভালো করে তোলে। এই উন্নতির জন্য প্রশিক্ষণের কোনো বাড়তি প্যারামিটার লাগেনি। আরও গুরুত্বপূর্ণ বিষয় হলো, MHA র্যাঙ্ক কোলাপ্স সমস্যার সমাধান করেছে (গভীর ট্রান্সফরমারে অ্যাটেনশন ম্যাট্রিক্স অবনমিত হয়ে যায়, ফলে সব টোকেন প্রায় একই রকম উপস্থাপনায় এসে মিশে যায়)। ট্রান্সফরমার বড় করার প্রচেষ্টাকে এই মৌলিক সমস্যাটি দীর্ঘদিন ধরে ভুগিয়েছে। লেখকেরা উপসংহারে বলেছেন: "আমরা আশা করি, এই গবেষণা হপফিল্ড নেটওয়ার্ক ব্যবহার করে ট্রান্সফরমার আর্কিটেকচারের সুশৃঙ্খল নকশায় নতুন সম্ভাবনার দরজা খুলে দেবে।"
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
নেচার কমিউনিকেশনস: জৈবভাবে সম্ভাব্য অনলাইন শিক্ষণ
২০২৪ সালের মে মাসে নেচার কমিউনিকেশনস প্রকাশ করে স্পার্স কোয়ান্টাইজড হপফিল্ড নেটওয়ার্ক নিয়ে একটি কাজ। এটি এমন একটি মডেল, যা অনলাইন-ধারাবাহিক পরিস্থিতিতে স্থানীয় শিক্ষণ নিয়ম ব্যবহার করে শেখে, ঠিক যেভাবে জৈব মস্তিষ্ক শেখে। এতে ট্রান্সফরমারের একটি মৌলিক সীমাবদ্ধতার সমাধান মেলে: ট্রান্সফরমারের জন্য দরকার অ-স্থানীয় ব্যাকপ্রপাগেশন এবং বাছাই করা ডেটাসেটে অফলাইন প্রশিক্ষণ। গবেষণাপত্রটি হপফিল্ড-ভিত্তিক আর্কিটেকচারকে কৃত্রিম নিউরাল নেটওয়ার্ক ও নিউরোমরফিক কম্পিউটিং হার্ডওয়্যারের মধ্যে স্বাভাবিক সেতু হিসেবে তুলে ধরে।
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
বৃহৎ ফাউন্ডেশন মডেলের জন্য আউটলায়ার-সক্ষম হপফিল্ড লেয়ার
২০২৪ সালের একটি গবেষণাপত্র বড় ট্রান্সফরমার মডেলের একটি বাস্তব সমস্যা মোকাবিলা করেছে: তথ্যহীন টোকেনের (ডিলিমিটার, যতিচিহ্ন) দিকে অ্যাটেনশন বরাদ্দ করার প্রবণতা—যাকে বলা হয় "নো-অপ আউটলায়ার" সমস্যা। তাদের সমাধান ছিল একটি আউটলায়ার-সক্ষম হপফিল্ড এনার্জি ফাংশন, যা এই টোকেনগুলোকে চিহ্নিত করে শূন্য-এনার্জি বিন্দুতে পাঠিয়ে দেয়, ফলে এগুলো কাজের অ্যাটেনশনকে পাতলা করে দিতে পারে না। এর ফলে পাওয়া মডেলটি বিশেষ ক্ষেত্র হিসেবে Softmax₁ অ্যাটেনশনকে অন্তর্ভুক্ত করে এবং BERT, OPT ও ভিশন ট্রান্সফরমারে যাচাই করা হয়েছে। এ হলো হপফিল্ড তত্ত্বের হাতে ট্রান্সফরমার প্রকৌশলের বাস্তব সমস্যার সমাধান।
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
এনার্জি মিনিমাইজার হিসেবে ট্রান্সফরমার (জানুয়ারি ২০২৬)
২০২৬ সালের জানুয়ারিতে প্রকাশিত সাম্প্রতিকতম তাত্ত্বিক কাজটি ট্রান্সফরমারের পুরো ফরওয়ার্ড পাসকে অন্তর্নিহিত এনার্জি মিনিমাইজেশন হিসেবে দেখে। ট্রান্সফরমার আদৌ কেন কাজ করে, তা ব্যাখ্যার কাঠামো হিসেবে এখানে হপফিল্ড দৃষ্টিভঙ্গিকে পুরোপুরি গ্রহণ করা হয়েছে। গবেষণাপত্রটি স্পার্স আধুনিক হপফিল্ড মডেলগুলোকে অ্যাটেনশনের পুরো পরিবারের (softmax, sparsemax, α-entmax) সঙ্গে যুক্ত করে দেখায় যে এগুলো সবই এনার্জি-ভিত্তিক রিট্রিভাল গতিবিদ্যার বিশেষ রূপ।
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (জানুয়ারি ২০২৬)
রিভিউ পেপার ও কমিউনিটি রিসোর্স
বৃহত্তর গবেষক সমাজ এই মিলনবিন্দুকে ঘিরেই সংগঠিত হচ্ছে:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, এপ্রিল ২০২৫) একটি ব্যাপক পর্যালোচনা, যা হপফিল্ড (১৯৮২) থেকে বোল্টজম্যান মেশিন হয়ে ট্রান্সফরমার অ্যাটেনশনকে আধুনিক হপফিল্ড গতিবিদ্যা হিসেবে নতুনভাবে ব্যাখ্যা করা পর্যন্ত পুরো পথচলা অনুসরণ করে। → গবেষণাপত্রটি পড়ুন
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" একটি গভীর প্রযুক্তিগত ব্লগ, যার যুক্তি হলো হপফিল্ড এনার্জির দৃষ্টিকোণ থেকে ট্রান্সফরমার বোঝা "শুধু স্কেলিং আর গাণিতিক জটিলতা কমানোর ওপর নির্ভর করে যা সম্ভব, তার চেয়ে গুণগতভাবে ভিন্ন ধরনের উন্নতির পথ খুলে দিতে পারে।" → ব্লগটি পড়ুন
- Awesome Modern Hopfield Networks আধুনিক হপফিল্ড নেটওয়ার্ক নিয়ে ৫০টিরও বেশি গবেষণাপত্রের একটি বাছাই করা GitHub রিপোজিটরি, যেখানে রয়েছে নানা ক্ষেত্র: সম্পদ বণ্টন, পরিবর্তন শনাক্তকরণ, সৃজনশীল চিন্তার পুনর্গঠন, আউট-অফ-ডিস্ট্রিবিউশন শনাক্তকরণ, ইমিউন রেপারটোয়ার শ্রেণিবিন্যাস, এবং আরও অনেক কিছু। → সংকলনটি ঘুরে দেখুন
- "Is Hopfield Networks All You Need?" (Analytics India Magazine, ডিসেম্বর ২০২৪) হকরাইটারের দল কীভাবে দেখিয়েছে যে হপফিল্ড নেটওয়ার্ক "অত্যাধুনিক ট্রান্সফরমার মডেলের সঙ্গে বিনিময়যোগ্য", সেই বিষয়ে ব্যবহারকারীদের দৃষ্টিকোণ থেকে লেখা প্রতিবেদন। → নিবন্ধটি পড়ুন
- "New Research in Hopfield Networks: A Short Intro" (Medium, জুলাই ২০২৪) সহজবোধ্য একটি পর্যালোচনা, যেখানে বলা হয়েছে এক্সপোনেনশিয়াল অ্যাক্টিভেশন ফাংশনের মাধ্যমে ধারণক্ষমতা 0.138N থেকে বেড়ে 2^(N/2)-এ পৌঁছেছে। → Medium-এ পড়ুন
গতিপথটি স্পষ্ট। এটি কোনো একটি গবেষণাগারের প্রস্তাব বা একটি গবেষণাপত্রের অনুমান নয়। IBM Research, Johannes Kepler University, MIT, NeurIPS, Nature Communications এবং বৃহত্তর মেশিন লার্নিং সম্প্রদায় ভিন্ন ভিন্ন দিক থেকে একই সিদ্ধান্তে এসে মিলিত হচ্ছে: হপফিল্ড যে শক্তিভিত্তিক, অ্যাসোসিয়েটিভ মেমোরির ধারণা দাঁড় করিয়েছিলেন, ট্রান্সফরমার নিজেরাও না জেনে তার ওপরই গড়ে উঠেছিল, আর শুধু তা-ই নয়, এটিই সেই কাঠামো যা এআইকে ট্রান্সফরমারের একার সাধ্যের বাইরে নিয়ে যাবে।
এখন কেন এটি গুরুত্বপূর্ণ: বদলে নেওয়ার যুক্তি
নিরাপত্তা-সংবেদনশীল ব্যবস্থার জন্য নিশ্চিত অভিসারিতা
ট্রান্সফরমার আউটপুট তৈরি করে, কিন্তু স্থিতিশীলতার কোনো গাণিতিক নিশ্চয়তা নেই। হপফিল্ড নেটওয়ার্ক প্রমাণিতভাবেই স্থিতিশীল অবস্থায় অভিসৃত হয় শক্তি ফাংশন ক্রমাগত কমতে থাকে। রোবটিক্স, স্বয়ংচালিত যান, চিকিৎসা সরঞ্জাম এবং যেকোনো ব্যবস্থা, যেখানে নির্ভরযোগ্যতা নিয়ে কোনো আপস চলে না, সেখানে এটি এমন এক শর্ত যা ট্রান্সফরমার পূরণ করতে পারে না।
মূল সক্ষমতা হিসেবে অ্যাসোসিয়েটিভ মেমোরি
ধরুন, আপনি একটি হপফিল্ড নেটওয়ার্ককে এমনভাবে প্রশিক্ষণ দিলেন যাতে অবস্থা (1, −1, 1, −1, 1) একটি শক্তি-ন্যূনতম বিন্দু হয়, তারপর বিকৃত ইনপুট (1, −1, −1, −1, 1) দিলেন। নেটওয়ার্কটি ঠিক সংরক্ষিত প্যাটার্নেই অভিসৃত হবে। এটি আন্দাজ করে না, ইন্টারপোলেটও করে না, বরং শক্তির ভূদৃশ্যে গড়িয়ে নেমে সবচেয়ে কাছের অ্যাট্রাক্টরে গিয়ে থামে। সেন্সর আংশিক ঢাকা পড়া রোবটিক্স, গোলমেলে ডেটাসহ এমবেডেড সিস্টেম এবং আংশিক ইনপুট থেকে প্যাটার্ন সম্পূর্ণ করতে হয় এমন যেকোনো প্রয়োগে এটি যুগান্তকারী।
একটি সর্বজনীন অপ্টিমাইজেশন ইঞ্জিন
১৯৮৫ সালে হপফিল্ড ও ডেভিড ট্যাংক দেখিয়েছিলেন যে হপফিল্ড নেটওয়ার্ক ভ্রাম্যমাণ বিক্রেতার সমস্যা (ট্রাভেলিং সেলসম্যান প্রবলেম) সমাধান করতে পারে। কোনো ব্যয় ফাংশনকে যদি হপফিল্ড শক্তির আকারে লেখা যায়, তাহলে নেটওয়ার্কের সাম্যাবস্থার বিন্দুগুলোই হলো সমাধান। তখন থেকে এই স্থাপত্য প্রয়োগ হয়েছে জব-শপ শিডিউলিং, ওয়্যারলেস নেটওয়ার্কে চ্যানেল বরাদ্দ, ছবি পুনরুদ্ধার, অ্যানালগ-থেকে-ডিজিটাল রূপান্তর, মোবাইল রাউটিং এবং কম্বিনেটরিয়াল অপ্টিমাইজেশনে। ২০২৪ সালের একটি Nature Communications গবেষণাপত্রে উপস্থাপিত হয়েছে স্পার্স কোয়ান্টাইজড হপফিল্ড নেটওয়ার্ক, যা জৈবিক মস্তিষ্কের মতোই স্থানীয় নিয়মে অনলাইন-ধারাবাহিক স্মৃতি-শিখন করতে পারে, ট্রান্সফরমারের মৌলিকভাবেই যে সক্ষমতা নেই।
সফটওয়্যার ছাড়াই যে হার্ডওয়্যার ভাবে
প্রতিসম ওজনের শর্তটি (wᵢⱼ = wⱼᵢ) সরাসরি অ্যানালগ ইলেকট্রনিক সার্কিটে মিলে যায়, কারণ রোধজনিত সংযোগ স্বভাবতই প্রতিসম। হপফিল্ড নেটওয়ার্ককে ASIC বা FPGA হিসেবে তৈরি করা যায়, যেখানে ইনফারেন্স হয় ন্যানোসেকেন্ড মাত্রায়। Nature-এর ২০২৫ সালের নিউরোমরফিক কম্পিউটিং সংকলনও এই দিকটিই নিশ্চিত করে: প্রান্তে স্নায়বিক গতিবিদ্যা বাস্তবায়নকারী শক্তিসাশ্রয়ী অ্যানালগ হার্ডওয়্যার, কনটেন্ট-অ্যাড্রেসেবল মেমোরিসহ, যার জন্য লাগে না GPU, CPU কিংবা কোনো সফটওয়্যার স্ট্যাক।
নিউরোমরফিক ও অ্যানালগ এআই চিপ, যেখানে নিউরাল নেটওয়ার্কের গতিশীলতা সরাসরি হার্ডওয়্যারেই বাস্তবায়িত হয়। হপফিল্ড নেটওয়ার্কের প্রতিসম, শক্তিভিত্তিক কাঠামো রেজিস্টিভ সার্কিটের সঙ্গে স্বাভাবিকভাবেই মিলে যায়, ফলে প্রচলিত সফটওয়্যার স্ট্যাক ছাড়াই ন্যানোসেকেন্ড স্কেলে এআই ইনফারেন্স সম্ভব হয়।
বাইনারি ও ধারাবাহিক নমনীয়তা
ক্লাসিক্যাল হপফিল্ড নেটওয়ার্কে বাইনারি নিউরন (+১ বা −১) ব্যবহৃত হয়; ধারাবাহিক (কন্টিনিউয়াস) রূপগুলোতে থাকে সিগময়েড অ্যাক্টিভেশন ও ডিফারেনশিয়াল সমীকরণ। আপডেট হতে পারে অ্যাসিনক্রোনাস (একবারে একটি নিউরন, যা কনভার্জেন্সের নিশ্চয়তা দেয়) অথবা সিনক্রোনাস (সবগুলো একসঙ্গে, ফলে সমান্তরালতা সম্ভব হয়)। একই স্থাপত্য কিলোবাইট মেমোরির মাইক্রোকন্ট্রোলার থেকে শুরু করে বিশাল সমান্তরাল এফপিজিএ পর্যন্ত খাপ খাইয়ে নেয়, আর এখন আধুনিক হপফিল্ড লেয়ারের মাধ্যমে জিপিইউ-চালিত ডিপ লার্নিং পাইপলাইনেও।
ধারণক্ষমতা: সৎ সীমাবদ্ধতা
ক্লাসিক্যাল সীমাবদ্ধতাটি স্পষ্ট: N সংখ্যক নিউরনের একটি নেটওয়ার্ক নির্ভরযোগ্যভাবে প্রায় 0.138N সংখ্যক প্যাটার্ন সংরক্ষণ করতে পারে; এরপর অবাঞ্ছিত (স্পিউরিয়াস) অবস্থা পুনরুদ্ধারের মান নষ্ট করে দেয়। এটি বাস্তব সীমাবদ্ধতা, কিন্তু একটি সৎ সীমাবদ্ধতা। ট্রান্সফর্মার কখন ভুল তথ্য বানাতে (হ্যালুসিনেট) শুরু করবে, তার কোনো পরিষ্কার গাণিতিক সীমা নেই।
তা ছাড়া, আধুনিক হপফিল্ড নেটওয়ার্ক (Krotov & Hopfield, 2016; Demircigil et al., 2017) উচ্চতর ক্রমের মিথস্ক্রিয়া পদের মাধ্যমে সূচকীয় ধারণক্ষমতা অর্জন করে। এই সীমারেখা আরও প্রসারিত করতে গবেষণা চলছে: স্পার্স ও কাঠামোবদ্ধ হপফিল্ড নেটওয়ার্ক, দীর্ঘ-ক্রমের হপফিল্ড মেমোরি, এবং সম্পদ বণ্টনের (অ্যাসেট অ্যালোকেশন) জন্য হপফিল্ড নেটওয়ার্ক, সবই এখন সক্রিয় উন্নয়নের ক্ষেত্র, আর একের পর এক গবেষণাপত্র জমা হচ্ছে দ্রুত গতিতে।
বাস্তব প্রয়োগ: পিসি থেকে সার্কিট পর্যন্ত
নিউরাল নেটওয়ার্কের আদি গবেষকদের স্বপ্ন ছিল স্পষ্ট: এমন একটি কাঠামো, যা একবার বর্ণনা করলেই সর্বত্র প্রয়োগ করা যাবে। হপফিল্ডের স্থাপত্য সেই স্বপ্নকেই বাস্তব করে:
কম্পিউটার অ্যাপ্লিকেশন একটি ওয়েট ম্যাট্রিক্স আর একটি আপডেট নিয়ম। জিপিইউ লাগে না।
ইন্টারনেট অ্যাপ্লিকেশন সাদৃশ্য অনুসন্ধান, সুপারিশ ও ডুপ্লিকেট শনাক্তকরণের জন্য কন্টেন্ট-অ্যাড্রেসযোগ্য মেমোরি।
রোবোটিক্স রিয়েল-টাইম কন্ট্রোল লুপের জন্য কনভার্জেন্সের নিশ্চয়তা। মোটর প্যাটার্ন অ্যাট্রাক্টর হিসেবে সংরক্ষিত থাকে, এমনকি গোলমেলে সেন্সর ইনপুট থেকেও তা ফিরিয়ে আনা যায়।
এমবেডেড সিস্টেম বাইনারি হপফিল্ড নেটওয়ার্ক শুধু পূর্ণসংখ্যার গণনায় মাইক্রোকন্ট্রোলারেই চলে।
ইলেকট্রনিক সার্কিট প্রতিসম ওয়েট রেজিস্টিভ নেটওয়ার্কের সঙ্গে মিলে যায়। বুদ্ধিমত্তা সরাসরি সিলিকনে গড়া।
সামনের পথ
ট্রান্সফর্মারের যুগ আমাদের দিয়েছে অসাধারণ ভাষা-যন্ত্র। কিন্তু সীমান্ত এখন প্রসারিত হচ্ছে বাস্তব জগতে: রোবট, সেন্সর, অ্যাকচুয়েটর আর রিয়েল-টাইম সিদ্ধান্তে। এই সীমান্ত দাবি করে এমন স্থাপত্য, যা স্থিতিশীল, কার্যকর, ব্যাখ্যাযোগ্য এবং প্রান্তে (এজে) সত্যিই বিদ্যমান হার্ডওয়্যারে চালানো যায়।
২০২০ সালে প্রমাণিত হয়েছে, ট্রান্সফর্মারের অ্যাটেনশন হলো আধুনিক হপফিল্ড আপডেট নিয়মই। এটি শুধু গাণিতিক কৌতূহল ছিল না, এটি দেখিয়ে দিয়েছে যে আমরা এতদিন হপফিল্ড নেটওয়ার্কই ব্যবহার করে আসছিলাম, শুধু এমন এক কাঠামোর মোড়কে, যা তার আসল চরিত্র আড়াল করে রেখেছিল। ২০২৫ সালের NeurIPS-এর কাজ দেখিয়েছে, হপফিল্ডের হিডেন স্টেট ট্রান্সফর্মারের র্যাংক কলাপ্সের মতো সমস্যার সমাধান করে। এ থেকে পরবর্তী ধাপ স্পষ্ট: হপফিল্ডের অন্তর্দৃষ্টি দিয়ে ট্রান্সফর্মারে তালি লাগানো নয়, বরং সরাসরি হপফিল্ড প্যারাডাইমের ওপরই গড়ে তোলা।
জন হপফিল্ড ১৯৮২ সালেই আমাদের পথ দেখিয়েছিলেন। ডোনাল্ড হেব ১৯৪৯ সালে জৈবিক ভিত্তি স্থাপন করেছিলেন। গবেষক সমাজ এখন সেই পথেই এসে মিলছে।
এবার বদলে নেওয়ার সময়।
তথ্যসূত্র
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior। Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, এপ্রিল ২০২৫। techrxiv.org
