Hebbian ئۆگىنىشى Hopfield تورلىرى بىلەن ئۇچراشتى: ترانسفورمېرلاردىن ھەمىشە ئەقىللىق بولغان قۇرۇلما
ئۆتكەن ئون يىلدا ترانسفورمېرلار ۋە ئۇلارنىڭ دىققەت (attention) مېخانىزمى سۈنئىي ئەقىل مەيدانىدا ھۆكۈمرانلىق قىلدى. GPT دىن BERT غىچە، Vision Transformers غىچە، «سىزگە لازىمى پەقەت دىققەت» دېگەن شوئار ماشىنا ئۆگىنىشى ھەققىدىكى تەپەككۇرىمىزنى پۈتۈنلەي يېڭىلىدى. تەرجىمان سىستېمىلىرى، يەنى سانلىق مەلۇماتنى ئىپادىلەش شەكىللىرى ئارىسىدا ئايلاندۇرىدىغان كودلىغۇچ-كودتىن چىقارغۇچ (encoder-decoder) يوللىرى، تىل بىر تەرەپ قىلىشتىن سۈرەت ھاسىل قىلىشقىچە بولغان ھەممە ئىشنىڭ ئومۇرتقا تىرىكىگە ئايلاندى. ئۇلار ئىنقىلابىي ئىدى. ئۇلار كۈچلۈك ئىدى.
ئەمما ئەمدى ئۇلار تامغا تاقاشتى.
ئىش شۇكى، ھەل قىلىش چارىسى 1982-يىلىدىن بېرى مەۋجۇت. شۇ يىلى جون ھوپفىلد (John Hopfield) Proceedings of the National Academy of Sciences ژۇرنىلىدا ماقالە ئېلان قىلىپ، ترانسفورمېرلار ھېچقاچان ھەقىقىي ئېرىشەلمىگەن بىر خاسلىققا ئىگە، يەنى ئېنېرگىيەنى مىنىمۇملاشتۇرۇش ئارقىلىق مۇقىم ھالەتكە كاپالەتلىك ئىنتىلىدىغان ئەكس ئەتتۈرمە (recurrent) نېرۋا تورىنى تونۇشتۇردى. Hopfield تورى ئۈلگىلەرنى پەقەت ئۆگەنمىدى؛ ئۇ ئۇلارنى ئېنېرگىيە مەنزىرىسىدىكى فىزىكىلىق جەلپ قىلغۇچ (attractor) سۈپىتىدە ساقلىدى، شۇڭا شاۋقۇنلۇق ياكى توليۇق بولمىغان كىرگۈزۈشتىنمۇ ئۇلارنى قايتا تاپقىلى بولاتتى.
سۈنئىي ئەقىل مەھەللىسى فىزىكا ۋە نېرۋا ئىلمى ساھەلىرىنىڭ ئونلىغان يىللاردىن بېرى بىلىپ كەلگىنىنى ئەمدىلا چۈشىنىشكە باشلىدى: نېرۋا ھېسابلاشقا ئېنېرگىيەگە ئاساسلانغان، ئاسسوتسىياتىپ (associative) ئۇسۇلدا يېقىنلىشىش تارىخىي قىزىقارلىق ھادىسە ئەمەس، بەلكى ترانسفورمېر دەۋرى تولۇق چۈشەنمەستىنلا ئۇنىڭ ئۈستىگە قۇرۇلغان ئاساسىي ئۈلگىدۇر.
ترانسفورمېرنىڭ ئورۇق تورۋىقى
ترانسفورمېرلار ئۆز-ئۆزىگە دىققەت (self-attention) ئارقىلىق تىزمىدىكى ھەر بىر ئېلېمېنت ئارىسىدىكى مۇناسىۋەتنى بىراقلا ھېسابلاش ئارقىلىق ئىشلەيدۇ. بۇ تىل ئۈچۈن ناھايىتى ياخشى. ئېنىق تىزمىلىق ئۈلگىلىرى بار قۇرۇلمىلىق سانلىق مەلۇمات ئۈچۈنمۇ ناھايىتى ياخشى. لېكىن ھەقىقىي دۇنيا، يەنى روبوتلار، قىستۇرما (embedded) توك يوللىرى، ھېسسىيات ئەسۋابلىرى ھەيدىگەن قارار چىقىرىش ۋە ئۇchلىق (edge) ھېسابلاش دۇنياسى، دىققەت قىلىنىشنى كۈتۈپ تۇرغان رەتلىك تىزمىلارغا ئۆزىنى تەشكىللىمەيدۇ.
ترانسفورمېر قۇرۇلمىسى مول بولۇشنى پەرەز قىلىدۇ: مول ھېسابلاش كۈچى، مول ئەسلەك، مول توك. ئۆز-ئۆزىگە دىققەت تىزما ئۇزۇنلۇقىغا قاراپ كۋادراتلىق ئاشىدۇ. ئالدىغا يېيىلىش (feed-forward) قاتلاملىرى سىزىقلىق ئاشىدۇ، ئەمما غايەت زور ئاشىدۇ. ترانسفورمېرغا ئاساسلانغان سىستېمىنى ئامباردا يول ئىزدەيدىغان كۆچمە روبوتقا ياكى ئىشلەپچىقىرىش قولىنى كونترول قىلىدىغان ئېلېكترونلۇق توك يولىغا ئورناتقاندا، بۇ پەرەزلەرنىڭ ھەممىسى يىمىرىلىدۇ.
تەرجىمان ئۈلگىسىنىڭ ئۆزىگە خاس چەكلىمىسىمۇ بار: ئۇ ئەقىلنى ئاساسەن مۇقىم ئىپادىلەشلەر ئارىسىدىكى ئايلاندۇرۇش مەسىلىسى دەپ قارايدۇ. كىرگۈزۈشنى كودلا، چىقىرىشنى كودتىن چىقار. لېكىن ھەقىقىي ئەقىل پەقەت تەرجىمە قىلىپلا قالماستىن، ئۇ ئەستە ساقلايدۇ، ئۇ باغلىنىش ئورنىتىدۇ، كىرگۈزۈش بۇزۇلغان ياكى مۈجمەل بولغاندىمۇ مۇقىم ئىزاھلارغا ئىنتىلىدۇ.
بىز بۇ مەسىلىلەرنى مىقدارلاش (quantization)، ئېقىتىش (distillation)، قىرقىش (pruning) ۋە يۈزلىگەن باشقا ئەلالاشتۇرۇش ھىيلىلىرى بىلەن يامىتىپ كەلدۇق. 2025-يىلىدىكى Edge AI ئىزدىنىشلىرى چوڭقۇر ئۆگىنىشنى قىستۇرما ئاپپاراتقا ئورنىتىشنىڭ يەنىلا «ئەسلەك، ھېسابلاش ۋە ئېنېرگىيەدىكى قاتتىق چەكلىمىلەر بىلەن چەكلىنىدىغانلىقىنى» جەزملەشتۈردى. لېكىن ئاساسىدىلا ماسلاشمىغان قۇرۇلمىنى ئەلالاشتۇرۇش ھېساب بېرىش كۈنىنى پەقەت كېچىكتۈرىدۇ. بىزگە لازىمى ئەسلەك، مۇقىملىق ۋە ئېنېرگىيە ئۈنۈمىنى ئاخىردا ئويلىشىلىدىغان ئىش ئەمەس، بەلكى بىرىنچى پرىنسىپ دەپ قارايدىغان قۇرۇلما.
Hopfield نېرۋا تورى مەيدانغا چىقتى
Hopfield تورى بىر قاتلاملىق نېرۋا ھۈجەيرىلىرىدىن تەركىب تاپقان ئەكس ئەتتۈرمە نېرۋا تورى بولۇپ، ھەر بىر ھۈجەيرە ئۆزىدىن باشقا بارلىق ھۈجەيرىلەر بىلەن ئۇلانغان. بۇ تور تولۇق يۆنىلىشسىز گرافھاسىل قىلىدۇ؛ ھەر بىر جۈپ ھۈجەيرە ئۆزئارا سىممېترىيەلىك ئۇلىنىش ئېغىرلىقىنى ئورتاق بەھرىمەن بولىدۇ، يەنى i ھۈجەيرىسىدىن j ھۈجەيرىسىگىچە بولغان كۈچ j→i. ئۆز-ئۆزىگە باغلىنىش يوق (wᵢᵢ = 0). قاتلاملىق دەرىجە قۇرۇلمىسى يوق. ئىزچىل بىر تەرەپ قىلىش لىنىيىسىمۇ يوق. ئەكسىچە، پۈتۈن تور ۋاقىت ئۆتۈشىگە ئەگىشىپ مۇقىم تەڭپۇڭلۇق ھالىتىگە قاراپ تەرەققىي قىلىدىغان، ئۆز ئارا باغلانغان بىرلا دىنامىكىلىق سىستېما سۈپىتىدە ئىشلەيدۇ.
تولۇق باغلانغان نېيرونلاردىن تۈزۈلگەن Hopfield تورى. ھەر بىر تۈگۈن باشقا ھەر بىر تۈگۈنگە سىممېترىك ئېغىرلىق (wᵢⱼ = wⱼᵢ) بىلەن ئۇلىنىپ، تولۇق يۆنىلىشسىز گراف شەكىللەندۈرىدۇ. ئۆز-ئۆزىگە باغلىنىش يوق.
بۇ قۇرۇلمىنىڭ نەپىسلىكى ئېنېرگىيە فۇنكسىيەسىدە ئىپادىلىنىدۇ. Hopfield ئۆز تورىنىڭ ئۇنىڭغا مۇناسىپ Lyapunov ئېنېرگىيە فۇنكسىيەسىگە ئىگە ئىكەنلىكىنى ئىسپاتلىدى:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
ھەر قېتىم نېيرون يېڭىلانغاندا بۇ ئېنېرگىيە چوقۇم ئازىيىدۇ (ياكى ئۆزگەرمەي قالىدۇ). تور ھامان يىغىلىدۇ: ئۇ ھەرگىز ئاخىرسىز تەۋرەنمەيدۇ، ھەرگىز ئايرىلىپ كەتمەيدۇ، ھەرگىز ئاخىرسىز ھېسابلاش ھالقىسىغا پېتىپ قالمايدۇ. ئۇ مۇقىملىشىدۇ. Bruck 1990-يىلى بۇ مۇقىملىشىش ھەرىكىتىنىڭ تورغا مۇناسىپ گرافتىكى كېسىملەر (cuts) بىلەن مۇناسىۋەتلىك ئىكەنلىكىنى ئىسپاتلىدى: تور ئەمەلىيەتتە ھەر بىر يېڭىلاش باسقۇچىدا max-cut مەسىلىسىنىڭ ئاچكۆز ئالگورىتمىنى ئىجرا قىلىدۇ.
ئەقىل-ئىدراك دەل تور مۇقىملىشىدىغان يەردە ياشايدۇ. ساقلانغان ئۈلگىلەر ئېنېرگىيە فۇنكسىيەسىنىڭ يەرلىك مىنىمۇم نۇقتىلىرىغا، يەنى ئېنېرگىيە مەنزىرىسىدىكى جىلغىلارغا ماس كېلىدۇ. تورغا ساقلانغان ئۈلگىنىڭ بۇزۇلغان، شاۋقۇنلۇق ياكى تولۇقسىز نۇسخىسىنى بەرگىنىڭىزدە، دىنامىكا تور ھالىتىنى تۆۋەنگە قاراپ دومىلىتىدۇ، تاكى ئۇ ئەڭ يېقىن جىلغىغا، يەنى كىرگۈزۈلگەن مەلۇماتقا ئەڭ ماس كېلىدىغان ساقلانغان ئۈلگىگە چۈشكۈچە.
Hopfield تورىنىڭ ئېنېرگىيە مەنزىرىسى. ھەر بىر جىلغا (يەرلىك مىنىمۇم) بىر ساقلانغان ئەسلىمە ئۈلگىسىگە ئۇدۇل كېلىدۇ. ھەر قانداق دەسلەپكى ھالەتتىن باشلانغان تور دىنامىكىسى "تۆۋەنگە" قاراپ دومىلاپ، ئەڭ يېقىن جەلپ قىلغۇچىغا (attractor) مۇقىملاشقۇچە داۋاملىشىدۇ، شۇنىڭ بىلەن قىسمەن ياكى شاۋقۇنلۇق كىرگۈزۈشتىن تولۇق ئۈلگىنى ئەسلىگە كەلتۈرىدۇ.
بۇ مەزمۇنى ئارقىلىق ئادرېسلىنىدىغان ئاسسوتسىيەلىك ئەستە ساقلاش — يەنى قىسمەن ئىشارەتتىن تولۇق ئەسلىمىنى ئەسلەش ئىقتىدارى. بىئولوگىيەلىك مېڭە بۇنى ئاسانلا قىلالايدۇ، transformer لار بولسا پەقەت قىممەتلىك ھېسابلاش ئارقىلىقلا يېقىنلاشتۇرالايدۇ.
فىزىكا بىلەن بولغان باغلىنىش ناھايىتى چوڭقۇر. Hopfield تورى ماتېماتىكىلىق جەھەتتىن Ising مودېلىغا باراۋەر — دەل ستاتىستىكىلىق مېخانىكىدا ماگنىتلىقنى تەسۋىرلەشتە ئىشلىتىلىدىغان شۇ قۇرۇلما. 1975-يىلى ئېلان قىلىنغان Sherrington-Kirkpatrick سپىن ئەينەك (spin glass) مودېلى ئەمەلىيەتتە ئىختىيارى ئېغىرلىقلىق Hopfield تورىدۇر. Hopfield نىڭ چوڭقۇر قاراشى بۇ خاسلىقتىن ئەستايىدىل پايدىلىنىش بولدى: ئۇ ئېنېرگىيە مەنزىرىسىنى شۇنداق لايىھەلىدىكى، ھەر بىر مىنىمۇم پايدىلىق بىر ساقلانغان ئۈلگىگە ئۇدۇل كېلىدۇ.
Hebb ئۆگىنىشى: بىللە قوزغىلىدىغان نېيرونلار بىللە ئۇلىنىدۇ
Hopfield تورلىرىنى ئىشلىتىدىغان ئۆگىنىش قائىدىسىنىڭ يىلتىزى تېخىمۇ ئىلگىرىگە، Donald Hebb نىڭ 1949-يىلدىكى The Organization of Behavior ناملىق كىتابىغا بېرىپ تاقىلىدۇ. بۇ كىتابتا ھازىر نېيرون ئۆگىنىش نەزەرىيەسىنىڭ ئاساسلىق پرىنسىپى دەپ قارىلىدىغان ئىدىيە ئوتتۇرىغا قويۇلغان.
Hebb نىڭ قارىشى كۆرۈنۈشتە ناھايىتى ئاددىي ئىدى: ئالدىنقى سىناپس ھۈجەيرىسى ئارقا سىناپس ھۈجەيرىسىنىڭ قوزغىلىشىغا تەكرار ھەم ئىزچىل قاتناشسا، ئۇلار ئارىسىدىكى سىناپس باغلىنىشى كۈچىيىدۇ. «بىللە قوزغىلىدىغان نېيرونلار بىللە ئۇلىنىدۇ» — گەرچە Hebb ئۆزى تېخىمۇ ئېنىق ئىپادىلەپ، A ھۈجەيرىسىنىڭ پەقەت بىرلا ۋاقىتتا قوزغىلىپ قالماستىن، B ھۈجەيرىسىنىڭ قوزغىلىشىغا سەۋەب بولۇشى كېرەكلىكىنى تەكىتلىگەن. ۋاقىتقا مۇناسىۋەتلىك بۇ سەۋەبىيەت ھازىر سىپايك ۋاقتىغا باغلىق پلاستىكلىق (STDP) دەپ ئاتىلىدىغان ھادىسىنى ئالدىن سەزدۈرگەنىدى. بۇ ھادىسە ئون نەچچە يىلدىن كېيىن تەجرىبە ئارقىلىق دەلىللەندى، جۈملىدىن Eric Kandel نىڭ دېڭىز شىلىمشىقى Aplysia californica.
خېب ئۆگىنىشى (Hebbian learning): ئۆز-ئارا ئۇلانغان ئىككى نېرۋا ھۈجەيرىسى قايتا-قايتا بىرلىكتە قوزغالسا، ئۇلار ئارىسىدىكى سىناپس كۈچىيىدۇ. «بىرگە قوزغالغان نېرۋىلار بىرگە ئۇلىنىدۇ» دېگەن بۇ پرىنسىپ، خوپفىلد تورلىرىنىڭ ئۈلگىلەرنى قانداق ساقلايدىغانلىقىنىڭ بىئولوگىيەلىك ئاساسىدۇر.
خوپفىلد تورىدا خېب ئۆگىنىشى تۆۋەندىكىچە ئەمەلگە ئاشۇرۇلىدۇ:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) بارلىق ساقلانغان ئۈلگىلەر بويىچە l، بۇ يەردە u ≠ v
ئىككى نېرۋا ھۈجەيرىسى مەلۇم بىر ئۈلگىدە ئوخشاش ھالەتتە بولسا (ھەر ئىككىسى +1 ياكى ھەر ئىككىسى −1)، ئۇلارنىڭ كۆپەيتمىسى مۇسبەت بولۇپ، قوزغىتىش خاراكتېرلىك ئۇلىنىشنى كۈچەيتىدۇ. ھالەتلىرى ئوخشىمىسا، كۆپەيتمە مەنپىي بولۇپ، توسۇش خاراكتېرلىك ئۇلىنىش شەكىللىنىدۇ. بۇ تەسىرلەرنىڭ توپلىنىشى ھەر بىر ساقلانغان ئۈلگىنىڭ ئورنىدا بىردىن جىلغا بار ئېنېرگىيە مەنزىرىسىنى ئويۇپ چىقىدۇ.
خېب قائىدىسى يەرلىك (ھەر بىر ئېغىرلىق يېڭىلىنىشى پەقەت ئۇلانغان ئىككى نېرۋا ھۈجەيرىسىگە مەلۇم ئۇچۇرنىلا ئىشلىتىدۇ) ھەمدە تەدرىجىي (يېڭى ئۈلگىلەرنى كونىلىرىنى قايتا بىر تەرەپ قىلماي تۇرۇپ ساقلىغىلى بولىدۇ). ھەيران قالارلىقى، ماتېماتىكا ئارقىلىق ئىسپاتلاشقا بولىدۇكى، خېب ئۆگىنىشى كىرگۈزۈلگەن سانلىق مەلۇماتلارغا نازارەتسىز ئاساسىي كومپونېنت تەھلىلى (PCA) ئېلىپ بارىدۇ، يەنى تور ئۆز مۇھىتىدىكى ستاتىستىكىلىق جەھەتتىن ئەڭ مۇھىم ئالاھىدىلىكلەرنى ئۆزلۈكىدىن ئاجرىتىپ چىقىرىدۇ.
1997-يىلى ئاموس ستوركېي (Amos Storkey) ھەر بىر نېرۋا ھۈجەيرىسىدىكى يەرلىك مەيداننى ھېسابقا ئالىدىغان ياخشىلانغان ئۆگىنىش قائىدىسىنى ئوتتۇرىغا قويۇپ، ئادەتتىكى خېب ئۆگىنىشىدىن چوڭ ساقلاش سىغىمىغا ئېرىشتى. بۇ ئوخشاش بىر قۇرۇلمىنىڭ ئىچىدىمۇ ئۆگىنىش ئالگورىتمىنى تاللاشنىڭ چوڭقۇر ئەھمىيەتكە ئىگە ئىكەنلىكىنى كۆرسىتىدۇ، بۇ نېرۋا تورى تەتقىقاتىنىڭ ئومۇمىي ساۋىقى بىلەن ماس كېلىدۇ.
بۇرۇلۇش نۇقتىسى: «سىزگە لازىمى پەقەت خوپفىلد تورلىرى»
2020-يىلى ئاۋستىرىيەدىكى يوھان كېپلېر لىنز ئۇنىۋېرسىتېتىدىن خۇبېرت رامساۋېر (Hubert Ramsauer) باشچىلىقىدىكى بىر گۇرۇپپا، ترانسفورمېرنىڭ تۇغۇلۇش ھېكايىسىنى ئەسلىتىدىغان، ئاڭلىغاندىلا دىققەتنى تارتىدىغان ماقالە ئېلان قىلدى: «سىزگە لازىمى پەقەت خوپفىلد تورلىرى.» ئۇلارنىڭ تۆھپىسى نۇرغۇن كىشىلەر گۇمان قىلىپ كەلگەن ئىشنىڭ ماتېماتىكىلىق ئىسپاتى بولدى: ترانسفورمېرلاردىكى ئۆزىگە دىققەت قىلىش (self-attention) مېخانىزمى دەل ھازىرقى زامان ئۈزلۈكسىز خوپفىلد تورىنىڭ يېڭىلاش قائىدىسىنىڭ ئۆزىدۇر.
ھازىرقى زامان خوپفىلد تورلىرى بىلەن ترانسفورمېر دىققىتى ئارىسىدىكى باغلىنىش. ترانسفورمېرلاردىكى softmax ئاساسىدىكى دىققەت مېخانىزمى ماتېماتىكىلىق جەھەتتىن ئېكسپونېنتسىيەلىك ئېنېرگىيە فۇنكسىيەسىگە ئىگە ئۈزلۈكسىز خوپفىلد تورىنىڭ بىر قېتىملىق يېڭىلاش باسقۇچىغا تەڭ. رەسىم: Ramsauer قاتارلىقلار، «Hopfield Networks is All You Need».
بۇ ئاددىي ئوخشىتىشلا ئەمەس ئىدى. گۇرۇپپا كلاسسىك خوپفىلد ئېنېرگىيە فۇنكسىيەسىنى ئۈزلۈكسىز ھالەتلەرگە ئومۇملاشتۇرۇپ، ئېكسپونېنتسىيەلىك ئۆز-ئارا تەسىر ئەزاسىنى ئىشلىتىش ئارقىلىق، يېڭىلاش قائىدىسىنىڭ تۆۋەندىكى شەكىلگە كېلىدىغانلىقىنى كۆرسەتتى:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
بۇ دەل ترانسفورمېرنىڭ دىققەت فورمۇلاسىدۇر. ھازىرقى زامان خوپفىلد تورى ئېكسپونېنتسىيەلىك دەرىجىدە كۆپ ئۈلگىنى (ئاسسوتسىياتىپ بوشلۇقنىڭ ئۆلچىمىگە ماس ھالدا) ساقلىيالايدۇ، ئۇلارنى بىرلا قېتىملىق يېڭىلاشتا ئەسلىگە كەلتۈرىدۇ، ھەمدە ئەسلىگە كەلتۈرۈش خاتالىقى ئېكسپونېنتسىيەلىك دەرىجىدە كىچىك بولىدۇ.
ماقالىدە بۇ ھازىرقى زامان قېلىپىدا ئۈچ خىل ئېنېرگىيە مىنىمۇمى ئېنىقلاندى: (1) بارلىق ساقلانغان ئۈلگىلەرنىڭ ئوتتۇرىچىسىنى ئالىدىغان ئومۇمىي مۇقىم نۇقتا، (2) ئۈلگىلەرنىڭ ئاستى توپلىرىنىڭ ئوتتۇرىچىسىنى ئالىدىغان مېتاستابىل ھالەتلەر، ھەمدە (3) بىرلا ئۈلگىنى ساقلايدىغان مۇقىم نۇقتىلار. تۆۋەن قاتلامدىكى ترانسفورمېر باشلىرى ئومۇمىي ئوتتۇرىچە ئېلىش ھالىتىدە ئىشلەشكە مايىل، يۇقىرى قاتلامدىكى باشلار بولسا ئۇچۇرنى توپلاپ بىر تەرەپ قىلىش ئۈچۈن مېتاستابىل ھالەتلەرنى ئىشلىتىدۇ، بۇ بايقاش ترانسفورمېرلارنىڭ نېمە ئۈچۈن مۇشۇنداق ئىشلەيدىغانلىقى ھەققىدە چوڭقۇر چۈشەنچە بېرىدۇ.
ئەمەلىي ئاقىۋىتى دەرھال كۆرۈلدى: گۇرۇپپا ئېلان قىلغان خوپفىلد قاتلاملىرى شەكلىدە PyTorch مودۇللىرى سۈپىتىدە بىۋاسىتە ئالماشتۇرۇلالايدۇ، ھەمدە ئۇلار pooling قاتلاملىرى، GRU/LSTM قاتلاملىرى ۋە ئۆلچەملىك دىققەت (attention) قاتلاملىرىنىڭ ئورنىنى باسالايدۇ. سىناق سىنىقىدا بۇ Hopfield قاتلاملىرى immune repertoire تۈرگە ئايرىشتا (ھەر بىر ئەۋرىشكىدە نەچچە يۈز مىڭ ئۈلگە بار)، كۆپ ئۈلگىلىك ئۆگىنىش (multiple instance learning) مەسىلىلىرىدە ھەمدە ئەنئەنىۋى چوڭقۇر ئۆگىنىش ئۇسۇللىرى ئادەتتە قىينىلىدىغان UCI تۈرگە ئايرىش سىناقلىرىدا ئەڭ ئىلغار نەتىجىلەرگە ئېرىشتى.
2025-يىلى دېكابىرغا كەلگەندە، Masumura بىلەن Taki نىڭ NeurIPS ماقالىسى بىر قەدەم ئىلگىرىلەپ، «ئادىئاباتىك يېقىنلاشتۇرۇش» (adiabatic approximation) دائىرىسىدىن ھالقىغاندا Hopfield-transformer ماسلىقىدا يوشۇرۇن ھالەتلەرنىڭ ئاشكارىلىنىدىغانلىقىنى كۆرسەتتى؛ بۇ ھالەتلەر چوڭقۇر transformer لارنى ئاۋارە قىلىدىغان رەت يىمىرىلىشى (rank collapse) ۋە token بىرلىك مەسىلىسىنى ھەل قىلىپ، ھېچقانداق ئوقۇتۇش پارامېتىرى قوشماستىن توغرىلىقنى ئاشۇرالايدۇ.
ئورتاق قاراش كۈچىيىۋاتىدۇ: يەنە كىملەر بۇنى ئېيتىۋاتىدۇ؟
Hopfield تورلىرى transformer لاردىن كېيىنكى كېيىنكى ئۈلگە (paradigm) دەيدىغان بۇ پىكىر پەرەز ئەمەس. ئۇ چوڭ تەتقىقات ئورگانلىرى تەرىپىدىن ئاكتىپ ئىزدىنىلىۋاتىدۇ، ئىسپاتلار بولسا تېز توپلىنىۋاتىدۇ. ئوخشاش خۇلاسىگە يېقىنلىشىۋاتقان ئاساسلىق ئاۋازلار ۋە ماقالىلەر مۇنداق.
IBM Research ۋە Dmitry Krotov
2025-يىلى يانۋاردا IBM Research Dmitry Krotov بىلەن كەڭ قورساقلىق سۆھبەت ئېلان قىلدى. ئۇ Hopfield نىڭ ئۇزۇن يىللىق ھەمكارلاشقۇچىسى ھەمدە Dense Associative Memory نىڭ لايىھىلىگۈچىلىرىدىن بىرى. Krotov بىۋاسىتە مۇنداق دەلىللىدى: Hopfield تورلىرى ھازىرقى سۈنئىي ئىدراك مودېللىرىنىڭ 90% ىدىكى ئالدىغا تارقىلىشچان (feedforward) قۇرۇلمىدىن پەرقلىق ھالدا مېڭىنىڭ قايتا-قايتا ئىنكاس ھالقىلىرىنى ئەكس ئەتتۈرگەچكە، ئۇلار «بۈگۈنكى feedforward تورلارغا ئۈمىدلىك بىر باشقا تاللاش» ھېسابلىنىدۇ. ئۇ transformer لارنىڭ ئۇچۇرنى پەقەت بىر يۆنىلىشتە بىر تەرەپ قىلىدىغانلىقىنى، مەزمۇن كۆزنىكى (context window) ئۇزارغانسېرى ھېسابلاش مۇرەككەپلىكىنىڭ تېز ئېشىپ كېتىدىغانلىقىنى كۆرسەتتى. ئەكسىچە، مېڭە ئۆتمۈشتىكى ئۇچۇرلارنى يىغىنچاقلاپ ئەستە ساقلاش ئۈچۈن قايتا-قايتا ئىنكاس ھالقىلىرىنى ئىشلىتىدۇ. Hopfield تورلىرىمۇ شۇنداق ئىشلەيدۇ.
Krotov يەنە Energy Transformer (NeurIPS 2023) نى تونۇشتۇردى. بۇ IBM Research بىلەن Georgia Tech نىڭ ھەمكارلىقىدا ئوتتۇرىغا چىققان بولۇپ، ئۇ Hopfield نىڭ تەسەۋۋۇرلىرىنى بار transformer لارنىڭ ئۈستىگە قاتلاپلا قالماستىن، feedforward transformer بلوكلىرىنىڭ پۈتۈن ꞌزەنجىرىنى بىرلا چوڭ Associative Memory مودېلى بىلەن ئالماشتۇرىدۇ. Energy Transformer دىكى دىققەت مېخانىزمى ئەنئەنىۋى دىققەتتىن ئېنىق پەرقلىنىدۇ: ئۇ feedforward يولىغا قوشۇمچە چاپلانغان ئەمەس، بەلكى ئېنېرگىيەنى ئەڭ ئاز قىلىشنىڭ ئەڭ ئاساسىي پرىنسىپلىرىدىن كېلىپ چىققان.
🔗 IBM Research «مېڭىدىن ئىلھام ئالغان سۈنئىي ئىدراك ئالگورىزىملىرىنى ئىزدەش» (2025-يىلى يانۋار)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
Johannes Kepler ئۇنىۋېرسىتېتى - Hochreiter گۇرۇپپىسى
LSTM نىڭ ھەمكارلىشىپ كەشپ قىلغۇچىسى Sepp Hochreiter «Hopfield Networks is All You Need» ماقالىسىنى ئېلان قىلغان ئەترەتكە يېتەكچىلىك قىلدى. ئۇلارنىڭ Hopfield layers ئامبىرى transformer دىققەت قاتلاملىرى، pooling قاتلاملىرى ۋە قايتا-قايتا (recurrent) قاتلاملارنىڭ ئورنىغا بىۋاسىتە ئىشلىتىشكە بولىدىغان، ئىشلەپچىقىرىشقا تەييار PyTorch مودۇللىرىنى تەمىنلەيدۇ. hamrah blog yazmisi softmax دىققەت فورمۇلاسىنىڭ ھازىرقى زامان Hopfield يېڭىلاش قائىدىسىنىڭ ئالاھىدە ھالىتى ئىكەنلىكىنى، شۇنداقلا Hopfield قاتلاملىرىنىڭ ئۆلچەملىك دىققەت تەمىنلىيەلمەيدىغان قوشۇمچە ئىقتىدارلارنى، جۈملىدىن ئۆگىنىلگەن مۇقىم ئۈلگىلەر (static prototypes) ۋە ئەۋرىشىم ئاسسوتسىيەلىك ئەسلەك سەپلىمىلىرىنى بېرىدىغانلىقىنى ماتېماتىكىلىق ئېلىپ چىقىرىش ئارقىلىق چۈشەندۈرىدۇ.
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield دىققىتى GPT ۋە Vision Transformer لارنى ياخشىلايدۇ
ئەڭ يېڭى ئىسپات Masumura بىلەن Taki نىڭ 2025-يىلى دېكابىردىكى NeurIPS ماقالىسىدىن كەلدى. ئۇلار مۇنداق كۆرسەتتى: مودېرن خوپفىلد دىققىتى (MHA) — بۇ ئۇسۇل تولۇق (ئادىئاباتىك بولمىغان) خوپفىلد دىنامىكىسىدىن كېلىپ چىققان يوشۇرۇن ھالەتلەرنى قوشۇپ، GPT-2 ۋە LLaMA تىل مودېللىرىنى ھەمدە Vision Transformer مودېللىرىنى سىستېمىلىق ياخشىلايدۇ. بۇ ياخشىلىنىش ھېچقانداق قوشۇمچە ئوقۇتۇش پارامېتىرىنى تەلەپ قىلمايدۇ. تېخىمۇ مۇھىمى، MHA رەتنىڭ ئjson مەسىلىسىنى (چوڭقۇر transformer مودېللىرىدا دىققەت ماترىتسىلىرى ئاجىزلىشىپ، بارلىق تokenلار ئوخشاش ئىپادىلەشكە يىغىلىپ قېلىش ھادىسىسى) ھەل قىلىدىغانلىقى بايقالدى؛ بۇ transformer نى كېڭەيتىش تىرىشچانلىقلىرىنى ئۇزۇندىن بېرى ئاۋارە قىلىپ كەلگەن ئاساسىي كېسەللىك. ئاپتورلار مۇنداق خۇلاسە چىقىرىدۇ: «بۇ تەتقىقات خوپفىلد تورلىرى ئارقىلىق Transformer قۇرۇلمىلىرىنى سىستېمىلىق لايىھىلەشكە يېڭى ئىمكانىيەتلەرنى ئاچىدۇ دەپ ئۈمىد قىلىمىز.»
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: بىئولوگىيەلىك جەھەتتىن ئەقىلگە مۇۋاپىق توردىكى ئۆگىنىش
2024-يىلى 5-ئايدا Nature Communications ژۇرنىلى Sparse Quantized Hopfield Network ھەققىدىكى ئىشنى ئېلان قىلدى؛ بۇ مودېل توردا ۋە ئۈزلۈكسىز ئۆگىنىش سيېناريەلىرىدا، دەل ھايۋان مېڭىسى ئۆگەنگەندەك، يەرلىك ئۆگىنىش قائىدىلىرى بىلەن ئۆگىنىدۇ. بۇ transformer نىڭ ئاساسىي چەكلىمىسىنى ھەل قىلىدۇ، چۈنكى transformer يەرلىك بولمىغان ئارقىغا tarqalish (backpropagation) نى ھەمدە رەتلەنگەن سانلىق مەلۇمات توپلىمىدا تورسىز ئوقۇتۇشنى تەلەپ قىلىدۇ. بۇ ماقالە خوپفىلدقا ئاساسلانغان قۇرۇلمىلارنى سۈنئىي نېرۋا تورلىرى بىلەن نېرۋا ئەندىزىلىك (neuromorphic) ھېسابلاش ئۈسكۈنىلىرى ئارىسىدىكى تەبىئىي كۆۋرۈك دەپ قارايدۇ.
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
چوڭ ئاساسىي مودېللار ئۈچۈن چەتكە چىققۇچىلارغا ئۈنۈملۈك خوپفىلد قاتلاملىرى
2024-يىلدىكى بىر ماقالە چوڭ transformer مودېللىرىدىكى ئەمەلىي مەسىلىنى ھەل قىلدى: مودېلنىڭ ئۇچۇرسىز tokenلارغا (ئايرىغۇچلار، تىنىش بەلگىلىرى) دىققەت بۆلۈشكە مايىل بولۇشى — يەنى «no-op outlier» مەسىلىسى. ئۇلارنىڭ ھەل قىلىش چارىسى outlier-efficient Hopfield energy function ئىدى؛ ئۇ بۇ tokenلارنى ئايرىپ، نۆل ئېنېرگىيەلىك نۇقتىغا يىتەكلەيدۇ ۋە ئۇلارنىڭ پايدىلىق دىققەتنى سۇيۇقلاندۇرۇۋېتىشىنىڭ ئالدىنى ئالىدۇ. ھاسىل بولغان مودېل Softmax₁ دىققىتىنى بىر ئالاھىدە ئەھۋال سۈپىتىدە ئۆز ئىچىگە ئالىدۇ ھەمدە BERT، OPT ۋە Vision Transformer لاردا دەلىللەنگەن. بۇ خوپفىلد نەزەرىيەسىنىڭ transformer ئىنژېنېرلىقىدىكى ھەقىقىي مەسىلىلەرنى ھەل قىلىشى.
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
Transformer لار ئېنېرگىيە ئەڭ ئازلاتقۇچى سۈپىتىدە (2026-يىلى 1-ئاي)
2026-يىلى 1-ئايدا ئېلان قىلىنغان ئەڭ يېڭى نەزەرىيەلىك ئەمگەك transformer نىڭ پۈتۈن ئالغا يۈرۈشىنى ئىچكى ئېنېرگىيەنى ئەڭ ئازلاش دەپ قارايدۇ؛ يەنى transformer نىڭ نېمە ئۈچۈن ئىشلەيدىغانلىقىنى چۈشەندۈرۈشتە خوپفىلد قارىشىنى تولۇق قوبۇل قىلىدۇ. بۇ ماقالە سەل (sparse) مودېرن خوپفىلد مودېللىرىنى دىققەتنىڭ بارلىق ۋارىيانتلىرى (softmax، sparsemax، α-entmax) بىلەن باغلاپ، ئۇلارنىڭ ھەممىسى ئېنېرگىيەگە ئاساسلانغان ئىزدەش دىنامىكىسىنىڭ ئالاھىدە ئەھۋاللىرى ئىكەنلىكىنى كۆرسىتىدۇ.
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (2026-يىلى 1-ئاي)
ئوبزور ماقالىلىرى ۋە جەمئىيەت ماتېرىياللىرى
كەڭ تەتقىقات جەمئىيىتى بۇ ئۇچرىشىش نۇقتىسى ئەتراپىدا تەشكىللىنىۋاتىدۇ:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv، 2025-يىلى 4-ئاي) خوپفىلد (1982) دىن Boltzmann Machine لار ئارقىلىق transformer دىققىتىنىڭ مودېرن خوپفىلد دىنامىكىسى سۈپىتىدە قايتا ئىزاھلىنىشىغىچە بولغان پۈتۈن يولنى ئىزلىغان keng كۆلەملىك ئوبزور. → ماقالىنى ئوقۇش
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" transformer نى خوپفىلد ئېنېرگىيە ئوپتىكىسى ئارقىلىق چۈشىنىش «پەقەت كېڭەيتىش ۋە ھېسابلاش مۇرەككەپلىكىنى ئازايتىشقا تayanغاندا مۇمكىن بولمايدىغان، سۈپەت جەھەتتىن پەرقلىق ياخشىلىنىشلارغا ئېلىپ بارىشى مۇمكىن» دەپ ئىسپاتلايدىغان چوڭقۇر تېخنىكىلىق بلوگ. → بىلوگنى ئوقۇش
- ئاجايىپ زامانىۋى Hopfield تورلىرى زامانىۋى Hopfield تورلىرى ھەققىدىكى 50 پارچىدىن ئارتۇق ماقالىنى بىر يەرگە توپلىغان، ئەستايىدىل تاللانغان GitHub ئامبىرى. ئۇ مۈلۈك تەقسىملەش، ئۆزگىرىشنى بايقاش، ئىجادىي ئوي-پىكىرنى قايتا شەكىللەندۈرۈش، تارقىلىش دائىرىسىدىن سىرتقى سانلىق مەلۇماتنى بايقاش، ئىممۇن تىزىلمىسىنى تۈرگە ئايرىش قاتارلىق نۇرغۇن ساھەلەرنى ئۆز ئىچىگە ئالىدۇ. → توپلامنى كۆرۈش
- "Hopfield تورلىرى ھەممىسىگە يېتەرلىكمۇ؟" (Analytics India Magazine، 2024-يىلى دېكابىر) Hochreiter ئەترىتىنىڭ Hopfield تورلىرىنىڭ "ئەڭ ئىلغار transformer مودېللىرى بىلەن ئۆز ئارا ئالماشتۇرغىلى بولىدىغانلىقىنى" قانداق ئىسپاتلىغانلىقىنى ئەمەلىيەتچىلەرنىڭ نەزىرىدىن يورۇتۇپ بەرگەن ماقالە. → ماقالىنى ئوقۇش
- "Hopfield تورلىرىدىكى يېڭى تەتقىقاتلار: قىسقىچە تونۇشتۇرۇش" (Medium، 2024-يىلى ئىيۇل) ئېنىق-راۋان يېزىلغان ئومۇمىي كۆرۈنۈش. ئۇنىڭدا ساقلاش sىغىمىنىڭ ئىندېكىسلىق ئاكتىپلاشتۇرۇش فۇنكسىيەلىرى ئارقىلىق 0.138N دىن 2^(N/2) گىچە ئېشىپ كەتكەنلىكى كۆرسىتىلگەن. → Medium دا ئوقۇش
يۆنىلىش ئېنىق. بۇ بىر تەجرىبىخانىنىڭ تەكلىپى ياكى بىر پارچە ماقالىنىڭ پەرىزى ئەمەس. IBM Research، Johannes Kepler ئۇنىۋېرسىتېتى، MIT، NeurIPS، Nature Communications ۋە كەڭ ماشىنا ئۆگىنىش جەمئىيىتى ئوخشىمىغان يۆنىلىشلەردىن ئوخشاش بىر خۇلاسىگە يېقىنلىشىۋاتىدۇ: Hopfield ئاساس سالغان ئېنېرگىيەگە ئاساسلانغان، ئاسسوتسىياتىپ ئەسلەش ئۈلگىسى transformer لارنىڭ بىلىنمەستىن ئۈستىگە قۇرۇلغان ئاساسلا بولۇپ قالماستىن، بەلكى AI نى transformer لارنىڭ ئۆزى يېتەلمىگەن چەككىچە ئېلىپ ماڭىدىغان ئاساسلىق قۇرۇلمىدۇر.
نېمە ئۈچۈن ھازىر بۇ مۇھىم: ئالماشتۇرۇشنىڭ سەۋەبى
بىخەتەرلىك ئۈچۈن ھالقىلىق سىستېمىلاردا كاپالەتلىك يىغىلىش
Transformer لار نەتىجە چىقىرىدۇ، لېكىن مۇقىملىققا ماتېماتىكىلىق كاپالەت يوق. Hopfield تورلىرى بولسا ئىسپات بويىچە مۇقىم ھالەتكە يىغىلىدۇ، ئېنېرگىيە فۇنكسىيەسى بىردەكلىك بىلەن كېمىيىپ بارىدۇ. ئاپتوماتىك ماشىنا ئادەم، ئۆزى ھەيدەيدىغان ماشىنا، تېبىي ئەسۋاب ۋە ئىشەنچلىكلىكتىن ۋاز كەچكىلى بولمايدىغان ھەر قانداق سىستېما ئۈچۈن بۇ transformer لار بېرەلمەيدىغان بىر تەلەپتۇر.
ئاساسىي ئىقتىدار سۈپىتىدىكى ئاسسوتسىياتىپ ئەسلەش
ئەگەر Hopfield تورىنى (1, −1, 1, −1, 1) ھالىتى ئېنېرگىيەنىڭ ئەڭ تۆۋەن نۇقتىسى بولىدىغان قىلىپ ئۆگەتسىڭىز، ئاندىن بۇزۇلغان (1, −1, −1, −1, 1) كىرگۈزمىسىنى بەرسىڭىز، تور ساقلانغان توغرا ئۈلگىگە يىغىلىدۇ. ئۇ پەرەز قىلمايدۇ، ئارىلىق قىممەت چىقارمايدۇ، بەلكى ئېنېرگىيە مەنزىرىسىدە ئەڭ يېقىن جەلپ قىلغۇچ (attractor) كە قاراپ تۆۋەنگە دومىلايدۇ. سېنزورلىرى توسۇلغان ماشىنا ئادەملەر، شاۋقۇنلۇق سانلىق مەلۇمات بىلەن ئىشلەيدىغان قىستۇرما سىستېمىلار ۋە قىسمەن كىرگۈزمىدىن ئۈلگىنى تولۇقلاشنى تەلەپ قىلىدىغان ھەر قانداق ئىلتىماس ئۈچۈن بۇ ئىنقىلابىي ئۆزگىرىش.
ئۇنىۋېرسال ئەلالاشتۇرۇش ماتورى
Hopfield بىلەن David Tank 1985-يىلى Hopfield تورلىرىنىڭ سەيياھ سودىگەر مەسىلىسىنى ھەل قىلالايدىغانلىقىنى كۆرسەتتى. ئەگەر بىر چىقىم فۇنكسىيەسىنى Hopfield ئېنېرگىيەسى شەكلىدە يازغىلى بولسا، تورنىڭ تەڭپۇڭلۇق نۇقتىلىرى ئەنە شۇ ھەل قىلىش چارىلىرىدۇر. شۇندىن buyان بۇ قۇرۇلما ئىش تەرتىپى ئورۇنلاشتۇرۇش، simsiz تورلاردا قانال تەقسىملەش، رەسىم ئەسلىگە كەلتۈرۈش، ئانالوگ-رەقەملىك ئايلاندۇرۇش، كۆچمە يول بېكىتىش ۋە بىرىكمىلىك ئەلالاشتۇرۇشقا قوللىنىلىپ كەلدى. 2024-يىلدىكى Nature Communications ماقالىسى Sparse Quantized Hopfield Network نى تونۇشتۇردى. ئۇ بىئولوگىيەلىك مېڭىگە ئوخشاشلا يەرلىك قائىدىلەر بىلەن توختىماي ئۆگىنىدىغان توردا ئەسلەش ئۈچۈن ئىشلىتىلىدۇ، transformer لاردا ئاساسەن يوق بىر ئىقتىدار.
پروگراممىسىز ئويلايدىغان ھاردۋېر
سىممېتىرىيەلىك ئېغىرلىق چەكلىمىسى (wᵢⱼ = wⱼᵢ) ئانالوگ ئېلېكترونلۇق سىنجىلارغا بىۋاسىتە ماس كېلىدۇ، چۈنكى قارشىلىقلىق ئۇلىنىش تەبىئىي ھالدا سىممېتىرىيەلىكتۇر. Hopfield تورلىرىنى ASIC ياكى FPGA شەكلىدە ياساپ، نانوسېكۇنت دەرىجىسىدە يەكۈن چىقارغىلى بولىدۇ. Nature نىڭ 2025-يىلدىكى نېيرومورفىك hisaplash توپلىمى بۇ يۆنىلىشنى جەزملەشتۈردى: GPU، CPU ۋە پروگرامما دەستەسى تەلەپ قىلمايدىغان مەزمۇن ئادرېسلىق ئەستە ساقلىغۇچى بار، چەتتە نېرۋا دىنامىكىسىنى ئەمەلگە ئاشۇرىدىغان ئېنېرگىيە tejەشلىك ئانالوگ ھاردۋېر.
نېيروموفىك ۋە ئانالوگ سۈنئىي ئەقىل چىپلىرى نېرۋا تورى دىنامىكىسىنى بىۋاسىتە قاتتىق دېتالدا ئەمەلگە ئاشۇرىدۇ. Hopfield تورلىرىنىڭ ئېنېرگىيەگە ئاساسلانغان سىممېترىك قۇرۇلمىسى قارشىلىق توك يوللىرىغا تەبىئىي ماسلىشىدۇ، شۇنىڭ بىلەن ئەنئەنىۋى دېتال توپلىمىسىز، نانوسېكۇنت دەرىجىسىدە سۈنئىي ئەقىل خۇلاسىسى چىقىرىشقا بولىدۇ.
ئىككىلىك ۋە ئۇزلۇكسىز ئەۋرىشىملىك
كلاسسىك Hopfield تورلىرى ئىككىلىك نېيرونلارنى (+1 ياكى −1) ئىشلىتىدۇ؛ ئۇزلۇكسىز خىللىرى بولسا سىگمويىدلىق ئاكتىپلاش ۋە دىفېرېنسىيال تەڭلىمىلەرنى ئىشلىتىدۇ. يېڭىلاش ئاسىنخرون (بىر قېتىمدا بىر نېيرون، مۇقىم ھالەتكە كېلىشنى كاپالەتلەندۈرىدۇ) ياكى سىنخرون (ھەممىسى بىراقلا، پاراللېللىققا يول ئاچىدۇ) بولۇشى مۇمكىن. ئوخشاش بىر قۇرۇلما كىلوبايت دەرىجىلىك RAM لىق مىكروكونترولېردىن تارتىپ زور دەرىجىدە پاراللېل FPGA غىچە، ھازىر بولسا زامانىي Hopfield قاتلاملىرى ئارقىلىق GPU تېزلىتىلگەن چوڭقۇر ئۆگىنىش جەريانلىرىغىچە ماسلىشىدۇ.
ساقلاش سىغىمى: سەمىمىي چەكلىمە
كلاسسىك چەكلىمە ئېنىق: N نېيروندىن تەركىب تاپقان تور يالغان ھالەتلەر ئەسلىگە كەلتۈرۈشنى بۇزۇشتىن ئىلگىرى ئىشەنچلىك ھالدا تەخمىنەن 0.138N ئەندىزىنى ساقلىيالايدۇ. بۇ ھەقىقىي چەكلىمە، لېكىن ئۇ سەمىمىي چەكلىمە. Transformer لاردا بولسا ئۇلارنىڭ قاچان ھاللۇسىناتسىيە قىلىشقا باشلايدىغانلىقى ھەققىدە ئېنىق ماتېماتىكىلىق چېگرا يوق.
ئۇنىڭدىن باشقا، زامانىي Hopfield تورلىرى (Krotov & Hopfield, 2016; Demircigil et al., 2017) يۇقىرى دەرىجىلىك ئۆز ئارا تەسىر ئەزالىرى ئارقىلىق ئېكسپونېنتسىيەلىك ساقلاش سىغىمىغا ئېرىشىدۇ. تەتقىقات بۇ چېگرالارنى كېڭەيتىشنى داۋاملاشتۇرماقتا: سيرەك ۋە قۇرۇلمىلىق Hopfield تورلىرى، ئۇزۇن تىزمىلىق Hopfield ئىچكى ساقلىغۇچى ۋە مۈلۈك تەقسىملەش ئۈچۈن Hopfield تورلىرىنىڭ ھەممىسى ئاكتىپ تەرەققىي قىلىۋاتقان ساھەلەر بولۇپ، ماقالىلەر تېز كۆپىيىۋاتىدۇ.
ئەمەلىي قوللىنىش: كومپيۇتېردىن توك يولىغىچە
دەسلەپكى نېرۋا تورى تەتقىقاتچىلىرىنىڭ ئەسلى كۆز قارىشى ئېنىق ئىدى: بىر قېتىم تەسۋىرلىنىپ، ھەممە يەردە ئورنىتىلالايدىغان چارچوب. Hopfield قۇرۇلمىسى بۇنى ئەمەلگە ئاشۇرىدۇ:
كومپيۇتېر ئەپلىرى ئېغىرلىق ماترېتسىسى ۋە يېڭىلاش قائىدىسى. GPU كېرەك ئەمەس.
تور ئەپلىرى ئوخشاشلىق ئىزدەش، تەۋسىيە ۋە تەكرارلىقنى يوقىتىش ئۈچۈن مەزمۇنغا ئاساسەن ئادرېسلىنىدىغان ئىچكى ساقلىغۇچ.
روبوتشۇناسلىق ئەمەلىي ۋاقىتلىق كونترول ئايلانمىلىرى ئۈچۈن كاپالەتلەندۈرۈلگەن مۇقىملىققا ئېرىشىش. ھەرىكەت ئەندىزىلىرى جەلپ قىلغۇچ سۈپىتىدە ساقلىنىدۇ، ھەتتا شاۋقۇنلۇق سېنزور كىرگۈزمىسىدىنمۇ ئەسلىگە كېلىدۇ.
قىستۇرما سىستېمىلار ئىككىلىك Hopfield تورلىرى پەقەت پۈتۈن سانلىق ھېسابلاش بىلەنلا مىكروكونترولېرلاردا ئىشلەيدۇ.
ئېلېكترونلۇق توك يوللىرى سىممېترىك ئېغىرلىقلار قارشىلىق تورلىرىغا ماسلىشىدۇ. ئەقىل بىۋاسىتە كرېمنىيدا ياسىلىدۇ.
ئالدىغا قاراپ يول
Transformer دەۋرى بىزگە ئاجايىپ تىل ماشىنىلىرىنى ئاتا قىلدى. لېكىن چېگرا ماددىي دۇنياغا — روبوتلار، سېنزورلار، ھەرىكەتلەندۈرگۈچلەر ۋە ئەمەلىي ۋاقىتلىق قارارلارغا كېڭىيىۋاتىدۇ. بۇ چېگرا مۇقىم، ئۈنۈملۈك، چۈشەندۈرگىلى بولىدىغان ھەمدە ئەمەلىيەتتە چەتتە مەۋجۇت قاتتىق دېتاللاردا ئورنىتىشقا بولىدىغان قۇرۇلمىلارنى تەلەپ قىلىدۇ.
2020-يىلى transformer دىققىتىنىڭ زامانىي Hopfield يېڭىلاش قائىدىسىنىڭ ئۆزى ئىكەنلىكىنىڭ ئىسپاتلىنىشى پەقەت ماتېماتىكىلىق قىزىقارلىق ئەمەس ئىدى — ئۇ بىزنىڭ ھەمىشە Hopfield تورلىرىنى ئىشلىتىپ كەلگەنلىكىمىزنى، پەقەت ئۇلارنىڭ ھەقىقىي ماھىيىتىنى يوشۇرغان چارچوب ئىچىگە ئورالغانلىقىنى ئاشكارىلىدى. 2025-يىلدىكى NeurIPS ئەسىرى Hopfield يوشۇرۇن ھالەتلىرىنىڭ دەرىجە يىمىرىلىشى (rank collapse) غا ئوخشاش transformer كېسەللىكلىرىنى ھەل قىلىدىغانلىقىنى كۆرسىتىپ، كېيىنكى قەدەمنى ئوتتۇرىغا قويىدۇ: transformer نى Hopfield قاراشلىرى بىلەن ياماپ ئولتۇرماي، بەلكى بىۋاسىتە Hopfield پارادىگماسىنىڭ ئۆزىگە قۇرۇش.
John Hopfield بىزگە 1982-يىلىلا يولنى كۆرسەتكەن. Donald Hebb 1949-يىلى بىئولوگىيەلىك ئاساسنى سالغان. ھازىر تەتقىقات جەمەتى ئۇ يولغا يىغىلىۋاتىدۇ.
ئالماشتۇرىدىغان ۋاقىت كەلدى.
پايدىلانمىلار
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior۔ Wiley.
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv، 2025-يىلى ئاپرېل. techrxiv.org
