ਹੈਬੀਅਨ ਲਰਨਿੰਗ ਦਾ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਨਾਲ ਮੇਲ: ਉਹ ਆਰਕੀਟੈਕਚਰ ਜੋ ਹਮੇਸ਼ਾ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨਾਲੋਂ ਸਿਆਣਾ ਸੀ
ਪਿਛਲੇ ਇੱਕ ਦਹਾਕੇ ਤੋਂ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅਤੇ ਉਨ੍ਹਾਂ ਦੀ ਅਟੈਂਸ਼ਨ ਵਿਧੀ ਏਆਈ ਦੀ ਦੁਨੀਆ ਉੱਤੇ ਛਾਏ ਹੋਏ ਹਨ। GPT ਤੋਂ BERT ਅਤੇ ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੱਕ, "attention is all you need" ਵਾਲੇ ਮੰਤਰ ਨੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਬਾਰੇ ਸਾਡੇ ਸੋਚਣ ਦਾ ਢੰਗ ਹੀ ਬਦਲ ਦਿੱਤਾ। ਟ੍ਰਾਂਸਲੇਟਰ ਸਿਸਟਮ, ਯਾਨੀ ਇਨਕੋਡਰ-ਡੀਕੋਡਰ ਪਾਈਪਲਾਈਨਾਂ ਜੋ ਡੇਟਾ ਨੂੰ ਇੱਕ ਰੂਪ ਤੋਂ ਦੂਜੇ ਰੂਪ ਵਿੱਚ ਬਦਲਦੀਆਂ ਹਨ, ਭਾਸ਼ਾ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਤੋਂ ਲੈ ਕੇ ਤਸਵੀਰਾਂ ਬਣਾਉਣ ਤੱਕ ਹਰ ਚੀਜ਼ ਦੀ ਰੀੜ੍ਹ ਬਣ ਗਈਆਂ। ਇਹ ਕ੍ਰਾਂਤੀਕਾਰੀ ਸਨ। ਇਹ ਤਾਕਤਵਰ ਸਨ।
ਅਤੇ ਹੁਣ, ਇਹ ਇੱਕ ਕੰਧ ਨਾਲ ਜਾ ਟਕਰਾਏ ਹਨ।
ਵਿਡੰਬਨਾ ਇਹ ਹੈ ਕਿ ਹੱਲ 1982 ਤੋਂ ਮੌਜੂਦ ਹੈ। ਉਸ ਸਾਲ ਜੌਨ ਹੌਪਫੀਲਡ ਨੇ Proceedings of the National Academy of Sciences ਵਿੱਚ ਇੱਕ ਪੇਪਰ ਛਾਪਿਆ, ਜਿਸ ਨੇ ਇੱਕ ਅਜਿਹਾ ਰਿਕਰੰਟ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਪੇਸ਼ ਕੀਤਾ ਜਿਸ ਵਿੱਚ ਉਹ ਗੁਣ ਸੀ ਜੋ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅੱਜ ਤੱਕ ਸੱਚਮੁੱਚ ਹਾਸਲ ਨਹੀਂ ਕਰ ਸਕੇ: ਊਰਜਾ ਦੇ ਘਟਾਓ ਰਾਹੀਂ ਸਥਿਰ ਅਵਸਥਾਵਾਂ ਵੱਲ ਪੱਕਾ ਕਨਵਰਜੈਂਸ। ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਸਿਰਫ਼ ਪੈਟਰਨ ਸਿੱਖਦਾ ਹੀ ਨਹੀਂ ਸੀ, ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਊਰਜਾ ਦੇ ਇੱਕ ਭੂ-ਦ੍ਰਿਸ਼ ਵਿੱਚ ਭੌਤਿਕ ਆਕਰਸ਼ਕਾਂ (attractors) ਵਾਂਗ ਸੰਭਾਲ ਲੈਂਦਾ ਸੀ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਸ਼ੋਰ ਵਾਲੇ ਜਾਂ ਅਧੂਰੇ ਇਨਪੁੱਟ ਤੋਂ ਵੀ ਵਾਪਸ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਸੀ।
ਏਆਈ ਭਾਈਚਾਰਾ ਹੁਣ ਜਾ ਕੇ ਉਹ ਗੱਲ ਸਮਝਣ ਲੱਗਾ ਹੈ ਜੋ ਭੌਤਿਕ ਵਿਗਿਆਨ ਅਤੇ ਨਿਊਰੋਸਾਇੰਸ ਦੇ ਭਾਈਚਾਰੇ ਦਹਾਕਿਆਂ ਤੋਂ ਜਾਣਦੇ ਹਨ: ਨਿਊਰਲ ਕੰਪਿਊਟੇਸ਼ਨ ਦਾ ਊਰਜਾ-ਆਧਾਰਿਤ, ਸਹਿਚਾਰੀ (associative) ਤਰੀਕਾ ਕੋਈ ਇਤਿਹਾਸਕ ਕੌਤਕ ਨਹੀਂ, ਸਗੋਂ ਇੱਕ ਬੁਨਿਆਦੀ ਨਮੂਨਾ ਹੈ, ਜਿਸ ਉੱਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੇ ਯੁੱਗ ਨੇ ਉਸ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝੇ ਬਿਨਾਂ ਹੀ ਇਮਾਰਤ ਖੜ੍ਹੀ ਕਰ ਲਈ।
ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਛੱਤ
ਟ੍ਰਾਂਸਫਾਰਮਰ ਸੈਲਫ-ਅਟੈਂਸ਼ਨ ਰਾਹੀਂ ਇੱਕ ਲੜੀ ਦੇ ਹਰ ਤੱਤ ਵਿਚਕਾਰ ਰਿਸ਼ਤਿਆਂ ਦੀ ਇੱਕੋ ਵੇਲੇ ਗਣਨਾ ਕਰਕੇ ਕੰਮ ਕਰਦੇ ਹਨ। ਭਾਸ਼ਾ ਲਈ ਇਹ ਕਮਾਲ ਦੀ ਗੱਲ ਹੈ। ਸਾਫ਼ ਕ੍ਰਮਵਾਰ ਪੈਟਰਨਾਂ ਵਾਲੇ ਢਾਂਚਾਗਤ ਡੇਟਾ ਲਈ ਵੀ ਇਹ ਕਮਾਲ ਹੈ। ਪਰ ਅਸਲ ਦੁਨੀਆ, ਯਾਨੀ ਰੋਬੋਟਿਕਸ, ਐਂਬੈਡਡ ਸਰਕਟਾਂ, ਸੈਂਸਰ-ਅਧਾਰਿਤ ਫ਼ੈਸਲਿਆਂ ਅਤੇ ਐਜ ਕੰਪਿਊਟਿੰਗ ਦੀ ਦੁਨੀਆ, ਆਪਣੇ ਆਪ ਨੂੰ ਸਲੀਕੇ ਨਾਲ ਸਜੀਆਂ ਲੜੀਆਂ ਵਿੱਚ ਨਹੀਂ ਢਾਲਦੀ ਜੋ ਧਿਆਨ ਮਿਲਣ ਦੀ ਉਡੀਕ ਕਰ ਰਹੀਆਂ ਹੋਣ।
ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ ਮੰਨ ਕੇ ਚੱਲਦਾ ਹੈ ਕਿ ਹਰ ਚੀਜ਼ ਭਰਪੂਰ ਹੈ: ਭਰਪੂਰ ਕੰਪਿਊਟ, ਭਰਪੂਰ ਮੈਮੋਰੀ, ਭਰਪੂਰ ਬਿਜਲੀ। ਸੈਲਫ-ਅਟੈਂਸ਼ਨ ਲੜੀ ਦੀ ਲੰਬਾਈ ਦੇ ਵਰਗ ਦੇ ਹਿਸਾਬ ਨਾਲ ਵਧਦੀ ਹੈ। ਫੀਡ-ਫਾਰਵਰਡ ਪਰਤਾਂ ਸਿੱਧੀ ਰਫ਼ਤਾਰ ਨਾਲ ਵਧਦੀਆਂ ਹਨ, ਪਰ ਬਹੁਤ ਵੱਡੇ ਪੈਮਾਨੇ ਉੱਤੇ। ਜਦੋਂ ਤੁਸੀਂ ਟ੍ਰਾਂਸਫਾਰਮਰ-ਅਧਾਰਿਤ ਸਿਸਟਮ ਨੂੰ ਕਿਸੇ ਗੋਦਾਮ ਵਿੱਚ ਘੁੰਮਦੇ ਮੋਬਾਈਲ ਰੋਬੋਟ ਉੱਤੇ ਚੜ੍ਹਾਉਂਦੇ ਹੋ, ਜਾਂ ਕਿਸੇ ਫੈਕਟਰੀ ਦੀ ਬਾਂਹ ਨੂੰ ਚਲਾਉਣ ਵਾਲੇ ਇਲੈਕਟ੍ਰਾਨਿਕ ਸਰਕਟ ਵਿੱਚ ਜੜਦੇ ਹੋ, ਤਾਂ ਇਹ ਸਾਰੀਆਂ ਧਾਰਨਾਵਾਂ ਢਹਿ ਜਾਂਦੀਆਂ ਹਨ।
ਟ੍ਰਾਂਸਲੇਟਰ ਨਮੂਨੇ ਦੀ ਆਪਣੀ ਇੱਕ ਸੀਮਾ ਵੀ ਹੈ: ਉਹ ਬੁੱਧੀ ਨੂੰ ਮੁੱਖ ਤੌਰ ਉੱਤੇ ਨਿਸ਼ਚਿਤ ਰੂਪਾਂ ਵਿਚਕਾਰ ਬਦਲਾਅ ਦੀ ਸਮੱਸਿਆ ਮੰਨਦਾ ਹੈ। ਇਨਪੁੱਟ ਨੂੰ ਇਨਕੋਡ ਕਰੋ। ਆਊਟਪੁੱਟ ਨੂੰ ਡੀਕੋਡ ਕਰੋ। ਪਰ ਅਸਲ ਬੁੱਧੀ ਸਿਰਫ਼ ਅਨੁਵਾਦ ਨਹੀਂ ਕਰਦੀ, ਉਹ ਯਾਦ ਰੱਖਦੀ ਹੈ, ਉਹ ਜੋੜਦੀ ਹੈ, ਅਤੇ ਇਨਪੁੱਟ ਖਰਾਬ ਜਾਂ ਧੁੰਦਲਾ ਹੋਵੇ ਤਾਂ ਵੀ ਉਹ ਸਥਿਰ ਵਿਆਖਿਆਵਾਂ ਉੱਤੇ ਟਿਕ ਜਾਂਦੀ ਹੈ।
ਅਸੀਂ ਇਨ੍ਹਾਂ ਸਮੱਸਿਆਵਾਂ ਉੱਤੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ, ਡਿਸਟਿਲੇਸ਼ਨ, ਪਰੂਨਿੰਗ ਅਤੇ ਸੌ ਹੋਰ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਜੁਗਤਾਂ ਨਾਲ ਪੈਚ ਲਾਉਂਦੇ ਆ ਰਹੇ ਹਾਂ। 2025 ਦੇ ਐਜ ਏਆਈ ਸਰਵੇਖਣ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ ਕਿ ਐਂਬੈਡਡ ਹਾਰਡਵੇਅਰ ਉੱਤੇ ਡੀਪ ਲਰਨਿੰਗ ਚਲਾਉਣਾ ਅੱਜ ਵੀ "ਮੈਮੋਰੀ, ਕੰਪਿਊਟੇਸ਼ਨ ਅਤੇ ਊਰਜਾ ਦੀਆਂ ਸਖ਼ਤ ਹੱਦਾਂ ਵਿੱਚ ਜਕੜਿਆ" ਹੋਇਆ ਹੈ। ਪਰ ਬੁਨਿਆਦੀ ਤੌਰ ਉੱਤੇ ਬੇਮੇਲ ਆਰਕੀਟੈਕਚਰ ਦੀ ਆਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਹਿਸਾਬ-ਕਿਤਾਬ ਦੇ ਦਿਨ ਨੂੰ ਸਿਰਫ਼ ਅੱਗੇ ਪਾਉਂਦੀ ਹੈ। ਸਾਨੂੰ ਉਹ ਆਰਕੀਟੈਕਚਰ ਚਾਹੀਦਾ ਹੈ ਜੋ ਮੈਮੋਰੀ, ਸਥਿਰਤਾ ਅਤੇ ਊਰਜਾ ਦੀ ਕੁਸ਼ਲਤਾ ਨੂੰ ਬਾਅਦ ਦੀ ਸੋਚ ਨਹੀਂ, ਸਗੋਂ ਪਹਿਲੇ ਅਸੂਲ ਮੰਨੇ।
ਹੌਪਫੀਲਡ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦਾ ਆਗਮਨ
ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਇੱਕ ਰਿਕਰੰਟ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੈ ਜਿਸ ਵਿੱਚ ਨਿਊਰੌਨਾਂ ਦੀ ਸਿਰਫ਼ ਇੱਕ ਪਰਤ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਹਰ ਨਿਊਰੌਨ ਆਪਣੇ ਆਪ ਨੂੰ ਛੱਡ ਕੇ ਬਾਕੀ ਹਰ ਨਿਊਰੌਨ ਨਾਲ ਜੁੜਿਆ ਹੁੰਦਾ ਹੈ। ਇਹ ਨੈੱਟਵਰਕ ਇੱਕ ਪੂਰਨ ਅਦਿਸ਼ਾਵੀ ਗ੍ਰਾਫ਼ ਬਣਾਉਂਦਾ ਹੈ, ਹਰ ਜੋੜੇ ਦੇ ਨਿਊਰੌਨ ਇੱਕ ਸਮਮਿਤੀ ਕੁਨੈਕਸ਼ਨ ਭਾਰ ਸਾਂਝਾ ਕਰਦੇ ਹਨ, ਯਾਨੀ ਨਿਊਰੌਨ i ਤੋਂ ਨਿਊਰੌਨ j ਤੱਕ ਦੀ ਤਾਕਤ ਬਿਲਕੁਲ ਓਨੀ ਹੀ ਹੁੰਦੀ ਹੈ ਜਿੰਨੀ jਤੋਂ i. ਕੋਈ ਸਵੈ-ਸੰਬੰਧ ਨਹੀਂ ਹਨ (wᵢᵢ = 0)। ਕੋਈ ਪਰਤਦਾਰ ਲੜੀਬੱਧਤਾ ਨਹੀਂ। ਕੋਈ ਕ੍ਰਮਵਾਰ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਨਹੀਂ। ਇਸ ਦੀ ਬਜਾਏ, ਪੂਰਾ ਨੈੱਟਵਰਕ ਇੱਕ ਇਕੱਲੀ, ਆਪਸ ਵਿੱਚ ਜੁੜੀ ਗਤੀਸ਼ੀਲ ਪ੍ਰਣਾਲੀ ਵਾਂਗ ਕੰਮ ਕਰਦਾ ਹੈ, ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਬਦਲਦੀ ਹੋਈ ਸਥਿਰ ਸੰਤੁਲਨ ਅਵਸਥਾਵਾਂ ਵੱਲ ਵਧਦੀ ਹੈ।
ਪੂਰੀ ਤਰ੍ਹਾਂ ਜੁੜੇ ਨਿਊਰੌਨਾਂ ਵਾਲਾ ਇੱਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ। ਹਰ ਨੋਡ ਸਮਮਿਤੀ ਵਜ਼ਨਾਂ (wᵢⱼ = wⱼᵢ) ਨਾਲ ਹਰ ਦੂਜੇ ਨੋਡ ਨਾਲ ਜੁੜਿਆ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕ ਸੰਪੂਰਨ ਅਦਿਸ਼ਾਵੀ ਗ੍ਰਾਫ਼ ਬਣਦਾ ਹੈ। ਕੋਈ ਸਵੈ-ਸੰਬੰਧ ਮੌਜੂਦ ਨਹੀਂ ਹੁੰਦਾ।
ਇਸ ਬਣਤਰ ਦੀ ਖ਼ੂਬਸੂਰਤੀ ਇਸ ਦੇ ਊਰਜਾ ਫੰਕਸ਼ਨ ਵਿੱਚ ਹੈ। ਹੌਪਫੀਲਡ ਨੇ ਸਾਬਤ ਕੀਤਾ ਕਿ ਉਸ ਦੇ ਨੈੱਟਵਰਕ ਨਾਲ ਇੱਕ ਲਿਆਪੁਨੋਵ ਊਰਜਾ ਫੰਕਸ਼ਨ ਜੁੜਿਆ ਹੁੰਦਾ ਹੈ:
E = −½ Σᵢ Σⱼ wᵢⱼ sᵢ sⱼ − Σᵢ θᵢ sᵢ
ਹਰ ਨਿਊਰੌਨ ਦੇ ਅੱਪਡੇਟ ਨਾਲ ਇਸ ਊਰਜਾ ਦਾ ਘਟਣਾ (ਜਾਂ ਜਿੰਨੀ ਦੀ ਤਿੰਨੀ ਰਹਿਣਾ) ਯਕੀਨੀ ਹੈ। ਨੈੱਟਵਰਕ ਹਮੇਸ਼ਾ ਇੱਕ ਥਾਂ ਆ ਕੇ ਟਿਕ ਜਾਂਦਾ ਹੈ: ਨਾ ਇਹ ਬੇਅੰਤ ਡੋਲਦਾ ਰਹਿੰਦਾ ਹੈ, ਨਾ ਖਿੱਲਰਦਾ ਹੈ, ਨਾ ਹੀ ਕਦੇ ਅਨੰਤ ਗਣਨਾ ਦੇ ਚੱਕਰਾਂ ਵਿੱਚ ਫਸਦਾ ਹੈ। ਇਹ ਟਿਕ ਜਾਂਦਾ ਹੈ। ਬਰੱਕ ਨੇ 1990 ਵਿੱਚ ਸਾਬਤ ਕੀਤਾ ਕਿ ਟਿਕਣ ਦਾ ਇਹ ਵਤੀਰਾ ਸੰਬੰਧਿਤ ਗ੍ਰਾਫ਼ ਦੇ ਕੱਟਾਂ ਨਾਲ ਜੁੜਦਾ ਹੈ: ਨੈੱਟਵਰਕ ਹਰ ਅੱਪਡੇਟ ਪੜਾਅ ਉੱਤੇ ਅਸਲ ਵਿੱਚ ਮੈਕਸ-ਕੱਟ ਸਮੱਸਿਆ ਲਈ ਇੱਕ ਲਾਲਚੀ (ਗ੍ਰੀਡੀ) ਐਲਗੋਰਿਦਮ ਚਲਾ ਰਿਹਾ ਹੁੰਦਾ ਹੈ।
ਅਤੇ ਜਿੱਥੇ ਨੈੱਟਵਰਕ ਟਿਕਦਾ ਹੈ, ਉੱਥੇ ਹੀ ਬੁੱਧੀ ਵੱਸਦੀ ਹੈ। ਸਟੋਰ ਕੀਤੇ ਪੈਟਰਨ ਊਰਜਾ ਫੰਕਸ਼ਨ ਦੇ ਸਥਾਨਕ ਨਿਊਨਤਮ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ, ਯਾਨੀ ਊਰਜਾ ਦੇ ਭੂ-ਦ੍ਰਿਸ਼ ਦੀਆਂ ਘਾਟੀਆਂ ਨਾਲ। ਜਦੋਂ ਤੁਸੀਂ ਨੈੱਟਵਰਕ ਨੂੰ ਕਿਸੇ ਸਟੋਰ ਕੀਤੇ ਪੈਟਰਨ ਦਾ ਵਿਗੜਿਆ, ਸ਼ੋਰ ਵਾਲਾ ਜਾਂ ਅਧੂਰਾ ਰੂਪ ਦਿੰਦੇ ਹੋ, ਤਾਂ ਗਤੀਸ਼ੀਲਤਾ ਨੈੱਟਵਰਕ ਦੀ ਅਵਸਥਾ ਨੂੰ ਢਲਾਣ ਵੱਲ ਰੋੜ੍ਹਦੀ ਹੈ, ਜਦੋਂ ਤੱਕ ਉਹ ਸਭ ਤੋਂ ਨੇੜਲੀ ਘਾਟੀ ਵਿੱਚ ਨਹੀਂ ਡਿੱਗ ਪੈਂਦੀ: ਯਾਨੀ ਉਹ ਸਟੋਰ ਕੀਤਾ ਪੈਟਰਨ ਜੋ ਇਨਪੁੱਟ ਨਾਲ ਸਭ ਤੋਂ ਵਧੀਆ ਮੇਲ ਖਾਂਦਾ ਹੈ।
ਇੱਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਦਾ ਊਰਜਾ ਭੂ-ਦ੍ਰਿਸ਼। ਹਰ ਘਾਟੀ (ਸਥਾਨਕ ਨਿਊਨਤਮ) ਇੱਕ ਸਟੋਰ ਕੀਤੀ ਯਾਦ ਦੇ ਪੈਟਰਨ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ। ਕਿਸੇ ਵੀ ਸ਼ੁਰੂਆਤੀ ਅਵਸਥਾ ਤੋਂ ਸ਼ੁਰੂ ਹੋ ਕੇ, ਨੈੱਟਵਰਕ ਦੀ ਗਤੀਸ਼ੀਲਤਾ "ਢਲਾਣ ਵੱਲ" ਰੁੜ੍ਹਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਉਹ ਸਭ ਤੋਂ ਨੇੜਲੇ ਆਕਰਸ਼ਕ ਵਿੱਚ ਟਿਕ ਨਹੀਂ ਜਾਂਦੀ, ਅਤੇ ਅਧੂਰੇ ਜਾਂ ਸ਼ੋਰ ਵਾਲੇ ਇਨਪੁੱਟ ਵਿੱਚੋਂ ਪੂਰਾ ਪੈਟਰਨ ਮੁੜ ਹਾਸਲ ਕਰ ਲੈਂਦੀ ਹੈ।
ਇਹ ਹੈ ਸਮੱਗਰੀ-ਪਤਾ-ਯੋਗ ਸਹਿਚਾਰੀ ਯਾਦਦਾਸ਼ਤ ਯਾਨੀ ਅਧੂਰੇ ਸੰਕੇਤਾਂ ਤੋਂ ਪੂਰੀਆਂ ਯਾਦਾਂ ਨੂੰ ਮੁੜ ਯਾਦ ਕਰ ਲੈਣ ਦੀ ਸਮਰੱਥਾ, ਜੋ ਜੈਵਿਕ ਦਿਮਾਗ਼ ਬਿਨਾਂ ਕਿਸੇ ਮਿਹਨਤ ਦੇ ਕਰ ਲੈਂਦੇ ਹਨ, ਪਰ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਹਿੰਗੀ ਗਣਨਾ ਰਾਹੀਂ ਸਿਰਫ਼ ਲਗਭਗ ਹੀ ਕਰ ਪਾਉਂਦੇ ਹਨ।
ਭੌਤਿਕ ਵਿਗਿਆਨ ਨਾਲ ਇਸ ਦਾ ਰਿਸ਼ਤਾ ਬਹੁਤ ਡੂੰਘਾ ਹੈ। ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਗਣਿਤਿਕ ਤੌਰ ਉੱਤੇ ਇੱਕ ਆਈਜ਼ਿੰਗ ਮਾਡਲ ਦੇ ਬਰਾਬਰ ਹੈ, ਉਹੀ ਢਾਂਚਾ ਜੋ ਸਾਂਖਿਅਕੀ ਯੰਤਰਿਕੀ ਵਿੱਚ ਚੁੰਬਕਤਾ ਨੂੰ ਬਿਆਨ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। 1975 ਵਿੱਚ ਛਪਿਆ ਸ਼ੈਰਿੰਗਟਨ-ਕਿਰਕਪੈਟਰਿਕ ਸਪਿਨ ਗਲਾਸ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਬੇਤਰਤੀਬੇ ਵਜ਼ਨਾਂ ਵਾਲਾ ਇੱਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਹੀ ਹੈ। ਹੌਪਫੀਲਡ ਦੀ ਸੂਝ ਇਹ ਸੀ ਕਿ ਇਸ ਗੁਣ ਦਾ ਜਾਣ-ਬੁੱਝ ਕੇ ਫ਼ਾਇਦਾ ਉਠਾਇਆ ਜਾਵੇ, ਅਤੇ ਊਰਜਾ ਦੇ ਭੂ-ਦ੍ਰਿਸ਼ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਘੜਿਆ ਜਾਵੇ ਕਿ ਹਰ ਨਿਊਨਤਮ ਕਿਸੇ ਕੰਮ ਦੇ ਸਟੋਰ ਕੀਤੇ ਪੈਟਰਨ ਨਾਲ ਮੇਲ ਖਾਵੇ।
ਹੈਬੀਅਨ ਸਿਖਲਾਈ: ਜੋ ਨਿਊਰੌਨ ਇਕੱਠੇ ਫਾਇਰ ਕਰਦੇ ਹਨ, ਉਹ ਇਕੱਠੇ ਜੁੜਦੇ ਹਨ
ਜਿਸ ਸਿਖਲਾਈ ਨਿਯਮ ਕਰਕੇ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਕੰਮ ਕਰਦੇ ਹਨ, ਉਸ ਦੀਆਂ ਜੜ੍ਹਾਂ ਹੋਰ ਵੀ ਪਿੱਛੇ, ਡੋਨਾਲਡ ਹੈਬ ਦੀ 1949 ਦੀ ਕਿਤਾਬ The Organization of Behavior ਤੱਕ ਜਾਂਦੀਆਂ ਹਨ, ਜਿਸ ਨੇ ਉਹ ਸਿਧਾਂਤ ਪੇਸ਼ ਕੀਤਾ ਜਿਸ ਨੂੰ ਅੱਜ ਨਿਊਰਲ ਸਿਖਲਾਈ ਸਿਧਾਂਤ ਦੀ ਬੁਨਿਆਦ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
ਹੈਬ ਦੀ ਸੂਝ ਦੇਖਣ ਨੂੰ ਬਹੁਤ ਸਰਲ ਸੀ: ਜਦੋਂ ਕੋਈ ਪ੍ਰੀ-ਸਿਨੈਪਟਿਕ ਸੈੱਲ ਵਾਰ-ਵਾਰ ਅਤੇ ਲਗਾਤਾਰ ਕਿਸੇ ਪੋਸਟ-ਸਿਨੈਪਟਿਕ ਸੈੱਲ ਨੂੰ ਫਾਇਰ ਕਰਨ ਵਿੱਚ ਹਿੱਸਾ ਪਾਉਂਦਾ ਹੈ, ਤਾਂ ਉਨ੍ਹਾਂ ਦਰਮਿਆਨ ਸਿਨੈਪਟਿਕ ਜੋੜ ਮਜ਼ਬੂਤ ਹੋ ਜਾਂਦਾ ਹੈ। "ਜੋ ਨਿਊਰੌਨ ਇਕੱਠੇ ਫਾਇਰ ਕਰਦੇ ਹਨ, ਉਹ ਇਕੱਠੇ ਜੁੜਦੇ ਹਨ" ਹਾਲਾਂਕਿ ਹੈਬ ਆਪ ਇਸ ਤੋਂ ਵੱਧ ਸਟੀਕ ਸੀ, ਉਸ ਨੇ ਜ਼ੋਰ ਦਿੱਤਾ ਕਿ ਸੈੱਲ A ਨੂੰ ਸੈੱਲ B ਦੇ ਫਾਇਰ ਕਰਨ ਦਾ ਕਾਰਨ ਬਣਨ ਵਿੱਚ ਹਿੱਸਾ ਪਾਉਣਾ ਪੈਂਦਾ ਹੈ, ਸਿਰਫ਼ ਉਸੇ ਵੇਲੇ ਫਾਇਰ ਕਰਨਾ ਕਾਫ਼ੀ ਨਹੀਂ। ਸਮੇਂ ਦੀ ਇਸ ਕਾਰਜ-ਕਾਰਨ ਲੜੀ ਨੇ ਉਸ ਦੀ ਪੂਰਵ-ਝਲਕ ਦਿੱਤੀ ਜਿਸ ਨੂੰ ਅੱਜ ਸਪਾਈਕ-ਟਾਈਮਿੰਗ-ਨਿਰਭਰ ਪਲਾਸਟਿਸਿਟੀ (STDP) ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਦੀ ਪੁਸ਼ਟੀ ਦਹਾਕਿਆਂ ਬਾਅਦ ਪ੍ਰਯੋਗਾਂ ਨਾਲ ਹੋਈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਏਰਿਕ ਕੈਂਡਲ ਦੀ ਸਮੁੰਦਰੀ ਸਲੱਗ Aplysia californica.
ਹੈਬੀਅਨ ਸਿਖਲਾਈ (Hebbian learning): ਜਦੋਂ ਦੋ ਜੁੜੇ ਹੋਏ ਨਿਊਰੋਨ ਵਾਰ-ਵਾਰ ਇਕੱਠੇ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਵਿਚਕਾਰਲਾ ਸਿਨੈਪਸ ਮਜ਼ਬੂਤ ਹੋ ਜਾਂਦਾ ਹੈ। "ਜੋ ਨਿਊਰੋਨ ਇਕੱਠੇ ਫਾਇਰ ਕਰਦੇ ਹਨ, ਉਹ ਇਕੱਠੇ ਜੁੜ ਜਾਂਦੇ ਹਨ" ਵਾਲਾ ਇਹ ਸਿਧਾਂਤ ਇਸ ਗੱਲ ਦੀ ਜੈਵਿਕ ਬੁਨਿਆਦ ਹੈ ਕਿ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਪੈਟਰਨ ਕਿਵੇਂ ਸਾਂਭਦੇ ਹਨ।
ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਵਿੱਚ ਹੈਬੀਅਨ ਸਿਖਲਾਈ ਇਸ ਤਰ੍ਹਾਂ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ:
wᵤᵥ = (1/N) Σₗ sᵤ(l) · sᵥ(l) ਸਾਰੇ ਸੰਭਾਲੇ ਹੋਏ ਪੈਟਰਨਾਂ l ਲਈ, ਜਿੱਥੇ u ≠ v
ਜਦੋਂ ਕਿਸੇ ਪੈਟਰਨ ਵਿੱਚ ਦੋ ਨਿਊਰੋਨਾਂ ਦੀ ਅਵਸਥਾ ਇੱਕੋ ਜਿਹੀ ਹੋਵੇ (ਦੋਵੇਂ +1 ਜਾਂ ਦੋਵੇਂ −1), ਤਾਂ ਉਨ੍ਹਾਂ ਦਾ ਗੁਣਨਫਲ ਸਕਾਰਾਤਮਕ ਹੁੰਦਾ ਹੈ ਅਤੇ ਉਤੇਜਕ ਜੋੜ ਹੋਰ ਮਜ਼ਬੂਤ ਹੁੰਦਾ ਹੈ। ਜਦੋਂ ਉਹ ਇੱਕ-ਦੂਜੇ ਨਾਲ ਅਸਹਿਮਤ ਹੋਣ, ਤਾਂ ਗੁਣਨਫਲ ਨਕਾਰਾਤਮਕ ਹੁੰਦਾ ਹੈ ਅਤੇ ਰੋਕਣ ਵਾਲਾ ਜੋੜ ਬਣਦਾ ਹੈ। ਇਨ੍ਹਾਂ ਸਾਰਿਆਂ ਦਾ ਜੋੜਵਾਂ ਅਸਰ ਇੱਕ ਊਰਜਾ ਦਾ ਭੂ-ਦ੍ਰਿਸ਼ ਘੜਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਹਰ ਸੰਭਾਲੇ ਹੋਏ ਪੈਟਰਨ ਦੀ ਥਾਂ ਇੱਕ ਘਾਟੀ ਬਣ ਜਾਂਦੀ ਹੈ।
ਹੈਬੀਅਨ ਨਿਯਮ ਸਥਾਨਕ ਹੈ (ਹਰ ਭਾਰ ਦੀ ਅੱਪਡੇਟ ਸਿਰਫ਼ ਉਸੇ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ ਜੋ ਦੋ ਜੁੜੇ ਨਿਊਰੋਨਾਂ ਕੋਲ ਹੁੰਦੀ ਹੈ) ਅਤੇ ਵਾਧੇ ਵਾਲਾ ਹੈ (ਪੁਰਾਣੇ ਪੈਟਰਨਾਂ ਨੂੰ ਮੁੜ ਪ੍ਰੋਸੈਸ ਕੀਤੇ ਬਿਨਾਂ ਨਵੇਂ ਪੈਟਰਨ ਸਾਂਭੇ ਜਾ ਸਕਦੇ ਹਨ)। ਹੈਰਾਨੀ ਦੀ ਗੱਲ ਹੈ ਕਿ ਗਣਿਤ ਦੇ ਜ਼ਰੀਏ ਇਹ ਸਾਬਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਕਿ ਹੈਬੀਅਨ ਸਿਖਲਾਈ ਬਿਨਾਂ ਨਿਗਰਾਨੀ ਦੇ ਪ੍ਰਧਾਨ ਘਟਕ ਵਿਸ਼ਲੇਸ਼ਣ (PCA) ਕਰਦੀ ਹੈ, ਯਾਨੀ ਨੈੱਟਵਰਕ ਆਪਣੇ ਆਪ ਹੀ ਆਪਣੇ ਇਨਪੁਟ ਡੇਟਾ ਵਿੱਚੋਂ ਅੰਕੜਿਆਂ ਪੱਖੋਂ ਸਭ ਤੋਂ ਅਹਿਮ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਕੱਢ ਲੈਂਦਾ ਹੈ।
1997 ਵਿੱਚ ਐਮੋਸ ਸਟੋਰਕੀ (Amos Storkey) ਨੇ ਸਿਖਲਾਈ ਦਾ ਇੱਕ ਸੁਧਰਿਆ ਹੋਇਆ ਨਿਯਮ ਪੇਸ਼ ਕੀਤਾ, ਜੋ ਹਰ ਨਿਊਰੋਨ ਦੇ ਸਥਾਨਕ ਖੇਤਰ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦਾ ਹੈ ਅਤੇ ਆਮ ਹੈਬੀਅਨ ਸਿਖਲਾਈ ਨਾਲੋਂ ਵੱਧ ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਹਾਸਲ ਕਰਦਾ ਹੈ। ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਇੱਕੋ ਬਣਤਰ ਦੇ ਅੰਦਰ ਵੀ ਸਿਖਲਾਈ ਦੇ ਐਲਗੋਰਿਦਮ ਦੀ ਚੋਣ ਬਹੁਤ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ, ਅਤੇ ਇਹ ਗੱਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਖੋਜ ਦੇ ਵਡੇਰੇ ਸਬਕ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ।
ਵੱਡੀ ਸਫ਼ਲਤਾ: "Hopfield Networks is All You Need"
2020 ਵਿੱਚ ਜੋਹਾਨਸ ਕੈਪਲਰ ਯੂਨੀਵਰਸਿਟੀ ਲਿਨਜ਼ (Johannes Kepler University Linz) ਵਿਖੇ ਹਿਊਬਰਟ ਰਾਮਸਾਉਅਰ (Hubert Ramsauer) ਦੀ ਅਗਵਾਈ ਹੇਠ ਇੱਕ ਟੀਮ ਨੇ ਇੱਕ ਖੋਜ-ਪੱਤਰ ਛਾਪਿਆ, ਜਿਸਦਾ ਸ਼ਰਾਰਤੀ ਸਿਰਲੇਖ ਟਰਾਂਸਫਾਰਮਰ ਦੀ ਜਨਮ-ਕਹਾਣੀ ਵਾਲੇ ਪਰਚੇ ਦੀ ਗੂੰਜ ਹੈ: "Hopfield Networks is All You Need." ਉਨ੍ਹਾਂ ਦਾ ਯੋਗਦਾਨ ਉਸ ਗੱਲ ਦਾ ਗਣਿਤਕ ਸਬੂਤ ਸੀ ਜਿਸਦਾ ਬਹੁਤਿਆਂ ਨੂੰ ਸ਼ੱਕ ਸੀ: ਟਰਾਂਸਫਾਰਮਰਾਂ ਦੀ ਸਵੈ-ਧਿਆਨ (self-attention) ਵਿਧੀ ਇੱਕ ਆਧੁਨਿਕ ਨਿਰੰਤਰ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਦਾ ਬਿਲਕੁਲ ਅੱਪਡੇਟ ਨਿਯਮ ਹੈ।
ਆਧੁਨਿਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਅਤੇ ਟਰਾਂਸਫਾਰਮਰ ਦੇ ਧਿਆਨ (attention) ਵਿਚਕਾਰ ਸਬੰਧ। ਟਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ softmax ਉੱਤੇ ਆਧਾਰਿਤ ਧਿਆਨ ਵਿਧੀ, ਘਾਤ-ਅੰਕੀ ਊਰਜਾ ਫੰਕਸ਼ਨ ਵਾਲੇ ਨਿਰੰਤਰ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਦੇ ਇੱਕ ਅੱਪਡੇਟ ਕਦਮ ਦੇ ਗਣਿਤਕ ਤੌਰ 'ਤੇ ਬਰਾਬਰ ਹੈ। ਚਿੱਤਰ: Ramsauer et al., "Hopfield Networks is All You Need."
ਇਹ ਸਿਰਫ਼ ਕੋਈ ਮਿਸਾਲ ਜਾਂ ਸਮਾਨਤਾ ਨਹੀਂ ਸੀ। ਟੀਮ ਨੇ ਦਿਖਾਇਆ ਕਿ ਜੇ ਪੁਰਾਣੇ ਹੌਪਫੀਲਡ ਊਰਜਾ ਫੰਕਸ਼ਨ ਨੂੰ ਨਿਰੰਤਰ ਅਵਸਥਾਵਾਂ ਤੱਕ ਵਧਾਇਆ ਜਾਵੇ ਅਤੇ ਘਾਤ-ਅੰਕੀ ਆਪਸੀ ਕਿਰਿਆ ਵਾਲਾ ਪਦ ਵਰਤਿਆ ਜਾਵੇ, ਤਾਂ ਅੱਪਡੇਟ ਨਿਯਮ ਇਹ ਬਣ ਜਾਂਦਾ ਹੈ:
Z = softmax(β · R Wq Wk⊤ Y⊤) Y Wk Wv
ਅਤੇ ਇਹੀ ਠੀਕ-ਠੀਕ ਟਰਾਂਸਫਾਰਮਰ ਦਾ ਧਿਆਨ ਵਾਲਾ ਫ਼ਾਰਮੂਲਾ ਹੈ। ਆਧੁਨਿਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਘਾਤ-ਅੰਕੀ ਗਿਣਤੀ ਵਿੱਚ ਪੈਟਰਨ ਸਾਂਭ ਸਕਦਾ ਹੈ (ਸਹਿਯੋਗੀ ਥਾਂ ਦੇ ਆਯਾਮ ਦੇ ਹਿਸਾਬ ਨਾਲ), ਉਨ੍ਹਾਂ ਨੂੰ ਇੱਕੋ ਅੱਪਡੇਟ ਵਿੱਚ ਮੁੜ ਹਾਸਲ ਕਰ ਲੈਂਦਾ ਹੈ, ਅਤੇ ਮੁੜ-ਪ੍ਰਾਪਤੀ ਦੀਆਂ ਗ਼ਲਤੀਆਂ ਘਾਤ-ਅੰਕੀ ਤੌਰ 'ਤੇ ਬਹੁਤ ਛੋਟੀਆਂ ਹੁੰਦੀਆਂ ਹਨ।
ਖੋਜ-ਪੱਤਰ ਨੇ ਇਸ ਆਧੁਨਿਕ ਢਾਂਚੇ ਵਿੱਚ ਊਰਜਾ ਦੇ ਨਿਊਨਤਮ ਬਿੰਦੂਆਂ ਦੀਆਂ ਤਿੰਨ ਕਿਸਮਾਂ ਦੀ ਪਛਾਣ ਕੀਤੀ: (1) ਇੱਕ ਸਮੁੱਚਾ ਸਥਿਰ ਬਿੰਦੂ ਜੋ ਸਾਰੇ ਸੰਭਾਲੇ ਹੋਏ ਪੈਟਰਨਾਂ ਦਾ ਔਸਤ ਲੈਂਦਾ ਹੈ, (2) ਅਰਧ-ਸਥਿਰ ਅਵਸਥਾਵਾਂ ਜੋ ਪੈਟਰਨਾਂ ਦੇ ਉਪ-ਸਮੂਹਾਂ ਦਾ ਔਸਤ ਲੈਂਦੀਆਂ ਹਨ, ਅਤੇ (3) ਸਥਿਰ ਬਿੰਦੂ ਜੋ ਇੱਕ-ਇੱਕ ਪੈਟਰਨ ਸਾਂਭਦੇ ਹਨ। ਹੇਠਲੀਆਂ ਪਰਤਾਂ ਦੇ ਟਰਾਂਸਫਾਰਮਰ ਹੈੱਡ ਆਮ ਤੌਰ 'ਤੇ ਸਮੁੱਚੇ ਔਸਤ ਵਾਲੀ ਵਿਵਸਥਾ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ, ਜਦਕਿ ਉੱਪਰਲੀਆਂ ਪਰਤਾਂ ਦੇ ਹੈੱਡ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕਰਨ ਅਤੇ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਅਰਧ-ਸਥਿਰ ਅਵਸਥਾਵਾਂ ਵਰਤਦੇ ਹਨ। ਇਹ ਖੋਜ ਇਸ ਗੱਲ ਦੀ ਡੂੰਘੀ ਸਮਝ ਦਿੰਦੀ ਹੈ ਕਿ ਟਰਾਂਸਫਾਰਮਰ ਉਸ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦੇ ਹੀ ਕਿਉਂ ਹਨ ਜਿਵੇਂ ਉਹ ਕਰਦੇ ਹਨ।
ਇਸਦਾ ਅਮਲੀ ਅਸਰ ਤੁਰੰਤ ਦਿਸਿਆ: ਟੀਮ ਨੇ ਜਾਰੀ ਕੀਤੀਆਂ ਹੌਪਫੀਲਡ ਲੇਅਰਾਂ (Hopfield layers)ਪਾਈਟੌਰਚ (PyTorch) ਮਾਡਿਊਲਾਂ ਵਜੋਂ ਜੋ ਪੂਲਿੰਗ ਲੇਅਰਾਂ, GRU/LSTM ਲੇਅਰਾਂ ਅਤੇ ਮਿਆਰੀ ਅਟੈਂਸ਼ਨ ਲੇਅਰਾਂ ਦੀ ਥਾਂ ਸਿੱਧੇ ਲਗਾਏ ਜਾ ਸਕਦੇ ਹਨ। ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ ਇਨ੍ਹਾਂ Hopfield ਲੇਅਰਾਂ ਨੇ ਇਮਿਊਨ ਰੈਪਰਟੌਇਰ ਵਰਗੀਕਰਨ (ਹਰ ਨਮੂਨੇ ਵਿੱਚ ਕਈ ਲੱਖ ਇੰਸਟੈਂਸਾਂ ਨਾਲ), ਮਲਟੀਪਲ ਇੰਸਟੈਂਸ ਲਰਨਿੰਗ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਅਤੇ UCI ਵਰਗੀਕਰਨ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ ਅਤਿ-ਆਧੁਨਿਕ ਨਤੀਜੇ ਹਾਸਲ ਕੀਤੇ, ਜਿੱਥੇ ਰਵਾਇਤੀ ਡੀਪ ਲਰਨਿੰਗ ਤਰੀਕੇ ਆਮ ਤੌਰ 'ਤੇ ਜੂਝਦੇ ਹਨ।
ਦਸੰਬਰ 2025 ਤੱਕ, ਮਾਸੁਮੁਰਾ ਅਤੇ ਤਾਕੀ ਦੇ NeurIPS ਪੇਪਰ ਨੇ ਹੋਰ ਅੱਗੇ ਜਾ ਕੇ ਦਿਖਾਇਆ ਕਿ "ਐਡੀਆਬੈਟਿਕ ਅਨੁਮਾਨ" ਤੋਂ ਪਰੇ ਜਾਣ 'ਤੇ ਸਾਹਮਣੇ ਆਉਂਦੀਆਂ ਹਨ ਲੁਕਵੀਆਂ ਅਵਸਥਾਵਾਂ ਜੋ Hopfield-ਟ੍ਰਾਂਸਫਾਰਮਰ ਪੱਤਰ-ਵਿਹਾਰ ਵਿੱਚ ਮੌਜੂਦ ਹਨ, ਅਤੇ ਜੋ ਡੂੰਘੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਪਰੇਸ਼ਾਨ ਕਰਨ ਵਾਲੀਆਂ ਰੈਂਕ ਕੋਲੈਪਸ ਅਤੇ ਟੋਕਨ ਇਕਸਾਰਤਾ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਅਤੇ ਉਹ ਵੀ ਬਿਨਾਂ ਕੋਈ ਸਿਖਲਾਈ ਪੈਰਾਮੀਟਰ ਜੋੜੇ ਸ਼ੁੱਧਤਾ ਵਧਾ ਕੇ।
ਵਧਦੀ ਸਹਿਮਤੀ: ਹੋਰ ਕੌਣ ਇਹੀ ਕਹਿ ਰਿਹਾ ਹੈ?
ਇਹ ਦਲੀਲ ਕਿ Hopfield ਨੈੱਟਵਰਕ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਤੋਂ ਅਗਲਾ ਪੈਰਾਡਾਈਮ ਹਨ, ਕੋਈ ਅਟਕਲ ਨਹੀਂ ਹੈ। ਵੱਡੇ ਖੋਜ ਅਦਾਰੇ ਸਰਗਰਮੀ ਨਾਲ ਇਸ ਦਿਸ਼ਾ ਵਿੱਚ ਕੰਮ ਕਰ ਰਹੇ ਹਨ, ਅਤੇ ਸਬੂਤ ਤੇਜ਼ੀ ਨਾਲ ਜਮ੍ਹਾਂ ਹੋ ਰਹੇ ਹਨ। ਇੱਥੇ ਉਹ ਮੁੱਖ ਆਵਾਜ਼ਾਂ ਅਤੇ ਪੇਪਰ ਹਨ ਜੋ ਇੱਕੋ ਨਤੀਜੇ ਵੱਲ ਇਕੱਠੇ ਹੋ ਰਹੇ ਹਨ।
IBM Research ਅਤੇ ਦਮਿਤ੍ਰੀ ਕ੍ਰੋਟੋਵ
ਜਨਵਰੀ 2025 ਵਿੱਚ, IBM Research ਨੇ ਦਮਿਤ੍ਰੀ ਕ੍ਰੋਟੋਵ ਨਾਲ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਇੰਟਰਵਿਊ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ, ਜੋ Hopfield ਦੇ ਲੰਮੇ ਸਮੇਂ ਦੇ ਸਹਿਯੋਗੀ ਅਤੇ Dense Associative Memory ਦੇ ਨਿਰਮਾਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹਨ। ਕ੍ਰੋਟੋਵ ਨੇ ਸਿੱਧੀ ਗੱਲ ਰੱਖੀ: ਕਿਉਂਕਿ Hopfield ਨੈੱਟਵਰਕ ਦਿਮਾਗ ਦੇ ਆਵਰਤੀ ਫੀਡਬੈਕ ਲੂਪਾਂ ਦੀ ਨਕਲ ਕਰਦੇ ਹਨ, ਜਦਕਿ ਮੌਜੂਦਾ AI ਮਾਡਲਾਂ ਦੇ 90% ਦਾ ਢਾਂਚਾ ਫੀਡਫਾਰਵਰਡ ਹੈ, ਇਸ ਲਈ ਇਹ "ਅੱਜ ਦੇ ਫੀਡਫਾਰਵਰਡ ਨੈੱਟਵਰਕਾਂ ਦਾ ਇੱਕ ਆਸ਼ਾਜਨਕ ਬਦਲ" ਹਨ। ਉਨ੍ਹਾਂ ਨੇ ਦੱਸਿਆ ਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਜਾਣਕਾਰੀ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਦਿਸ਼ਾ ਵਿੱਚ ਪ੍ਰੋਸੈਸ ਕਰਦੇ ਹਨ, ਅਤੇ ਜਿਵੇਂ-ਜਿਵੇਂ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਲੰਮੀਆਂ ਹੁੰਦੀਆਂ ਹਨ, ਗਣਨਾ ਦੀ ਜਟਿਲਤਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਦਿਮਾਗ ਬੀਤੀ ਜਾਣਕਾਰੀ ਦਾ ਸਾਰ ਕੱਢਣ ਅਤੇ ਉਸ ਨੂੰ ਯਾਦਦਾਸ਼ਤ ਵਿੱਚ ਸਾਂਭਣ ਲਈ ਆਵਰਤੀ ਫੀਡਬੈਕ ਲੂਪ ਵਰਤਦਾ ਹੈ। Hopfield ਨੈੱਟਵਰਕ ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦੇ ਹਨ।
ਕ੍ਰੋਟੋਵ ਨੇ Energy Transformer (NeurIPS 2023) ਬਾਰੇ ਵੀ ਦੱਸਿਆ, ਜੋ IBM Research ਅਤੇ Georgia Tech ਦਾ ਸਾਂਝਾ ਕੰਮ ਹੈ। ਇਹ ਮੌਜੂਦਾ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਉੱਤੇ ਸਿਰਫ਼ Hopfield ਦੀਆਂ ਸੂਝਾਂ ਦੀ ਪਰਤ ਨਹੀਂ ਚੜ੍ਹਾਉਂਦਾ, ਸਗੋਂ ਫੀਡਫਾਰਵਰਡ ਟ੍ਰਾਂਸਫਾਰਮਰ ਬਲਾਕਾਂ ਦੀ ਪੂਰੀ ਲੜੀ ਦੀ ਥਾਂ ਇੱਕ ਸਿੰਗਲ ਵੱਡਾ Associative Memory ਮਾਡਲ ਲੈ ਆਉਂਦਾ ਹੈ। Energy Transformer ਵਿੱਚ ਅਟੈਂਸ਼ਨ ਵਿਧੀ ਰਵਾਇਤੀ ਅਟੈਂਸ਼ਨ ਤੋਂ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਵੱਖਰੀ ਹੈ: ਇਹ ਊਰਜਾ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨ ਦੇ ਮੂਲ ਸਿਧਾਂਤਾਂ ਤੋਂ ਨਿਕਲੀ ਹੈ, ਕਿਸੇ ਫੀਡਫਾਰਵਰਡ ਪਾਈਪਲਾਈਨ ਉੱਤੇ ਟਾਕੀ ਵਾਂਗ ਨਹੀਂ ਲਾਈ ਗਈ।
🔗 IBM Research "ਦਿਮਾਗ ਤੋਂ ਪ੍ਰੇਰਿਤ AI ਐਲਗੋਰਿਦਮਾਂ ਦੀ ਖੋਜ" (ਜਨਵਰੀ 2025)
🔗 Energy Transformer arXiv:2302.07253 (NeurIPS 2023)
ਯੋਹਾਨਸ ਕੇਪਲਰ ਯੂਨੀਵਰਸਿਟੀ - ਹੋਕਰਾਈਟਰ ਦਾ ਗਰੁੱਪ
LSTM ਦੇ ਸਹਿ-ਖੋਜੀ ਸੈੱਪ ਹੋਕਰਾਈਟਰ ਨੇ ਉਸ ਟੀਮ ਦੀ ਅਗਵਾਈ ਕੀਤੀ ਜਿਸ ਨੇ "Hopfield Networks is All You Need" ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ। ਉਨ੍ਹਾਂ ਦੀ Hopfield ਲੇਅਰਾਂ ਦੀ ਰਿਪੋਜ਼ਟਰੀ ਪ੍ਰੋਡਕਸ਼ਨ-ਯੋਗ PyTorch ਮਾਡਿਊਲ ਦਿੰਦੀ ਹੈ ਜੋ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅਟੈਂਸ਼ਨ ਲੇਅਰਾਂ, ਪੂਲਿੰਗ ਲੇਅਰਾਂ ਅਤੇ ਆਵਰਤੀ ਲੇਅਰਾਂ ਦੀ ਥਾਂ ਸਿੱਧੇ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਸਹਿਯੋਗੀ ਬਲੌਗ ਪੋਸਟ ਗਣਿਤਕ ਵਿਉਤਪਤੀ ਦੀ ਪੂਰੀ ਪੜਚੋਲ ਕਰਦੀ ਹੈ, ਜੋ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ softmax ਅਟੈਂਸ਼ਨ ਫਾਰਮੂਲਾ ਆਧੁਨਿਕ Hopfield ਅੱਪਡੇਟ ਨਿਯਮ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਸੂਰਤ ਹੈ, ਅਤੇ ਇਹ ਕਿ Hopfield ਲੇਅਰਾਂ ਵਾਧੂ ਕਾਰਜਸ਼ੀਲਤਾਵਾਂ ਦਿੰਦੀਆਂ ਹਨ ਜੋ ਮਿਆਰੀ ਅਟੈਂਸ਼ਨ ਨਹੀਂ ਦੇ ਸਕਦੀ, ਜਿਵੇਂ ਸਥਿਰ ਸਿੱਖੇ ਹੋਏ ਪ੍ਰੋਟੋਟਾਈਪ ਅਤੇ ਲਚਕੀਲੀਆਂ ਸਹਿਯੋਗੀ ਯਾਦਦਾਸ਼ਤ ਸੰਰਚਨਾਵਾਂ।
🔗 Hopfield Networks is All You Need - ICLR 2021
NeurIPS 2025: Hopfield Attention Improves GPT and Vision Transformers
ਸਭ ਤੋਂ ਤਾਜ਼ਾ ਸਬੂਤ ਮਾਸੁਮੁਰਾ ਅਤੇ ਤਾਕੀ ਦੇ ਦਸੰਬਰ 2025 ਦੇ NeurIPS ਪੇਪਰ ਤੋਂ ਮਿਲਦਾ ਹੈ। ਉਨ੍ਹਾਂ ਨੇ ਦਿਖਾਇਆ ਕਿ ਮਾਡਰਨ ਹੌਪਫੀਲਡ ਅਟੈਂਸ਼ਨ (MHA) ਜੋ ਪੂਰੀ (ਗ਼ੈਰ-ਐਡੀਆਬੈਟਿਕ) ਹੌਪਫੀਲਡ ਡਾਇਨਾਮਿਕਸ ਤੋਂ ਲਏ ਗਏ ਹਿਡਨ ਸਟੇਟ ਜੋੜਦਾ ਹੈ, GPT-2 ਅਤੇ LLaMA ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਅਤੇ ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ, ਦੋਵਾਂ ਨੂੰ ਲਗਾਤਾਰ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਸੁਧਾਰ ਬਿਨਾਂ ਕਿਸੇ ਵਾਧੂ ਟ੍ਰੇਨਿੰਗ ਪੈਰਾਮੀਟਰ ਦੇ ਮਿਲੇ। ਇਸ ਤੋਂ ਵੀ ਅਹਿਮ ਗੱਲ ਇਹ ਹੈ ਕਿ MHA ਨੇ ਰੈਂਕ ਕੋਲੈਪਸ ਦੀ ਸਮੱਸਿਆ ਹੱਲ ਕੀਤੀ (ਜਿੱਥੇ ਡੂੰਘੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਵਿੱਚ ਅਟੈਂਸ਼ਨ ਮੈਟ੍ਰਿਕਸ ਵਿਗੜ ਜਾਂਦੇ ਹਨ ਅਤੇ ਸਾਰੇ ਟੋਕਨ ਇੱਕੋ ਜਿਹੀਆਂ ਪੇਸ਼ਕਾਰੀਆਂ ਵੱਲ ਸਿਮਟ ਜਾਂਦੇ ਹਨ), ਜੋ ਇੱਕ ਬੁਨਿਆਦੀ ਖ਼ਰਾਬੀ ਹੈ ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਵੱਡੇ ਪੈਮਾਨੇ ਤੱਕ ਲਿਜਾਣ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਵਿੱਚ ਰੁਕਾਵਟ ਬਣੀ ਰਹੀ ਹੈ। ਲੇਖਕਾਂ ਦਾ ਸਿੱਟਾ ਸੀ: "ਸਾਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਇਹ ਖੋਜ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਦੀ ਵਰਤੋਂ ਨਾਲ ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰਾਂ ਦੀ ਯੋਜਨਾਬੱਧ ਡਿਜ਼ਾਈਨਿੰਗ ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹੇਗੀ।"
🔗 On the Role of Hidden States of Modern Hopfield Network in Transformer arXiv:2511.20698 (NeurIPS 2025)
Nature Communications: ਜੀਵ-ਵਿਗਿਆਨਕ ਤੌਰ 'ਤੇ ਸੰਭਵ ਔਨਲਾਈਨ ਲਰਨਿੰਗ
ਮਈ 2024 ਵਿੱਚ Nature Communications ਨੇ ਸਪਾਰਸ ਕੁਆਂਟਾਈਜ਼ਡ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਉੱਤੇ ਕੰਮ ਛਾਪਿਆ, ਇੱਕ ਅਜਿਹਾ ਮਾਡਲ ਜੋ ਔਨਲਾਈਨ-ਨਿਰੰਤਰ ਹਾਲਾਤ ਵਿੱਚ ਸਥਾਨਕ ਸਿੱਖਣ ਦੇ ਨਿਯਮਾਂ ਨਾਲ ਸਿੱਖਦਾ ਹੈ, ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਜਿਵੇਂ ਜੈਵਿਕ ਦਿਮਾਗ਼ ਸਿੱਖਦੇ ਹਨ। ਇਹ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਦੀ ਇੱਕ ਬੁਨਿਆਦੀ ਕਮੀ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਗ਼ੈਰ-ਸਥਾਨਕ ਬੈਕਪ੍ਰੋਪੇਗੇਸ਼ਨ ਅਤੇ ਛਾਂਟੇ ਹੋਏ ਡੇਟਾਸੈੱਟਾਂ ਉੱਤੇ ਔਫਲਾਈਨ ਟ੍ਰੇਨਿੰਗ ਦੀ ਲੋੜ ਪੈਂਦੀ ਹੈ। ਇਹ ਪੇਪਰ ਹੌਪਫੀਲਡ-ਆਧਾਰਿਤ ਆਰਕੀਟੈਕਚਰਾਂ ਨੂੰ ਨਕਲੀ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਅਤੇ ਨਿਊਰੋਮੌਰਫਿਕ ਕੰਪਿਊਟਿੰਗ ਹਾਰਡਵੇਅਰ ਵਿਚਕਾਰ ਕੁਦਰਤੀ ਪੁਲ ਵਜੋਂ ਪੇਸ਼ ਕਰਦਾ ਹੈ।
🔗 A Sparse Quantized Hopfield Network for Online-Continual Memory Nature Communications (2024)
ਵੱਡੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਆਊਟਲਾਇਰ-ਕੁਸ਼ਲ ਹੌਪਫੀਲਡ ਲੇਅਰ
2024 ਦੇ ਇੱਕ ਪੇਪਰ ਨੇ ਵੱਡੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਵਿਹਾਰਕ ਸਮੱਸਿਆ ਨੂੰ ਸੰਬੋਧਿਤ ਕੀਤਾ: ਬੇਮਤਲਬ ਟੋਕਨਾਂ (ਡੀਲਿਮੀਟਰ, ਵਿਰਾਮ ਚਿੰਨ੍ਹ) ਵੱਲ ਅਟੈਂਸ਼ਨ ਵੰਡ ਦੇਣ ਦਾ ਰੁਝਾਨ, ਯਾਨੀ "ਨੋ-ਓਪ ਆਊਟਲਾਇਰ" ਦੀ ਸਮੱਸਿਆ। ਉਨ੍ਹਾਂ ਦਾ ਹੱਲ ਇੱਕ ਆਊਟਲਾਇਰ-ਕੁਸ਼ਲ ਹੌਪਫੀਲਡ ਊਰਜਾ ਫੰਕਸ਼ਨ ਸੀ, ਜੋ ਇਨ੍ਹਾਂ ਟੋਕਨਾਂ ਨੂੰ ਵੱਖਰਾ ਛਾਂਟ ਕੇ ਜ਼ੀਰੋ-ਊਰਜਾ ਬਿੰਦੂ ਵੱਲ ਭੇਜ ਦਿੰਦਾ ਹੈ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕੰਮ ਦੀ ਅਟੈਂਸ਼ਨ ਪਤਲੀ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ ਬਣਿਆ ਮਾਡਲ Softmax₁ ਅਟੈਂਸ਼ਨ ਨੂੰ ਇੱਕ ਖ਼ਾਸ ਸੂਰਤ ਵਜੋਂ ਆਪਣੇ ਅੰਦਰ ਸਮੇਟ ਲੈਂਦਾ ਹੈ ਅਤੇ BERT, OPT ਅਤੇ ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਉੱਤੇ ਪਰਖਿਆ ਗਿਆ। ਇਹ ਹੌਪਫੀਲਡ ਸਿਧਾਂਤ ਦੁਆਰਾ ਟ੍ਰਾਂਸਫਾਰਮਰ ਇੰਜੀਨੀਅਰਿੰਗ ਦੀਆਂ ਅਸਲ ਸਮੱਸਿਆਵਾਂ ਹੱਲ ਕਰਨ ਦੀ ਮਿਸਾਲ ਹੈ।
🔗 Outlier-Efficient Hopfield Layers for Large Transformer-Based Models (2024)
ਊਰਜਾ ਘਟਾਉਣ ਵਾਲੇ ਵਜੋਂ ਟ੍ਰਾਂਸਫਾਰਮਰ (ਜਨਵਰੀ 2026)
ਸਭ ਤੋਂ ਨਵੀਂ ਸਿਧਾਂਤਕ ਖੋਜ, ਜੋ ਜਨਵਰੀ 2026 ਵਿੱਚ ਛਪੀ, ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੇ ਪੂਰੇ ਫਾਰਵਰਡ ਪਾਸ ਨੂੰ ਅੰਦਰੂਨੀ ਊਰਜਾ ਘਟਾਉਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਜੋਂ ਪੇਸ਼ ਕਰਦੀ ਹੈ, ਅਤੇ ਇਸ ਸਵਾਲ ਦੀ ਵਿਆਖਿਆ ਲਈ ਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਖ਼ਰ ਕੰਮ ਕਿਉਂ ਕਰਦੇ ਹਨ, ਹੌਪਫੀਲਡ ਨਜ਼ਰੀਏ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਪਣਾ ਲੈਂਦੀ ਹੈ। ਇਹ ਪੇਪਰ ਸਪਾਰਸ ਮਾਡਰਨ ਹੌਪਫੀਲਡ ਮਾਡਲਾਂ ਨੂੰ ਅਟੈਂਸ਼ਨ ਦੀਆਂ ਸਾਰੀਆਂ ਕਿਸਮਾਂ (softmax, sparsemax, α-entmax) ਨਾਲ ਜੋੜਦਾ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਸਭ ਊਰਜਾ-ਆਧਾਰਿਤ ਪ੍ਰਾਪਤੀ ਗਤੀਸ਼ੀਲਤਾ ਦੀਆਂ ਖ਼ਾਸ ਸੂਰਤਾਂ ਹਨ।
🔗 Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle (ਜਨਵਰੀ 2026)
ਸਮੀਖਿਆ ਪੇਪਰ ਅਤੇ ਭਾਈਚਾਰੇ ਦੇ ਸਰੋਤ
ਵਿਆਪਕ ਖੋਜ ਭਾਈਚਾਰਾ ਇਸ ਸੰਗਮ ਦੁਆਲੇ ਇਕੱਠਾ ਹੋ ਰਿਹਾ ਹੈ:
- "Energy-Based Learning and the Evolution of Hopfield Networks" (TechRxiv, ਅਪ੍ਰੈਲ 2025) ਇੱਕ ਵਿਆਪਕ ਸਮੀਖਿਆ ਜੋ ਹੌਪਫੀਲਡ (1982) ਤੋਂ ਬੋਲਟਜ਼ਮੈਨ ਮਸ਼ੀਨਾਂ ਰਾਹੀਂ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅਟੈਂਸ਼ਨ ਦੀ ਮਾਡਰਨ ਹੌਪਫੀਲਡ ਗਤੀਸ਼ੀਲਤਾ ਵਜੋਂ ਨਵੀਂ ਵਿਆਖਿਆ ਤੱਕ ਦਾ ਪੂਰਾ ਸਫ਼ਰ ਦੱਸਦੀ ਹੈ। → ਪੇਪਰ ਪੜ੍ਹੋ
- "An Energy-Based Perspective on Attention Mechanisms in Transformers" ਇੱਕ ਡੂੰਘਾ ਤਕਨੀਕੀ ਬਲੌਗ, ਜੋ ਦਲੀਲ ਦਿੰਦਾ ਹੈ ਕਿ ਹੌਪਫੀਲਡ ਊਰਜਾ ਦੇ ਸ਼ੀਸ਼ੇ ਰਾਹੀਂ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਸਮਝਣਾ "ਇਕੱਲੇ ਪੈਮਾਨਾ ਵਧਾਉਣ ਅਤੇ ਗਣਨਾ ਦੀ ਪੇਚੀਦਗੀ ਘਟਾਉਣ ਉੱਤੇ ਨਿਰਭਰ ਰਹਿ ਕੇ ਸੰਭਵ ਸੁਧਾਰਾਂ ਤੋਂ ਗੁਣਾਤਮਕ ਤੌਰ 'ਤੇ ਵੱਖਰੇ ਸੁਧਾਰਾਂ ਵੱਲ ਲੈ ਜਾ ਸਕਦਾ ਹੈ।" → ਬਲੌਗ ਪੜ੍ਹੋ
- Awesome Modern Hopfield Networks ਮਾਡਰਨ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਬਾਰੇ 50 ਤੋਂ ਵੱਧ ਖੋਜ-ਪੱਤਰਾਂ ਦਾ ਇੱਕ ਚੁਣਿਆ ਹੋਇਆ GitHub ਰਿਪੋਜ਼ਟਰੀ ਸੰਗ੍ਰਹਿ, ਜੋ ਕਈ ਖੇਤਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ: ਸੰਪਤੀ ਵੰਡ (asset allocation), ਤਬਦੀਲੀ ਦੀ ਪਛਾਣ, ਰਚਨਾਤਮਕ ਸੋਚ ਦਾ ਪੁਨਰ-ਨਿਰਮਾਣ, ਆਊਟ-ਆਫ-ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਦੀ ਪਛਾਣ, ਇਮਿਊਨ ਰੈਪਰਟੋਆਰ ਵਰਗੀਕਰਨ ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ। → ਸੰਗ੍ਰਹਿ ਵੇਖੋ
- "Is Hopfield Networks All You Need?" (Analytics India Magazine, ਦਸੰਬਰ 2024) ਵਿਹਾਰਕ ਨਜ਼ਰੀਏ ਤੋਂ ਲਿਖੀ ਕਵਰੇਜ ਕਿ ਕਿਵੇਂ ਹੋਖਰਾਈਟਰ ਦੀ ਟੀਮ ਨੇ ਦਿਖਾਇਆ ਕਿ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ "ਅਤਿ-ਆਧੁਨਿਕ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਨਾਲ ਆਪਸ ਵਿੱਚ ਬਦਲੇ ਜਾ ਸਕਦੇ ਹਨ।" → ਲੇਖ ਪੜ੍ਹੋ
- "New Research in Hopfield Networks: A Short Intro" (Medium, ਜੁਲਾਈ 2024) ਇੱਕ ਸਰਲ ਜਾਣ-ਪਛਾਣ, ਜਿਸ ਵਿੱਚ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਐਕਸਪੋਨੈਂਸ਼ੀਅਲ ਐਕਟੀਵੇਸ਼ਨ ਫੰਕਸ਼ਨਾਂ ਰਾਹੀਂ ਸਟੋਰੇਜ ਸਮਰੱਥਾ 0.138N ਤੋਂ ਵਧ ਕੇ 2^(N/2) ਹੋ ਗਈ ਹੈ। → Medium ਉੱਤੇ ਪੜ੍ਹੋ
ਰੁਝਾਨ ਸਾਫ਼ ਹੈ। ਇਹ ਕਿਸੇ ਇੱਕ ਲੈਬ ਦਾ ਪ੍ਰਸਤਾਵ ਜਾਂ ਕਿਸੇ ਇੱਕ ਖੋਜ-ਪੱਤਰ ਦਾ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਹੈ। IBM Research, ਜੋਹਾਨਸ ਕੈਪਲਰ ਯੂਨੀਵਰਸਿਟੀ, MIT, NeurIPS, Nature Communications ਅਤੇ ਵਿਆਪਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਭਾਈਚਾਰਾ, ਵੱਖ-ਵੱਖ ਦਿਸ਼ਾਵਾਂ ਤੋਂ ਇੱਕੋ ਨਤੀਜੇ ਵੱਲ ਵਧ ਰਹੇ ਹਨ: ਹੌਪਫੀਲਡ ਵੱਲੋਂ ਸਥਾਪਤ ਊਰਜਾ-ਆਧਾਰਿਤ ਸਹਿਯੋਗੀ ਯਾਦਦਾਸ਼ਤ (associative memory) ਦਾ ਪੈਰਾਡਾਈਮ ਸਿਰਫ਼ ਉਹ ਨੀਂਹ ਨਹੀਂ ਹੈ ਜਿਸ ਉੱਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅਣਜਾਣੇ ਵਿੱਚ ਖੜ੍ਹੇ ਕੀਤੇ ਗਏ, ਸਗੋਂ ਇਹੀ ਉਹ ਢਾਂਚਾ ਹੈ ਜੋ AI ਨੂੰ ਉੱਥੇ ਤੱਕ ਲੈ ਜਾਵੇਗਾ ਜਿੱਥੇ ਇਕੱਲੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਨਹੀਂ ਪਹੁੰਚ ਸਕਦੇ।
ਹੁਣ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ: ਬਦਲਾਅ ਦੇ ਹੱਕ ਵਿੱਚ ਦਲੀਲ
ਸੁਰੱਖਿਆ-ਨਾਜ਼ੁਕ ਸਿਸਟਮਾਂ ਲਈ ਗਾਰੰਟੀਸ਼ੁਦਾ ਕਨਵਰਜੈਂਸ
ਟ੍ਰਾਂਸਫਾਰਮਰ ਨਤੀਜੇ ਤਾਂ ਦਿੰਦੇ ਹਨ, ਪਰ ਉਨ੍ਹਾਂ ਦੀ ਸਥਿਰਤਾ ਦੀ ਕੋਈ ਗਣਿਤਕ ਗਾਰੰਟੀ ਨਹੀਂ ਹੁੰਦੀ। ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਪ੍ਰਮਾਣ ਸਹਿਤ ਸਥਿਰ ਅਵਸਥਾਵਾਂ ਵੱਲ ਕਨਵਰਜ ਹੁੰਦੇ ਹਨ ਊਰਜਾ ਫੰਕਸ਼ਨ ਲਗਾਤਾਰ ਘਟਦਾ ਜਾਂਦਾ ਹੈ। ਰੋਬੋਟਿਕਸ, ਖੁਦਮੁਖਤਿਆਰ ਗੱਡੀਆਂ, ਮੈਡੀਕਲ ਉਪਕਰਨਾਂ ਅਤੇ ਹਰ ਉਸ ਸਿਸਟਮ ਲਈ ਜਿੱਥੇ ਭਰੋਸੇਯੋਗਤਾ ਨਾਲ ਕੋਈ ਸਮਝੌਤਾ ਨਹੀਂ ਹੋ ਸਕਦਾ, ਇਹ ਇੱਕ ਅਜਿਹੀ ਲੋੜ ਹੈ ਜੋ ਟ੍ਰਾਂਸਫਾਰਮਰ ਪੂਰੀ ਨਹੀਂ ਕਰ ਸਕਦੇ।
ਮੁੱਖ ਸਮਰੱਥਾ ਵਜੋਂ ਸਹਿਯੋਗੀ ਯਾਦਦਾਸ਼ਤ
ਜੇ ਤੁਸੀਂ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸਿਖਲਾਈ ਦਿਓ ਕਿ ਅਵਸਥਾ (1, −1, 1, −1, 1) ਇੱਕ ਊਰਜਾ ਨਿਊਨਤਮ ਬਣ ਜਾਵੇ, ਅਤੇ ਫਿਰ ਵਿਗੜਿਆ ਹੋਇਆ ਇਨਪੁੱਟ (1, −1, −1, −1, 1) ਦਿਓ, ਤਾਂ ਨੈੱਟਵਰਕ ਸਹੀ ਸਟੋਰ ਕੀਤੇ ਪੈਟਰਨ ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। ਇਹ ਅੰਦਾਜ਼ਾ ਜਾਂ ਇੰਟਰਪੋਲੇਸ਼ਨ ਨਹੀਂ ਲਾਉਂਦਾ, ਸਗੋਂ ਊਰਜਾ ਦੇ ਭੂ-ਦ੍ਰਿਸ਼ ਵਿੱਚ ਢਲਾਣ ਤੋਂ ਹੇਠਾਂ ਰੁੜ੍ਹਦਾ ਹੋਇਆ ਨਜ਼ਦੀਕੀ ਆਕਰਸ਼ਕ (attractor) ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। ਢਕੇ ਹੋਏ ਸੈਂਸਰਾਂ ਵਾਲੇ ਰੋਬੋਟਿਕਸ, ਸ਼ੋਰ ਵਾਲੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਦੇ ਐਂਬੈੱਡਡ ਸਿਸਟਮਾਂ ਅਤੇ ਅਧੂਰੇ ਇਨਪੁੱਟ ਤੋਂ ਪੈਟਰਨ ਪੂਰਾ ਕਰਨ ਦੀ ਲੋੜ ਵਾਲੀ ਹਰ ਵਰਤੋਂ ਲਈ, ਇਹ ਕ੍ਰਾਂਤੀਕਾਰੀ ਹੈ।
ਇੱਕ ਸਰਬ-ਵਿਆਪੀ ਓਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਇੰਜਣ
ਹੌਪਫੀਲਡ ਅਤੇ ਡੇਵਿਡ ਟੈਂਕ ਨੇ 1985 ਵਿੱਚ ਦਿਖਾਇਆ ਕਿ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਟ੍ਰੈਵਲਿੰਗ ਸੇਲਜ਼ਮੈਨ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੇ ਹਨ। ਜੇ ਕਿਸੇ ਲਾਗਤ ਫੰਕਸ਼ਨ ਨੂੰ ਹੌਪਫੀਲਡ ਊਰਜਾ ਦੇ ਰੂਪ ਵਿੱਚ ਲਿਖਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਤਾਂ ਨੈੱਟਵਰਕ ਦੇ ਸੰਤੁਲਨ ਬਿੰਦੂ ਹੀ ਹੱਲ ਹੁੰਦੇ ਹਨ। ਉਦੋਂ ਤੋਂ ਇਸ ਢਾਂਚੇ ਨੂੰ ਜੌਬ-ਸ਼ੌਪ ਸ਼ੈਡਿਊਲਿੰਗ, ਵਾਇਰਲੈੱਸ ਨੈੱਟਵਰਕਾਂ ਵਿੱਚ ਚੈਨਲ ਵੰਡ, ਚਿੱਤਰ ਬਹਾਲੀ, ਐਨਾਲਾਗ-ਟੂ-ਡਿਜੀਟਲ ਕਨਵਰਜ਼ਨ, ਮੋਬਾਈਲ ਰੂਟਿੰਗ ਅਤੇ ਕੰਬੀਨੇਟੋਰੀਅਲ ਓਪਟੀਮਾਈਜ਼ੇਸ਼ਨ ਵਿੱਚ ਵਰਤਿਆ ਜਾ ਚੁੱਕਾ ਹੈ। 2024 ਦੇ ਇੱਕ Nature Communications ਖੋਜ-ਪੱਤਰ ਨੇ Sparse Quantized Hopfield Network ਪੇਸ਼ ਕੀਤਾ, ਜੋ ਜੈਵਿਕ ਦਿਮਾਗ਼ਾਂ ਵਾਂਗ ਹੀ ਸਥਾਨਕ ਨਿਯਮਾਂ ਨਾਲ ਆਨਲਾਈਨ-ਨਿਰੰਤਰ ਯਾਦਦਾਸ਼ਤ ਸਿੱਖਣ ਲਈ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਸਮਰੱਥਾ ਜੋ ਮੂਲ ਰੂਪ ਵਿੱਚ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਕੋਲ ਨਹੀਂ ਹੈ।
ਸਾਫਟਵੇਅਰ ਤੋਂ ਬਿਨਾਂ ਸੋਚਣ ਵਾਲਾ ਹਾਰਡਵੇਅਰ
ਸਮਮਿਤੀ ਵਜ਼ਨ ਦੀ ਸ਼ਰਤ (wᵢⱼ = wⱼᵢ) ਸਿੱਧੀ ਐਨਾਲਾਗ ਇਲੈਕਟ੍ਰਾਨਿਕ ਸਰਕਟਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ, ਕਿਉਂਕਿ ਇੱਕ ਰੋਧਕ ਜੋੜ ਸੁਭਾਵਕ ਤੌਰ ਉੱਤੇ ਸਮਮਿਤ ਹੁੰਦਾ ਹੈ। ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ASIC ਜਾਂ FPGA ਵਜੋਂ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਇਨਫਰੈਂਸ ਨੈਨੋਸਕਿੰਟ ਦੇ ਪੈਮਾਨੇ ਉੱਤੇ ਹੁੰਦੀ ਹੈ। Nature ਦਾ 2025 ਦਾ ਨਿਊਰੋਮੌਰਫਿਕ ਕੰਪਿਊਟਿੰਗ ਸੰਗ੍ਰਹਿ ਇਸ ਦਿਸ਼ਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦਾ ਹੈ: ਊਰਜਾ-ਕੁਸ਼ਲ ਐਨਾਲਾਗ ਹਾਰਡਵੇਅਰ ਜੋ ਕਿਨਾਰੇ (edge) ਉੱਤੇ ਨਿਊਰਲ ਗਤੀਸ਼ੀਲਤਾ ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਕੰਟੈਂਟ-ਐਡਰੈਸੇਬਲ ਮੈਮਰੀ ਜਿਸ ਨੂੰ ਨਾ GPU ਚਾਹੀਦਾ ਹੈ, ਨਾ CPU, ਅਤੇ ਨਾ ਹੀ ਕੋਈ ਸਾਫਟਵੇਅਰ ਸਟੈਕ।
ਨਿਊਰੋਮੋਰਫਿਕ ਅਤੇ ਐਨਾਲਾਗ AI ਚਿਪਸ ਜੋ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦੀ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਸਿੱਧਾ ਹਾਰਡਵੇਅਰ ਵਿੱਚ ਲਾਗੂ ਕਰਦੇ ਹਨ। ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕਾਂ ਦੀ ਸਮਮਿਤੀ, ਊਰਜਾ-ਆਧਾਰਿਤ ਬਣਤਰ ਰੋਧਕ ਸਰਕਟਾਂ ਨਾਲ ਸੁਭਾਵਿਕ ਤੌਰ 'ਤੇ ਮੇਲ ਖਾਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਰਵਾਇਤੀ ਸੌਫ਼ਟਵੇਅਰ ਸਟੈਕਾਂ ਤੋਂ ਬਿਨਾਂ ਨੈਨੋਸਕਿੰਟ ਦੇ ਪੈਮਾਨੇ 'ਤੇ AI ਇਨਫ਼ਰੈਂਸ ਸੰਭਵ ਹੋ ਜਾਂਦੀ ਹੈ।
ਬਾਈਨਰੀ ਅਤੇ ਨਿਰੰਤਰ ਲਚੀਲਾਪਣ
ਕਲਾਸੀਕਲ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਬਾਈਨਰੀ ਨਿਊਰਾਨ (+1 ਜਾਂ −1) ਵਰਤਦੇ ਹਨ; ਨਿਰੰਤਰ ਰੂਪ ਸਿਗਮਾਇਡਲ ਐਕਟੀਵੇਸ਼ਨ ਅਤੇ ਡਿਫਰੈਂਸ਼ੀਅਲ ਸਮੀਕਰਨਾਂ ਵਰਤਦੇ ਹਨ। ਅੱਪਡੇਟ ਅਸਿੰਕ੍ਰੋਨਸ (ਇੱਕ ਸਮੇਂ ਇੱਕ ਨਿਊਰਾਨ, ਜੋ ਕਨਵਰਜੈਂਸ ਦੀ ਗਾਰੰਟੀ ਦਿੰਦਾ ਹੈ) ਜਾਂ ਸਿੰਕ੍ਰੋਨਸ (ਸਾਰੇ ਇੱਕੋ ਵਾਰ, ਜੋ ਸਮਾਨਾਂਤਰਤਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ) ਹੋ ਸਕਦੇ ਹਨ। ਇਹੀ ਆਰਕੀਟੈਕਚਰ ਕੁਝ ਕਿਲੋਬਾਈਟ RAM ਵਾਲੇ ਮਾਈਕ੍ਰੋਕੰਟਰੋਲਰ ਤੋਂ ਲੈ ਕੇ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਸਮਾਨਾਂਤਰ FPGA ਤੱਕ ਢਲ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਹੁਣ ਆਧੁਨਿਕ ਹੌਪਫੀਲਡ ਲੇਅਰਾਂ ਨਾਲ GPU-ਤੇਜ਼ ਡੀਪ ਲਰਨਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਤੱਕ ਵੀ।
ਸਟੋਰੇਜ ਸਮਰੱਥਾ: ਇੱਕ ਇਮਾਨਦਾਰ ਸੀਮਾ
ਕਲਾਸੀਕਲ ਸੀਮਾ ਸਾਫ਼ ਹੈ: N ਨਿਊਰਾਨਾਂ ਵਾਲਾ ਨੈੱਟਵਰਕ ਨਕਲੀ ਅਵਸਥਾਵਾਂ ਦੇ ਰਿਟ੍ਰੀਵਲ ਨੂੰ ਵਿਗਾੜਨ ਤੋਂ ਪਹਿਲਾਂ ਲਗਭਗ 0.138N ਪੈਟਰਨ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਸਟੋਰ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਇੱਕ ਅਸਲੀ ਸੀਮਾ ਹੈ, ਪਰ ਇੱਕ ਇਮਾਨਦਾਰ ਸੀਮਾ ਹੈ। ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਕੋਲ ਇਸ ਗੱਲ ਦੀ ਕੋਈ ਸਾਫ਼ ਗਣਿਤਕ ਹੱਦ ਨਹੀਂ ਕਿ ਉਹ ਕਦੋਂ ਭਰਮ (hallucination) ਪੈਦਾ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦੇਣਗੇ।
ਇਸ ਤੋਂ ਇਲਾਵਾ, ਆਧੁਨਿਕ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ (Krotov & Hopfield, 2016; Demircigil et al., 2017) ਉੱਚ-ਕ੍ਰਮ ਦੇ ਪਰਸਪਰ ਕਿਰਿਆ ਪਦਾਂ ਰਾਹੀਂ ਘਾਤਾਂਕੀ ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਹਾਸਲ ਕਰਦੇ ਹਨ। ਖੋਜ ਇਹਨਾਂ ਹੱਦਾਂ ਨੂੰ ਲਗਾਤਾਰ ਵਧਾ ਰਹੀ ਹੈ: ਸਪਾਰਸ ਅਤੇ ਸੰਰਚਿਤ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ, ਲੰਬੇ-ਕ੍ਰਮ ਵਾਲੀ ਹੌਪਫੀਲਡ ਮੈਮੋਰੀ, ਅਤੇ ਸੰਪਤੀ ਵੰਡ (asset allocation) ਲਈ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ, ਇਹ ਸਭ ਵਿਕਾਸ ਦੇ ਸਰਗਰਮ ਖੇਤਰ ਹਨ, ਅਤੇ ਇਹਨਾਂ ਬਾਰੇ ਪੇਪਰ ਤੇਜ਼ੀ ਨਾਲ ਜਮ੍ਹਾਂ ਹੋ ਰਹੇ ਹਨ।
ਵਿਹਾਰਕ ਤਾਇਨਾਤੀ: ਪੀਸੀ ਤੋਂ ਸਰਕਟਾਂ ਤੱਕ
ਸ਼ੁਰੂਆਤੀ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਖੋਜਕਾਰਾਂ ਦਾ ਮੂਲ ਸੁਪਨਾ ਸਾਫ਼ ਸੀ: ਇੱਕ ਅਜਿਹਾ ਢਾਂਚਾ ਜਿਸਨੂੰ ਇੱਕ ਵਾਰ ਵਰਣਨ ਕੀਤਾ ਜਾਵੇ ਅਤੇ ਹਰ ਥਾਂ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾ ਸਕੇ। ਹੌਪਫੀਲਡ ਦਾ ਆਰਕੀਟੈਕਚਰ ਇਸਨੂੰ ਸੱਚ ਕਰ ਦਿਖਾਉਂਦਾ ਹੈ:
ਕੰਪਿਊਟਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਇੱਕ ਵਜ਼ਨ ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਇੱਕ ਅੱਪਡੇਟ ਨਿਯਮ। GPU ਦੀ ਲੋੜ ਨਹੀਂ।
ਇੰਟਰਨੈੱਟ ਐਪਲੀਕੇਸ਼ਨਾਂ ਸਮਾਨਤਾ ਖੋਜ, ਸਿਫ਼ਾਰਸ਼ ਅਤੇ ਡੁਪਲੀਕੇਟ ਹਟਾਉਣ ਲਈ ਸਮੱਗਰੀ-ਪਤਾ-ਯੋਗ ਮੈਮੋਰੀ (content-addressable memory)।
ਰੋਬੋਟਿਕਸ ਰੀਅਲ-ਟਾਈਮ ਕੰਟਰੋਲ ਲੂਪਾਂ ਲਈ ਕਨਵਰਜੈਂਸ ਦੀ ਗਾਰੰਟੀ। ਮੋਟਰ ਪੈਟਰਨ ਐਟ੍ਰੈਕਟਰਾਂ ਵਜੋਂ ਸਟੋਰ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਸ਼ੋਰ ਵਾਲੇ ਸੈਂਸਰ ਇਨਪੁੱਟ ਤੋਂ ਵੀ ਯਾਦ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।
ਏਮਬੈੱਡਡ ਸਿਸਟਮ ਬਾਈਨਰੀ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਸਿਰਫ਼ ਪੂਰਨ ਅੰਕ ਗਣਿਤ ਨਾਲ ਮਾਈਕ੍ਰੋਕੰਟਰੋਲਰਾਂ 'ਤੇ ਚੱਲਦੇ ਹਨ।
ਇਲੈਕਟ੍ਰਾਨਿਕ ਸਰਕਟ ਸਮਮਿਤੀ ਵਜ਼ਨ ਰੋਧਕ ਨੈੱਟਵਰਕਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ। ਬੁੱਧੀ ਸਿੱਧੀ ਸਿਲੀਕਾਨ ਵਿੱਚ ਘੜੀ ਜਾਂਦੀ ਹੈ।
ਅੱਗੇ ਦਾ ਰਾਹ
ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੌਰ ਨੇ ਸਾਨੂੰ ਕਮਾਲ ਦੀਆਂ ਭਾਸ਼ਾਈ ਮਸ਼ੀਨਾਂ ਦਿੱਤੀਆਂ। ਪਰ ਹੁਣ ਸਰਹੱਦ ਭੌਤਿਕ ਸੰਸਾਰ ਵੱਲ ਫੈਲ ਰਹੀ ਹੈ: ਰੋਬੋਟ, ਸੈਂਸਰ, ਐਕਚੁਏਟਰ ਅਤੇ ਰੀਅਲ-ਟਾਈਮ ਫ਼ੈਸਲੇ। ਇਹ ਸਰਹੱਦ ਅਜਿਹੇ ਆਰਕੀਟੈਕਚਰ ਮੰਗਦੀ ਹੈ ਜੋ ਸਥਿਰ, ਕੁਸ਼ਲ, ਸਮਝਣਯੋਗ ਹੋਣ, ਅਤੇ ਉਸ ਹਾਰਡਵੇਅਰ 'ਤੇ ਤਾਇਨਾਤ ਹੋ ਸਕਣ ਜੋ ਸੱਚਮੁੱਚ ਕਿਨਾਰੇ (edge) 'ਤੇ ਮੌਜੂਦ ਹੈ।
2020 ਦਾ ਇਹ ਸਬੂਤ ਕਿ ਟ੍ਰਾਂਸਫਾਰਮਰ ਅਟੈਂਸ਼ਨ ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਆਧੁਨਿਕ ਹੌਪਫੀਲਡ ਅੱਪਡੇਟ ਨਿਯਮ ਹੈ ਸਿਰਫ਼ ਇੱਕ ਗਣਿਤਕ ਕੌਤਕ ਨਹੀਂ ਸੀ; ਇਸਨੇ ਦਿਖਾਇਆ ਕਿ ਅਸੀਂ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਹੌਪਫੀਲਡ ਨੈੱਟਵਰਕ ਵਰਤਦੇ ਆ ਰਹੇ ਹਾਂ, ਬੱਸ ਇੱਕ ਅਜਿਹੇ ਢਾਂਚੇ ਵਿੱਚ ਲਪੇਟ ਕੇ ਜਿਸਨੇ ਉਹਨਾਂ ਦੀ ਅਸਲੀ ਪ੍ਰਕਿਰਤੀ ਨੂੰ ਲੁਕਾ ਰੱਖਿਆ ਸੀ। 2025 ਦੇ NeurIPS ਕੰਮ ਨੇ ਦਿਖਾਇਆ ਕਿ ਹੌਪਫੀਲਡ ਹਿਡਨ ਸਟੇਟ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀਆਂ ਰੋਗ-ਅਵਸਥਾਵਾਂ, ਜਿਵੇਂ ਰੈਂਕ ਕੋਲੈਪਸ, ਨੂੰ ਹੱਲ ਕਰਦੇ ਹਨ। ਇਹ ਅਗਲਾ ਕਦਮ ਸੁਝਾਉਂਦਾ ਹੈ: ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਹੌਪਫੀਲਡ ਦੀਆਂ ਸੂਝਾਂ ਨਾਲ ਜੋੜ-ਤੋੜ ਕੇ ਠੀਕ ਕਰਨਾ ਨਹੀਂ, ਸਗੋਂ ਸਿੱਧਾ ਹੌਪਫੀਲਡ ਪੈਰਾਡਾਈਮ ਉੱਤੇ ਹੀ ਉਸਾਰੀ ਕਰਨਾ।
ਜੌਨ ਹੌਪਫੀਲਡ ਨੇ 1982 ਵਿੱਚ ਸਾਨੂੰ ਰਾਹ ਦਿਖਾਇਆ ਸੀ। ਡੋਨਾਲਡ ਹੈੱਬ ਨੇ 1949 ਵਿੱਚ ਜੀਵ-ਵਿਗਿਆਨਕ ਨੀਂਹ ਰੱਖੀ ਸੀ। ਖੋਜ ਭਾਈਚਾਰਾ ਹੁਣ ਇਸੇ ਵੱਲ ਇਕੱਠਾ ਹੋ ਰਿਹਾ ਹੈ।
ਹੁਣ ਬਦਲਣ ਦਾ ਵੇਲਾ ਆ ਗਿਆ ਹੈ।
ਹਵਾਲੇ
- Hopfield, J.J. (1982). "Neural networks and physical systems with emergent collective computational abilities." PNAS, 79(8), 2554–2558.
- Hebb, D.O. (1949). The Organization of Behavior। Wiley।
- Ramsauer, H. et al. (2020). "Hopfield Networks is All You Need." ICLR 2021. arXiv:2008.02217
- Krotov, D. & Hopfield, J.J. (2016). "Dense Associative Memory for Pattern Recognition." NeurIPS.
- Storkey, A. (1997). "Increasing the capacity of a Hopfield network without sacrificing functionality." ICANN.
- Hoover, B., Krotov, D. et al. (2023). "Energy Transformer." NeurIPS 2023. arXiv:2302.07253
- Masumura, T. & Taki, M. (2025). "On the Role of Hidden States of Modern Hopfield Network in Transformer." NeurIPS 2025. arXiv:2511.20698
- Alonso, N. & Krichmar, J. (2024). "A sparse quantized Hopfield network for online-continual memory." Nature Communications, 15, 3722. nature.com
- Hu, J.Y. et al. (2024). "Outlier-Efficient Hopfield Layers for Large Transformer-Based Models." arXiv:2404.03828
- Hu, J.Y. et al. (2026). "Transformers as Intrinsic Optimizers: Forward Inference through the Energy Principle." arXiv:2511.00907
- Hopfield, J.J. & Tank, D.W. (1985). "'Neural' Computation of Decisions in Optimization Problems." Biological Cybernetics, 52, 141–152.
- Bruck, J. (1990). "On the convergence properties of the Hopfield model." Proceedings of the IEEE.
- Krotov, D. (2025). "Searching for brain-inspired AI algorithms." IBM Research Blog. research.ibm.com
- "Energy-Based Learning and the Evolution of Hopfield Networks." TechRxiv, ਅਪ੍ਰੈਲ 2025। techrxiv.org
