انتباه (تعلم الآلة)

الانتباه القائم على تعلم الآلة هو آلية تحاكي الانباه. يقوم بحساب الأوزان "الناعمة" لكل كلمة، وبشكل أكثر دقة لتضمينها ، في نافذة السياق . ويمكنه القيام بذلك إما بالتوازي (كما هو الحال في المُحوِّلات ) أو بالتسلسل (مثل الشبكات العصبية المتكررة ). يمكن أن تتغير الأوزان "الناعمة" خلال كل وقت تشغيل، على عكس الأوزان «الصلبة»، التي تُدرّب (مسبقًا) وتُضبط بدقة وتبقى مجمدة بعد ذلك.

طُوِّرَ الانتباه لمعالجة نقاط الضعف في الشبكات العصبية المتكررة، حيث تُعالج الكلمات في الجملة ببطء واحدة تلو الأخرى. تفضل الشبكات العصبية المتكررة الكلمات الأحدث في نهاية الجملة بينما تتلاشى الكلمات السابقة في التنشيط العصبي المتقلب. يمنح الانبتاه جميع الكلمات وصولاً متساويًا إلى أي جزء من الجملة في مخطط متوازي أسرع ولم يعد يعاني من وقت الانتظار للمعالجة التسلسلية. ربطت الاستخدامات السابقة هذه الآلية بنظام ترجمة اللغة الخاص بالشبكة العصبية المتكررة التسلسلية، ولكن الاستخدامات اللاحقة في نماذج اللغة الكبيرة في المحولات أزالت الشبكة العصبية المتكررة واعتمدت اعتمادًا كبيرًا على مخطط الانتباه المتوازي الأسرع.