المحوّل — Transformer

المحوّل بنية شبكات عصبية قدّمها بحث Attention Is All You Need، وتعتمد على آلية الانتباه بدل التسلسل الزمني، وصارت الأساس المعماري لجميع النماذج اللغوية الحديثة تقريباً. ولذلك مكّن المحوّل الانتقال من نماذج محدودة إلى نماذج عامة قادرة على أداء مهام متنوعة دون تدريب خاص لكل مهمة.

المحوّل بنية شبكات عصبية قدّمها بحث Attention Is All You Need، وتعتمد على آلية الانتباه بدل التسلسل الزمني، وصارت الأساس المعماري لجميع النماذج اللغوية الحديثة تقريباً. ويحسب الانتباه علاقة كل وحدة نصية بباقي الوحدات في المدخل بالتوازي، مما يسرّع التدريب ويحسّن التقاط السياق البعيد. ولذلك مكّن المحوّل الانتقال من نماذج محدودة إلى نماذج عامة قادرة على أداء مهام متنوعة دون تدريب خاص لكل مهمة.