المُجزِّئ — Tokenizer

المُجزِّئ مكوّن يحوّل النص إلى وحدات رقمية يفهمها النموذج، وطريقة تجزئته تحدد كلفة الطلب وحدود السياق وجودة التعامل مع العربية. ويُعد هذا المفهوم من الركائز العملية في مجال أساسيات لمن يعمل على بناء تطبيقات الذكاء الاصطناعي بالعربية ويريد نتائج قابلة للقياس والتكرار.

المُجزِّئ مكوّن يحوّل النص إلى وحدات رقمية يفهمها النموذج، وطريقة تجزئته تحدد كلفة الطلب وحدود السياق وجودة التعامل مع العربية. والعربية غالباً تستهلك رموزاً أكثر من الإنجليزية للنص نفسه بسبب التصريف والتشكيل. ويُعد إتقانه خطوة أساسية للانتقال من الاستخدام العشوائي للذكاء الاصطناعي إلى ممارسة مهنية منضبطة.