الوحدة النصية — Token
الوحدة النصية أصغر جزء يقسّم إليه النص قبل معالجته، وقد تكون كلمة كاملة أو جزءاً من كلمة أو علامة ترقيم، وتُحسب عليها التكلفة وحدود السياق. ومعرفتها ضرورية لتقدير التكلفة وضبط طول المدخلات والمخرجات في التطبيقات الإنتاجية. ويُعد هذا المفهوم من الركائز العملية في مجال أساسيات لمن يعمل على بناء تطبيقات الذكاء الاصطناعي بالعربية.
الوحدة النصية أصغر جزء يقسّم إليه النص قبل معالجته، وقد تكون كلمة كاملة أو جزءاً من كلمة أو علامة ترقيم، وتُحسب عليها التكلفة وحدود السياق. ويجري التقسيم عبر خوارزميات مثل ترميز الأزواج الأكثر تكراراً التي تبني مفردات ثابتة للنموذج. ومعرفتها ضرورية لتقدير التكلفة وضبط طول المدخلات والمخرجات في التطبيقات الإنتاجية.