لماذا يصبح رد الذكاء الاصطناعي أقصر أو أبطأ
ميزانية الإخراج تحد من طول الرد الواحد. نافذة السياق تحد من مقدار المحادثة السابقة التي يراها النموذج. الإبطاء يبطئ التسليم عندما تكون الأجهزة مشغولة. الأول يقصر الرد، الثاني يجعله ينسى، والثالث يؤخره فقط.
يصف الجميع هذه الحالات الثلاثة بأن المساعد أصبح أسوأ، ولا تجمعهم سوى التجربة. فصلها يحول الشكوى الغامضة إلى شيء يمكنك التصدي له.
في هذه الصفحة
ميزانية الإخراج تقصر الرد، لا الذاكرة
تحدد كل خدمة حداً أقصى لطول الرد الواحد، مقاساً بالرموز (tokens) وليس بالكلمات. عندما يصل الرد إلى هذا الحد، يتوقف التوليد، أحياناً في منتصف الجملة. لا يزال النموذج يعرف الباقي؛ لم يُسمح له بكتابته. طلب الاستكمال عادةً ما ينجح، لأن الميزانية تنطبق على كل رد على حدة وليس على المحادثة بأكملها.
نافذة السياق تجعل النموذج ينسى البداية
النافذة هي مقدار النص السابق الذي لا يزال النموذج قادراً على قراءته. عندما تتجاوز المحادثة الطويلة هذه النافذة، تختفي الرسائل الأقدم. يجيب النموذج بعد ذلك وكأنه لم يرها أبداً، مما يبدو وكأنه إهمال وليس سقفًا. بدء محادثة جديدة مع ملخص قصير يحل المشكلة؛ طلب النموذج لبذل جهد أكبر لا يفيد.
الإبطاء يغير السرعة فقط
عندما تكون الأجهزة مشغولة، تصل الرموز ببطء أكبر. الإجابة هي نفسها، لكن يتم تسليمها متأخرة. إذا كان النص مكتملاً وصحيحاً لكنه يتحرك ببطء، فإن السقف الذي واجهته هو السعة، وسيزول وحده عندما ينخفض الحمل.
أي سقف واجهته، في سؤال واحد
اسأل عما إذا كان الرد قصيراً، أو منسياً، أو بطيئاً. القصر يشير إلى ميزانية الإخراج، والاستكمال عادةً ما يساعد. النسيان يشير إلى النافذة، ومحادثة جديدة تساعد. البطء يشير إلى الإبطاء، والانتظار يساعد. الإصلاحات الثلاثة مختلفة، وهذا هو سبب أهمية تسمية السقف.
أسئلة عادلة
هل يجعل السؤال الأطول الرد أقصر؟
يمكن أن يفعل. السؤال والرد يشاركان نفس النافذة، لذا يترك السؤال الطويل جداً مساحة أقل للرد على الخدمات التي تحسبهما معاً.
هل الرد المقطوع خطأً برمجياً؟
عادةً ما يكون ميزانية الإخراج تؤدي وظيفتها. يبدو الخطأ البرمجي في إجابة تتوقف ولا يمكن الاستمرار فيها مطلقاً.
هل تحصل الخطط المدفوعة على نوافذ أكبر؟
غالباً، لأن النافذة الأكبر تكلف أكثر في التشغيل. هذا أحد الأماكن القليلة حيث يغير الدفع القدرة بدلاً من الكمية.
اطرح سؤالاً طابقاً وشاهد أين تتوقف هذه المحادثة، إذا كانت تتوقف.
افتح دردشة بلا قيود