تظهر نماذج لغة جديدة باستمرار، ويعد كل منها بسرعة وكلفة وجودة أفضل. يواجه فريق المنتج سؤالًا عمليًا: أيها نستخدم؟ لا تجيب لوحات الترتيب وصفحات التسويق لأن مهمتك وبياناتك ومستخدميك محددون. نقدم إطارًا يعتمد القياس بدل التخمين؛ فالأسماء والأسعار تتغير سريعًا بينما تبقى الأسئلة الأساسية مفيدة.
الخطوة الأولى: عرّف المهمة بدقة
«إضافة AI إلى المنتج» ليست مهمة محددة. اكتب ما على النموذج إنجازه ولمن وكيف يبدو النجاح. تشمل المهام المعتادة:
- الإجابة عن أسئلة من وثائقك مع ذكر المصادر.
- صياغة ردود أو أوصاف أو محتوى تسويقي.
- استخراج حقول من فواتير ونماذج ورسائل.
- تصنيف الرسائل أو التذاكر وتوجيهها.
- استدعاء أدوات مثل البحث عن طلب أو حجز موعد.
- إجراء محادثة صوتية بالعربية.
تختبر كل مهمة جانبًا مختلفًا: الاستخراج يحتاج بنية موثوقة، والدعم يحتاج الالتزام بالمصدر، والصوت يحتاج استجابة سريعة، والكتابة تحتاج ضبط الأسلوب. تحديد المطلب الأهم يضيق الخيارات قبل التجربة.
الخطوة الثانية: حدد القيود التي تختار القائمة القصيرة
اللغة واللهجة
إذا كتب المستخدمون بالعربية، اختبرها بجدية: الفصحى واللهجة المصرية والخليجية وArabizi، وكذلك المزج بين العربية والإنجليزية. تختلف الجودة بين النماذج؛ استخدم أمثلتك لا ادعاءات المزود.
خصوصية البيانات وموقعها
قرر ما سيراه النموذج وهل يمكن أن يغادر بياناتك بيئتك. اقرأ شروط الاحتفاظ والاستخدام في التدريب. للبيانات الحساسة فكر في اتفاقات أكثر صرامة أو معالجة إقليمية أو استضافة النموذج ذاتيًا. تناولنا ذلك بتوسع في مقال الذكاء الاصطناعي المسؤول والخصوصية.
زمن الاستجابة
قد تكون ثوانٍ قليلة مقبولة للدردشة لكنها غير مناسبة لمكالمة هاتفية. تحتاج المنتجات التفاعلية والصوتية أول استجابة سريعة، وقد يتطلب ذلك نموذجًا أصغر أو أسرع وإخراجًا متدفقًا وضبط بقية المسار.
الكلفة بالحجم الحقيقي
قدر الكلفة لكل مهمة لا لكل token فقط: احسب متوسط طول المدخل والمخرج وعدد الاستدعاءات لكل إجراء وعدد المستخدمين المتوقع. قد لا يكون نموذج أفضل قليلًا لكنه أعلى كلفة بعشرة أضعاف منطقيًا لمهمة تتكرر آلاف المرات. لهذا يتتبع Tele Agent تكلفة كل مكالمة.
الخطوة الثالثة: أنشئ مجموعة تقييمك
هذه أهم خطوة وغالبًا ما تتجاوزها الفرق. اجمع 50 إلى 100 مثال حقيقي للمهمة مع الجواب المقبول. أدرج الحالات السهلة والصعبة والمدخلات الفوضوية والحالات التي ينبغي فيها الامتناع. شغل كل نموذج مرشح على المجموعة بالتعليمات نفسها.
قيّم ما يهم
- الصحة: هل الجواب صحيح بحسب خبير في الموضوع؟
- الالتزام: هل يستند إلى المصادر بدل اختلاق تفاصيل؟
- ثبات التنسيق: هل يلتزم بالبنية المطلوبة كل مرة؟
- النبرة واللغة: هل يبدو مناسبًا بالعربية والإنجليزية؟
- السلوك الآمن: هل يمتنع أو يصعّد عندما ينبغي؟
اجعل شخصين يقيمان عينة لتلاحظ مدى ذاتية الحكم، وسجل النتائج في جدول بسيط كي يكون القرار قابلًا للتتبع.
الخطوة الرابعة: قارن الصورة الكاملة
| العامل | السؤال |
|---|---|
| الجودة | هل يجتاز مجموعة التقييم بالمستوى المطلوب؟ |
| الكلفة | ما كلفة المهمة المكتملة بالحجم المتوقع؟ |
| السرعة | هل تناسب الاستجابة الواجهة؟ |
| الخصوصية | هل تلائم الشروط والموقع قواعد البيانات لدينا؟ |
| الموثوقية | ما حدود المعدل وسجل التوافر وشروط الدعم؟ |
| الارتباط بمورد | ما صعوبة الانتقال إذا تغير السعر أو الشرط؟ |
قد لا يكون الاختيار نموذجًا واحدًا: توجه المنتجات الأعمال البسيطة إلى نموذج أصغر وأقل تكلفة، وتستخدم الأقوى للحالات الصعبة. يضيف ذلك تعقيدًا، فلا تطبقه إلا حين تبرر الوفورات الجهد.
الخطوة الخامسة: صمم للتغيير
تتحسن النماذج وتتغير أسعارها وسياسات مزوديها. ضع النموذج خلف واجهة رقيقة في الشيفرة، وخزن prompts والإعدادات كتهيئة، واحتفظ بمجموعة التقييم لتشغيلها مجددًا. يصبح التبديل عندها اختبارًا وتغيير إعداد بدل إعادة كتابة التطبيق. سجل إصدارات النماذج والنتائج لتتبع تغير السلوك.
لا تنسَ ما يحيط بالنموذج
تؤثر جودة الاسترجاع والتعليمات الواضحة والمصادر الجيدة وقواعد العمل والمراجعة البشرية في النتيجة بقدر تأثير النموذج. قبل دفع كلفة نموذج أكبر، تحقق مما إذا كانت الوثائق الأفضل أو التعليمات الأدق تحل المشكلة.
يساعدك فريق نارمار في إعداد التقييم ومقارنة الخيارات على بياناتك الحقيقية. اقرأ عن خدمات AI وشاهد مشاريعنا أو تواصل معنا.
