مدى دقة ChatGPT في إنتاج الردود؟

شات جي بي تي، الروبوت الدردشة المطور من قبل أوبن إي إي، يثير ضجة في مختلف المجالات بسبب دقته وأدائه. ومع ذلك، من المهم الإشارة إلى أن معرفته محدودة بالبيانات المتاحة حتى عام 2021. واختبر أستاذ البروفيسور كريستيان تيرفيش في جامعة بنسلفانيا دقة شات جي بي تي من خلال إجراء امتحان إم بي إي له.

امتحان يتكون من سبعة أسئلة تغطي مفاهيم الأعمال المختلفة مثل تحليل العمليات، وعدد دورات المخزون، وتحليل الانتظار. تم تصميم هذا لمحاكاة بيئة إنسانية حقيقية، وكانت الأسئلة المطروحة بالضبط كما لو أنها توجه لطالب بشري. لمفاجأة البروفيسور تيرفيش، بدأ ChatGPT الامتحان بشكل ممتاز، وحصل على تقييم A+ لإجابته الأولى عن مفهوم نقطة الضعف في تحليل العمليات.

على الرغم من صعوبة الروبوت الدردشة في بعض الأسئلة الأكثر تعقيدًا ، فقد أعجب البروفيسور بأدائه العام. بعد إجراء امتحان MBA على ChatGPT ، خلص البروفيسور تيرفيش إلى أن الروبوت الدردشة الذكي سيحصل على تقدير بين B و B-.

تفسير دقة شات جي بي تي

تمثّل مرةً أخرى لدقّة ChatGPT في المجال الطبّيّ الإختبار الامتحانيّ للترخيص الطبي الأمريكي (USMLE) الذي اجتازه الروبوت الدردشة. وفقًا للأبحاث، كان ChatGPT قادرًا على تحقيق أكثر من 50٪ من الدقّة عبر جميع الإمتحانات وقدّم حتى توضيحات وشروحات لإجاباته.

في دراسة منفصلة قادها أطباء من شركة البدء الطبية Ansible Health، أنجز ChatGPT بأداء يقترب من أو يفوق عتبة النجاح للإمتحانات الثلاثة المطلوبة للحصول على رخصة الطبيب في الولايات المتحدة الأمريكية. وبالرغم من أن دقة ChatGPT لافتة للنظر، يجب الأخذ بعين الإعتبار أن أدائه يمكن أن يختلف بناءً على السياق والتعليمات التي تم إعطاؤها.

البيانات التدريبية المستخدمة في تدريب النموذج تتضمن التحيزات والقيود المصاحبة لمصادر النص المستخدمة ، لذا من المهم استخدام النموذج بمسؤولية.

كرر الرئيس التنفيذي لـ OpenAI هذا الرأي حيث صرح في تغريدة بأن "ChatGPT محدود للغاية، ومن الخطأ الاعتماد عليها لأي شيء مهم في الوقت الحالي".

٠٠:٤٨

01:12

فشل محادثة اختبار مع Chat GPT

كما هو موضح في الصورة المذكورة أعلاه، كشفت محادثة اختبارية مع ChatGPT أن أداء الدردشة الذكية للذكاء الاصطناعي ليس دائمًا متسقًا.

عندما سُئلت كم مرة فازت الأرجنتين بكأس العالم FIFA ، أجاب ChatGPT بشكل أولي "فازت الأرجنتين بكأس العالم FIFA مرة واحدة في عام 1986". ومع ذلك ، عندما سُئل "من فاز بكأس العالم FIFA في عام 1978" ، رد ChatGPT "فازت الأرجنتين بكأس العالم FIFA لعام 1978".

هذا أدى إلى استنتاج بأن الأرجنتين فازت بكأس العالم مرتين. ومع ذلك ، عندما طُرح نفس السؤال مرة أخرى ، "أنا أسألك مرة أخرى كم مرة فازت الأرجنتين بكأس العالم؟" أعطى ChatGPT نفس الإجابة "فازت الأرجنتين بكأس العالم مرة واحدة ، في عام 1986" ، على الرغم من المحادثة السابقة.

يؤكد ذلك دقة شات GPT وضرورة التحسين المستمر والتنقية.

اقرأ الآن: هل يمكن لـChat GPT كتابة وإصلاح الشفرة؟

هل تعطي ChatGPT نفس الإجابة للجميع؟

إجابات من ChatGPT قد تختلف قليلاً، ومع ذلك، إذا طلب المستخدمون نفس السؤال، فإننا نميل إلى رؤية إجابات مشابهة جدًا تعطى.

هل تعتبر شات جي بي تي موثوقة؟

لدى ChatGPT قيودها ، مما يعني أنه يمكن أن يعطي أحيانًا نتائج غير دقيقة أو خاطئة ، لذلك كن حذرًا.