خلال تجربة البرنامج في فبراير، طُلب من الروبوت الإجابة على أسئلة من الامتحانات النهائية للمدارس الابتدائية PSLE؛ وهي اختبارات يتعين على جميع الأطفال في سن 12 عامًا في سنغافورة اجتيازها، بهدف تحديد المدارس الثانوية التي سيتوجب على الطلاب الذهاب إليها بعد المرحلة الابتدائية.

وتم طرح أسئلة امتحانات PSLE الابتدائية على تشات جي بي تي للأعوام 2020 و 2021 و 2022 في مواد الرياضيات والعلوم واللغة الإنجليزية. 

وحقق الروبوت ما معدله 16 من أصل 100 علامة في ثلاث أوراق اختبارات في الرياضيات، وفقًا لصحيفة ستريتس تايمز.

خلال الاختبار، لم يستطع الروبوت فهم أو الإجابة على أي من الأسئلة بشأن الرسوم البيانية، ولم يحقق أي علامة بهذه الأسئلة.

كما أخفق تشات جي بي تي في العمليات الحسابية بجمع عدد من الأرقام؛ فعندما طرحت عليه مسألة حسابية بسيطة وهي جمع حاصل 60,000، 5,000، 400 و 3، كان الناتج الحسابي الذي استرشد له الروبوت 65,503، حسبما ذكرت صحيفة ستريتس تايمز، بيد أن الإجابة الصحيحة هي 65,403.  

كما ارتكب روبوت الذكاء الصناعي أخطاء فادحة في مادة العلوم، حيث حصل على متوسط ​​21 من أصل 100 علامة.

ورغم أن نظام ChatGPT تمكن من اجتياز اختبارات اللغة الإنجليزية، إلا أنه حقق معدلا هابطا بحصوله في المتوسط ​​على 11 علامة من أصل 20 في أوراق الامتحانات التي تقدم لها.

وأثناء اختبار الإنجليزية، واجه الروبوت مشاكل جمّة وهذه المرة مع أسئلة ونصوص تحتوي على كلمات بمعاني متعددة.

ومن الأمثلة التي استشهدت بها صحيفة ستريتس تايمز كلمة "Value" أو"قيمة". إذ تجاهل الروبوت معنى الكلمة في سياق النص، حيث كانت تشير كلمة Value إلى المبادئ الأخلاقية للفرد، بينما كانت إجابته تتمحور حول معنى الكلمة كما لو كانت تعني "القيمة النقدية".

لكن بعد تقدم الروبوت لذات الاختبارات "اختبارات الإعادة" الاثنين الماضي، تمكن تشات جي بي تي من النجاح في المواد التي فشل بها.

وتثير عدم قدرة الروبوت الذكي على اجتياز امتحانات الصف السادس الابتدائي في سنغافورة الدهشة - فقد نجح في اجتياز الامتحانات النهائية لكلية وارتون للأعمال، واجتاز الاختبارات في أربعة مساقات في كلية الحقوق، كما تجاوز بكل سهولة امتحان الرخصة الطبية "إجازة الطب" في الولايات المتحدة.

وأفادت صحيفة نيويورك تايمز  أن الجامعات الأميركية تعمل الآن على تجديد نظم الاختبارات بسبب مخاوف من استخدام روبوتات الذكاء الاصطناعي في الغش. ويتضمن محور التجديد في الامتحانات المزيد من الاختبارات الشفوية والعمل الجماعي والتقييمات المكتوبة بخط اليد بدلاً من عمليات الإرسال المكتوبة عبر  الإنترنت.

يذكر أنه تم تطوير ChatGPT بواسطة شركة الذكاء الاصطناعي OpenAI وتم إطلاقه في نوفمبر والتي تفتحر بأن لديها 100 مليون مستخدم بحلول نهاية يناير.