Семь известных чат-ботов провалили гаокао по математике

Семь больших языковых моделей, в том числе ChatGPT-4o от OpenAI, попробовали в сдаче гаокао (китайский выпускной экзамен).

Они были протестированы системой оценки OpenCompass Шанхайской лаборатории искусственного интеллекта.

Все тесты проверялись вручную, экзаменаторам не сообщали, что их сдавал ИИ. Экзамены содержали как точные задачи, так и открытые вопросы.

Чат-боты относительно хорошо справились с тестами по английскому и китайскому языку, но все провалили задания по математике.

Самым умным оказался Qwen 2-72B от Alibaba, набравший за три теста 303 балла из 420. За ним следовали Chat GPT-4o с 296 баллами и InternLM 2.0 Шанхайской лаборатории искусственного интеллекта с 295,5 балла. Последнее место со 185 баллами занял LLM французской компании Mistral AI.

Наивысший балл по математике — всего 75 баллов из 150 — набрал InternLM 2.0, следом за ним расположился Chat GPT-4o с 73 баллами.

❤️ Новости Китая | ЭКД

Источник: t.me