Хоча штучний інтелект уже значно випереджає людину у швидкості обробки інформації та точності обчислень, його здатність до логічного мислення і аналітики досі залишає бажати кращого. Зокрема, популярні моделі ШІ, як-от ChatGPT, не змогли успішно скласти українське ЗНО.
Українські дослідники створили перший багатоформатний тест для ШІ під назвою ZNOVision, який охоплює знання з 13 предметів ЗНО українською мовою. У тестуванні брали участь шість великих мовних моделей від різних розробників, зокрема OpenAI, Google та Claude.
Тест складається з понад 4300 завдань із 12 академічних дисциплін, серед яких математика, фізика, хімія та гуманітарні науки. Більшість питань мають візуальний компонент, що вимагає від моделей не лише розуміння тексту, а й аналізу схем і діаграм, а також логічних висновків.
Результати показали, що жодна з моделей не досягла порогу у 70% правильних відповідей. Найвищий результат продемонстрували Gemini Pro (67,5%) та Claude 3.5 (64,3%), тоді як GPT-4o отримав лише 47%. Найскладнішими для ШІ виявились завдання з візуально-текстовими елементами, а підтримка української мови в мультимодальних задачах залишається слабкою.