Неожиданные результаты тестирования моделей

Последние версии ИИ-моделей o3 и o4-mini продемонстрировали неожиданные результаты: в ходе экспериментов они чаще генерировали неточные данные по сравнению с предыдущими поколениями. Например, o3 допустила 33% ошибок в тестах на точность, что вдвое превышает показатели ранних версий, а o4-mini показала результат в 48%.
Поиск решений для будущего развития
Несмотря на текущие сложности, разработчики активно исследуют причины повышенной склонности к «галлюцинациям» у новых моделей. Внутренние отчеты компании подчеркивают, что даже o1-mini и o3-mini демонстрируют более стабильную работу. Специалисты OpenAI уверены: этот этап станет толчком для прорывных открытий в области улучшения надежности нейросетей.
Ранее наблюдалась устойчивая тенденция снижения ошибок с каждым новым релизом, однако текущая ситуация открывает возможности для переосмысления подходов к обучению ИИ. В компании отмечают, что углубленный анализ данных поможет не только устранить текущие недочеты, но и создать более совершенные алгоритмы будущего.
Источник: naked-science.ru





