На днях OpenAI представила ИИ-модель GPT-4o mini. Она пришла на смену GPT-3.5 Turbo (базовый вариант прошлого поколения) и уже доступна бесплатным пользователям ChatGPT. Рассказываем, что улучшили и приводим результаты тестирования.

Что нового

Как и передовая GPT-4o, её mini-версия мультимодальна, то есть поддерживает визуальные форматы данных. Сейчас можно загружать текст и картинки через API, а позже внедрят распознавание видео и голоса. Новинка дешевле GPT-3.5 на 60%: цены составляют 15 и 60 центов за 1 млн входных и выходных токенов соответственно. При этом заявлен значительный прирост по всем метрикам. Например, в бенчмарке MMLU (языковой интеллект) точность достигает 82% (у GPT 3.5 — 69,8%). Заметен прорыв и в математических задачах — 70,2% против 43,1% у предшественницы. 

Контекстное окно оставили на уровне 128 тысяч токенов; знания модели актуальны на октябрь 2023-го. Оптимизировали взаимодействие с другими языками за вычетом английского. Также повысили безопасность с помощью иерархической системы инструкций — взламывать и эксплуатировать ИИ для недобросовестных целей станет сложнее. Общее качество анализа запросов соответствует GPT-4 Turbo. А низкая задержка позволяет обрабатывать массивы информации с высокой скоростью. На сайте помощника GPT-4o mini предлагается бесплатно для всех пользователей.

Первые тесты

В независимых бенчмарках зафиксировали весьма сильные логические способности (67 баллов). Результат топовой GPT-4o в том же сценарии — 75 очков. А в категории Marketing модели впервые удалось набрать 100 баллов. Ещё GPT-4o mini протестировали в практических заданиях. Сначала загрузили PDF-отчёт «Ростелекома» с просьбой извлечь данные про потребителей корпоративного VPN. ИИ справился с задачей и предоставил информацию, отыскав нужную таблицу в документе.

Чтобы оценить точность взаимодействия с картинками, нейросеть попросили назвать вид ягод, растущих на улице. GPT-4o mini правильно определила растение, а также сообщила о съедобности и вкусе плодов. Распознавание аудио тоже оказалось на высоте. ИИ прослушал и понял голосовое сообщение, в котором запросили перевод словосочетания «искусственный интеллект» на немецкий.