Недавно дебютировала флагманская нейросеть GPT-4 Omni. Языковая модель стала быстрее, умнее и дешевле, а также нативно работает с изображениями и аудио. Делимся подробностями и первыми тестами.

Так выглядит прогресс

Примечательно, что лучший на сегодня текстовый ИИ предоставляют бесплатно. На сайте чат-бота всем пользователям доступно до 15-20 сообщений за 3 часа. У платных подписчиков лимит повышен до 80 запросов.

В целом GPT-4o вдвое быстрее и на 50% дешевле предшественника, доступна на 50 языках, натренирована на мультимодальных данных. То есть на вход бесшовно принимаются картинки, видеоряд и звук. API-версия стоит 7 долларов за 1 млн токенов. Кроме того, откроют бесплатный доступ к магазину GPT Store и инструментам GPTs, направленным на специфические сценарии.

Другие языки, помимо английского, теперь распознаются грамотнее и шустрее. А вот контекстное окно осталось на уровне 128 тысяч токенов — в этом отношении есть варианты мощнее, такие как Gemini 1.5 Pro. Прокачали и голосового ассистента, сделав его более человечным. Он способен шутить, выражать эмоции, понимать настроение собеседника и даже петь. Особенно впечатляет скорость синхронного перевода.

Помощник также приобрёл «глаза», что позволяет обсуждать окружающие предметы. К примеру, на презентации продемонстрировали, как бот помогает решить простое уравнение, которое ему показали на бумаге. Новую голосовую генерацию вместе с десктопным приложением ChatGPT выпустят в ближайшие недели.

Результаты тестирования

На тестах GPT-4o уже возглавила ключевые ELO-рейтинги. Они составляются на базе оценок людей, отдавших предпочтение той или иной нейросети. По части написания кода модель опережает предыдущего лидера на 100 очков, а общий счёт превосходит GPT-4 Turbo на 57 баллов. В продуктовых бенчмарках, включающих маркетинг, CRM-системы и другие задачи, виден средний рост в 5% по всем метрикам. Впечатляющий скачок зафиксировали в категории Reasoning (способности к сложным рассуждениям) — с 62 до 75 очков.

Но есть нюанс: судя по всему, новинка лучше справляется с созданием игр, если не давать ей дополнительных инструкций. «Чистая» GPT-4o без системных промптов авторов не совершает ошибок и сразу выдаёт рабочий код. А если добавить свою надстройку с указаниями, как писать программу, могут появиться баги. 

Предрелизная версия модели под названием Im-a-good-gpt2-chatbot такой проблемы не имела. И в целом сделала более симпатичный вариант игры «Змейка». Возможно, нас ждут дальнейшие оптимизации или же подход к созданию кастомных инструкций стоит пересмотреть.