Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.

OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятого даже из короткого аудиофайла.

В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.

По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.

В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.