ChatGPT теперь умеет не только читать, но и видеть, слышать и говорить

Разработчик ИИ OpenAI объявил о новых функциях своего чат-бота ChatGPT, который теперь принимает в качестве запросов не только текст, но также изображения и голосовые команды. Это крупнейшее обновление с момента введения GPT-4. Новые функции будут доступны платным пользователям в течение следующих двух недель. Голосовые функции будут доступны только в приложениях для iOS и Android, в то время как обработка изображений будет доступна на всех платформах.

ChatGPT теперь может понимать произнесенные слова, отвечать синтетическим голосом и обрабатывать изображения. Пользователи могут переключиться на голосовые разговоры в мобильном приложении ChatGPT и выбирать из пяти различных синтетических голосов для ответа бота. Также им будет доступна возможность делиться изображениями с ChatGPT и выделять на них области для анализа.

Разработчик утверждает, что общение голосом с ChatGPT в чем-то похоже на разговор с любым голосовым помощником, но качество ответов значительно выше благодаря улучшенной базовой технологии. Пользователь нажимает кнопку и произносит вопрос, ChatGPT преобразует его в текст и передает в большую языковую модель, получает ответ, преобразует его обратно в речь и произносит ответ вслух.

• Читайте также:
• ChatGPT на службе зла
• Разработчик нейросетей предупреждает об их опасности
• ChatGPT диагностирует заболевания не хуже врачей, но заменить их пока не может

Новые возможности ChatGPT опираются на большую языковую модель Whisper, которая выполняет значительную часть работы по преобразованию речи в текст и обратно. По утверждению OpenAI, новая модель может генерировать «человеческий голос из текста и образца речи длиной в несколько секунд». Пока доступны пять вариантов голоса ChatGPT, но OpenAI видит в этой модели гораздо больший потенциал.

Специалисты уже выразили опасения относительно синтетических голосов, созданных на основе ИИ, которые могут использоваться для создания убедительных «глубоких подделок» (deepfakes). OpenAI признала эти опасения, заявив, что синтетические голоса были созданы актерами, с которыми компания напрямую сотрудничала, а не собраны у случайных людей.

Возможность создать синтезированный голос любого человека, опираясь всего на несколько секунд его речи, даст широкое поле деятельности для киберпреступников, признает OpenAI в анонсе новых функций: «Это новые риски, такие как возможность злоумышленников выдать себя за общественных деятелей или совершить мошенничество». По утверждению компании, модель недоступна для широкого использования именно по этой причине: OpenAI планирует ограничить модель конкретными вариантами использования и партнерскими соглашениями.

Что касается запроса в ChatGPT при помощи изображения, пользователю достаточно сфотографировать или нарисовать предмет своего интереса и отправить боту. В процессе общения можно применять текстовые или голосовые подсказки, чтобы уточнить запрос или ограничить область поиска.

Использование изображений в качестве подсказки для чат-бота также имеет свои потенциальные проблемы. В первую очередь это касается запроса о личности человека на фотографии, хотя OpenAI заявляет, что ограничила «способность ChatGPT анализировать и делать прямые заявления о людях» как по соображениям точности, так и по соображениям конфиденциальности.

Ранее в этом году компания Microsoft увеличила инвестиции в OpenAI на дополнительные 10 миллиардов долларов, что стало крупнейшим инвестиционным соглашением в области ИИ за год. В апреле стартап завершил продажу акций на 300 миллионов долларов с оценкой компании между 27 и 29 миллиардами долларов.

«Детали», Ю.Л. Фото: Depositphotos.com √