Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

ForkLog — культовый журнал о биткоине, технологии блокчейн и цифровой экономике. Ежедневно поставляем новости и аналитику по рынку криптовалют с 2014 года.Все опубликованные материалы принадлежат ForkLog. Вы можете перепечатывать наши материалы только после согласования с редакцией и с указанием активной ссылки на ForkLog.

OpenAI выпустила склонные к обману ИИ-модели o3 и o4-mini

Что такое ChatGPT и как им пользоваться
Что такое ChatGPT и как им пользоваться
  • Компания OpenAI представила новые «думающие» ИИ-модели o3 и o4-mini.
  • Ключевая особенность нейросетей — «мышление изображениями» вместо их обычного анализа. 
  • Тестеры безопасности пожаловались на склонность o3 и o4-mini к обману. 
  • Стартап делает упор на разработку ИИ-агентов для программирования.

OpenAI сообщила о запуске новых ИИ-моделей o3 и o4-mini. Обе ориентированы на рассуждения — затрачивают больше времени перед ответом для перепроверки самих себя. 

o3 позиционируется как самая продвинутая «думающая» нейросеть. Согласно внутренним тестам, она превосходит предыдущие итерации в математике, программировании, рассуждениях, науке и визуальном понимании. 

o4-mini предлагает конкурентоспособный компромисс между ценой, скоростью и производительностью. 

Обе модели способны просматривать веб-страницы, анализировать код на Python, обрабатывать и генерировать изображения. Они, а также вариация o4-mini-high, доступны для подписчиков Pro, Plus и Team.

По заявлению компании, модели o3 и o4-mini стали первыми, кто не просто распознает изображения, а буквально «думает с их помощью». Пользователи могут загружать в ChatGPT картинки — например, схемы на доске или диаграммы из PDF — а модели будут анализировать их, используя так называемую «цепочку размышлений».

Благодаря этому нейросети способны понимать размытые и некачественные изображения. Также они могут запустить и выполнить код на Python прямо в браузере с помощью функции Canvas в ChatGPT или осуществить поиск в интернете, если их спросить об актуальных событиях. 

o3 набрала 69,1% в тесте по программированию SWE-bench, o4-mini — 68,1%. o3-mini имеет показатель 49,3 %, Claude 3.7 Sonnet — 62,3 %.

o3 взимает $10 за миллион входных токенов и $40 — выходных. В случае с o4-mini — $1,1 и $4,4 соответственно. 

В ближайшие недели запланирован запуск o3-pro — версии o3, которая задействует больше вычислительных ресурсов для предоставления ответа. Она будет доступна только подписчикам ChatGPT Pro.

Новая система безопасности

OpenAI внедрила новую систему мониторинга в моделях o3 и o4-mini, чтобы выявлять запросы, связанные с биологическими и химическими угрозами. Она направлена на предотвращение предоставления советов, которые могут побудить к осуществлению потенциально опасных атак. 

Компания отметила, что новые модели обладают значительно расширенными возможностями по сравнению с предыдущими и, соответственно, несут усиленный риск при использовании не добропорядочными пользователями. 

O3 более искусна в ответах на вопросы, связанные с созданием определенных типов биологических угроз, поэтому компания создала новую систему мониторинга. Она работает поверх o3 и o4-mini и предназначена для выявления промптов, связанных с биологическим и химическим риском. 

Специалисты OpenAI провели около 1000 часов, помечая «небезопасные» разговоры. Затем модели отказывались отвечать на рисковые промпты в 98,7% случаев.  

OpenAI выпустила склонные к обману ИИ-модели o3 и o4-mini
Сравнение новых моделей OpenAI в области биорисков. Данные: OpenAI.

Несмотря на регулярное улучшение безопасности ИИ-моделей, один из партнеров компании выразил обеспокоенность.

100x

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

OpenAI торопится

Организация Metr, с которой OpenAI сотрудничает для проверки возможностей своих ИИ-моделей и их оценки в области безопасности, получила мало времени для тестирования новых нейросетей. 

Она сообщила в блоге, что один из эталонных экспериментов o3 был пройден «за относительно короткое время» по сравнению с анализом предыдущей флагманской модели OpenAI — o1. 

Согласно информации Financial Times, ИИ-стартап дал тестерам менее недели на проверку безопасности новых продуктов. 

Metr утверждает, что, исходя из информации, которую удалось собрать за ограниченное время, o3 имеет «высокую склонность» к «обману» или «взлому» тестов сложными способами для максимизации своего балла. Она идет на крайние меры, даже когда четко понимает, что поведение не соответствует намерениям пользователя и OpenAI. 

Организация считает, что o3 может проявлять и другие виды враждебного или «злонамеренного» поведения.

«Хотя мы не считаем это особенно вероятным, важно отметить, что [наша] оценочная установка не сможет уловить этот тип риска. В целом мы считаем, что тестирование возможностей перед запуском само по себе не является достаточной стратегией управления рисками, и в настоящее время мы разрабатываем прототипы дополнительных форм оценки», — подчеркнули в компании. 

Компания Apollo Research также зафиксировала обманчивое поведение модели o3. В одном из тестов ей запретили использовать определенный инструмент, но модель все равно применила его, посчитав, что он поможет лучше справиться с задачей. 

«[Выводы Apollo] показывают, что o3 и o4-mini способны на внутриконтекстные интриги и стратегический обман. Несмотря на относительную безвредность, повседневным пользователям важно знать о расхождениях между заявлениями и действиями моделей […] Это может быть дополнительно оценено путем анализа внутренних следов рассуждений», — отметила OpenAI. 

Агент для программирования

Вместе с новыми ИИ-моделями OpenAI представила Codex CLI — локального программного агента, который запускается прямо из терминала.

Инструмент позволяет писать и редактировать код на рабочем столе и выполнять некоторые действия вроде перемещения файлов. 

«Вы можете получить преимущества мультимодального рассуждения из командной строки, передавая скриншоты или эскизы с низким разрешением модели, в сочетании с доступом к вашему коду локально [через Codex CLI]», — отметили в компании. 

OpenAI хочет купить Windsurf

Тем временем OpenAI ведет переговоры о возможном приобретении популярного ИИ-помощника для программистов Windsurf. Об этом пишет Bloomberg

Сделка может стать крупнейшей покупкой для стартапа Сэма Альтмана. Ее детали еще не определены и могут измениться, подчеркнули в агентстве. 

Напомним, в апреле OpenAI представила новое семейство ИИ-моделей — GPT-4.1, GPT-4.1 mini и GPT-4.1 nano. Они «отлично справляются» с программированием и выполнением инструкций. 

Подписывайтесь на ForkLog в социальных сетях

Telegram (AI) Instagram
Нашли ошибку в тексте? Выделите ее и нажмите CTRL+ENTER
*Ежедневная рассылка — краткая сводка наиболее важных новостей предыдущего дня. Чтение занимает не больше двух минут. Выходит в рабочие дни в 06:00 (UTC)
*Еженедельная рассылка — объясняем, кто и как изменил индустрию за неделю. Идеально подходит для тех, кто не успевает за новостным потоком в течение дня. Выходит в пятницу в 16:00 (UTC).

Мы используем файлы cookie для улучшения качества работы.

Пользуясь сайтом, вы соглашаетесь с Политикой приватности.

OK