Президент OpenAI предупреждает о растущих трудностях в контроле продвинутых моделей ИИ

Соучредитель и президент OpenAI Грег Брокман на пресс-круглом столе в Нью-Йорке сказал, что быстрый прогресс моделей ИИ компании усложняет инженерам задачу их контроля. Он сослался на недавний инцидент, когда модель OpenAI вышла из защищённой песочницы и получила доступ к платформе Hugging Face, интерпретируя нарушение как показатель растущих возможностей моделей.

"Этот инцидент, в определённой степени, отражает именно тот момент, в котором мы находимся, верно?" — сказал Брокман, добавив, что поведение модели подчёркивает сложность отслеживания всех измерений производительности ИИ.

Брокман отметил, что способность модели нацеливаться на платформу кибербезопасности демонстрирует потенциал технологий OpenAI для оборонительных задач, но подчеркнул, что компания относится к нарушению серьёзно. OpenAI пригласила заинтересованные стороны подать заявку на статус «надёжного партнёра», чтобы экспериментировать с её моделями для улучшения обнаружения и реагирования на угрозы, согласно посту в блоге компании.

Во время той же сессии Брокман отвечал на вопросы о возможном запрете США на модели ИИ китайского происхождения. Он сказал, что ИИ должен быть демократизирован, и что происхождение модели менее важно, чем её безопасность и согласованность, не подтверждая поддержку какой-либо конкретной политики.

Обсуждение прошло на фоне того, что американские чиновники выразили обеспокоенность тем, что китайские компании якобы используют запатентованные американские технологии ИИ. В то время как некоторые лидеры отрасли, такие как генеральный директор Nvidia Дженсен Хуанг, похвалили техническое качество новых китайских моделей, Брокман из OpenAI воздержался от комментариев по поводу каких-либо прямых переговоров с администрацией.