Тихий уход, громкий сигнал
Александр Мадри ушёл.
Он не был рядовым сотрудником OpenAI. Он возглавлял направление «preparedness» — говоря языком индустрии, это тот, кто должен нажимать на тормоза. Его задача заключалась в оценке рисков, которые могут нести системы ИИ, и в определении того, достаточно ли безопасна модель перед её выпуском.
Летом прошлого года его перевели с позиции, связанной с безопасностью, на исследования в области логического вывода ИИ. Уже тогда многие задавались вопросом: почему специалист по безопасности занимается исследованиями возможностей моделей?
Теперь он окончательно покинул OpenAI. В своём посте он заявил, что займётся изучением «влияния ИИ на экономику».
Вежливо, корректно, но между строк читается ясно: здесь я больше не могу заниматься тем, чем хочу.
«Нарратив безопасности» OpenAI рушится
Когда-то само название OpenAI несло в себе миссию. «Open» — открытый. «AI» — искусственный интеллект на благо всего человечества. Сэм Альтман выступал с речами по всему миру, говоря о том, что AGI должен появиться безопасно и принести пользу каждому.
Но реальность оказалась иной:
- От некоммерческой к коммерческой структуре. OpenAI давно трансформировалась из некоммерческой организации в компанию с ограниченной прибылью (capped-profit), и давление инвесторов, требующих отдачи, только растёт.
- Переход к закрытому коду. OpenAI, когда-то обещавшая открытые модели и исследования, теперь закрывает доступ к своим самым передовым моделям.
- Маргинализация команды безопасности. Перевод Мадри — не единичный случай. По данным источников, влияние команды безопасности внутри OpenAI неуклонно снижается, тогда как влияние продуктовых команд растёт.
Это не значит, что OpenAI занимается чем-то плохим. Это означает, что: когда организация сталкивается с давлением ради роста, «безопасность» часто становится первой жертвой компромиссов. Не потому, что руководители стали «плохими», а потому, что бизнес-логика естественным образом склоняется к скорости, а не к осторожности.
Перевод, а затем уход — этот путь не нов
История Мадри не редкость в технологической индустрии.
Когда стратегический фокус компании смещается с «делать правильные вещи» на «делать то, что приносит деньги», статус отделов безопасности, комплаенса и этики меняется. Их не закрывают — это выглядело бы слишком некрасиво. Но их «реорганизуют», «адаптируют», «перепрофилируют». Экспертов по безопасности переводят на продуктовые исследования, а специалистов по этике назначают готовить «отчёты о социальной ответственности».
Затем те, кто действительно заботится о безопасности, уходят сами. Не потому, что их уволили, а потому, что понимают: они больше не могут влиять на принятие решений.
Выбор Мадри в пользу изучения «влияния ИИ на экономику» сам по себе показателен. То, что он не мог предотвратить на должности специалиста по безопасности, возможно, удастся исследовать под другим углом — изучить влияние ИИ на рынок труда, распределение доходов и трансформацию экономической структуры. Ответы на эти вопросы могут оказаться важнее любой оценки безопасности отдельной модели.
Отрасли нужен независимый институт безопасности
История OpenAI учит нас одному: нельзя ожидать, что компании, разрабатывающие ИИ, будут сами себе судьями в вопросах безопасности.
Это не обвинение в адрес OpenAI — ни одна компания не способна на это. Когда вы одновременно и спортсмен, и судья, исход матча предрешён.
Отрасли действительно нужны независимые органы по оценке безопасности, аналогичные аудиторским фирмам в финансах, FDA в фармацевтике или органам по сертификации лётной годности в авиации. Эти структуры не получают зарплату от регулируемых компаний, их руководство не назначается регулируемыми сторонами, а их единственная миссия — защита общественных интересов.
На данный момент в индустрии ИИ ничего подобного не существует. Есть академические статьи, отчёты некоммерческих организаций, проекты нормативных актов от государственных органов. Но нет независимой системы сертификации безопасности, обладающей реальной принудительной силой.
Уход Мадри — это потеря для OpenAI, но, возможно, он станет катализатором для создания независимых механизмов безопасности.
Одно слово для отрасли
Когда руководителей по безопасности переводят на продуктовые исследования, когда команды по этике вливаются в отделы PR, а «ответственный ИИ» превращается из ключевой миссии в маркетинговый лозунг — это не выбор отдельной компании. Это перекрёсток для всей отрасли.
Мы можем продолжать делать вид, что рост и безопасность совместимы. Или мы можем признать: в текущей системе стимулов безопасность и рост находятся в естественном конфликте. Признание этого — не пессимизм, а честность. А честность — первый шаг к решению проблемы.
Мадри выбрал честность — он ушёл. Остаётся вопрос: сколько ещё людей выберут честность?