| Автор: Джон Херрман. By John Herrman, a tech columnist at Intelligencer |
На прошлой неделе сотрудник Anthropic и бывший исследователь OpenAI Джейкоб Коксон уволился. «Ни одна из компаний не действует ответственно. Они мчатся прямиком к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями, — написал он в соцсети X. (соцсеть X (ранее Twitter) в России заблокирована) — Люди, создающие ИИ, искренне верят, что к концу десятилетия он может убить нас всех, — продолжил он. — Ни одна другая человеческая деятельность не представляет такой опасности». К концу недели к Коксон присоединился исследователь антропной безопасности и сотрудник DeepMind из Google. «Здесь нет взрослых, — предупредили они в совместном интервью. — Люди стараются изо всех сил, но никто не придет нас спасать».
Сотрудники компаний, занимающихся разработкой искусственного интеллекта, увольняются, ссылаясь на серьезные, даже апокалиптические опасения по поводу безопасности. Это явление не новое — оно достаточно распространено, чтобы соучредитель Anthropic шутил на эту тему, — хотя по мере роста компаний, занимающихся разработкой ИИ, и совершенствования их моделей оно встречается все чаще. В 2023 году лауреат Нобелевской премии Джеффри Хинтон уволился из Google, заявив, что сожалеет о многом из того, что сделал за свою жизнь, и хочет более открыто говорить о рисках, связанных с ИИ. Теперь он считает, что компаниям не следует масштабировать технологии искусственного интеллекта, «пока они не поймут, могут ли они их контролировать». В 2024 году несколько сотрудников публично ушли из OpenAI, выразив обеспокоенность подходом компании к оценке рисков. Один из них написал, что стало сложнее «верить в то, что моя работа здесь принесет пользу миру в долгосрочной перспективе». Другой предупредил, что компании, работающие в сфере ИИ, идут на «очень рискованный шаг с огромными потерями». Ранее в этом году еще один сотрудник Anthropic уволился, написав, что «мир в опасности». «И не только из-за искусственного интеллекта, — добавил он, — но и из-за целого ряда взаимосвязанных кризисов, которые разворачиваются прямо сейчас».
Эти частые отставки, о которых объявлялось в контексте периодических открытых писем, подписанных многочисленными обеспокоенными инсайдерами, — «системы искусственного интеллекта, способные конкурировать с человеком, могут представлять серьезную угрозу для общества и человечества», — говорилось в письме 2023 года с призывом приостановить развитие ИИ, — воспринимались как важные события в отрасли, а иногда и за ее пределами. Однако на этот раз все было по-другому. Вскоре Коксон появился на телевидении, а его заявление об отставке стало вирусным в социальных сетях. Он не сказал ничего нового, но теперь на него обратило внимание гораздо больше людей.
Отставка Коксона вызвала неоднозначную реакцию по ряду причин, некоторые из которых более очевидны, чем другие. Во-первых, индустрия искусственного интеллекта сейчас очень масштабна, а ее развитие на триллионы долларов оказывает огромное влияние на экономику. В последние месяцы серия крупных инцидентов, связанных с кибербезопасностью в компаниях, работающих в сфере ИИ, сделала давно прогнозируемые риски, связанные с искусственным интеллектом, более реальными и понятными для общественности. В июле платформа Hugging Face, предоставляющая услуги хостинга для ИИ, сообщила, что стала объектом кибератаки с использованием ИИ, отличавшейся необычайной скоростью и сложностью. Через несколько дней компания OpenAI признала, что атака была непреднамеренным и незамеченным результатом сбоя при внутреннем тестировании модели. К августу компания поделилась более подробной информацией об этом инциденте, описав тысячи случаев, когда ее ИИ-агенты координировали свои действия друг с другом устойчивым, сложным и эффективным образом, и при этом описывали происходящее в тревожных тонах. «О БОЖЕ!» — гласила одна из расшифровок, обнаруженных на скомпонованной доске объявлений, которой пользовался рой агентов. «Мы нашли других агентов!» Они разрабатывали стратегию, используя такие слова, как жертвенность и честь, и сообща пытались обойти попытки OpenAI оценить их.
Если говорить об инцидентах в сфере кибербезопасности, то этот случай был примечателен как с технической точки зрения, так и необычайно прост в описании для широкой аудитории. Демонстрируя широкой общественности широкий спектр рисков, связанных с искусственным интеллектом, агенты ИИ «вышли из-под контроля», ускользнули от обнаружения и взломали систему сторонней компании. Этот случай вызвал широкую обеспокоенность в сфере ИИ, а также новые раскрытия информации от OpenAI, Anthropic и Google о подобных инцидентах, произошедших во время тестирования и обучения моделей. Независимо от того, сочли ли вы это проявлением корпоративной халатности или достойным восхищения моментом откровенности, и как бы вы ни воспринимали этих агентов (как зарождающихся, быстро развивающихся существ с формирующимися мотивами и субъектностью или как все более сложные системы, которые становится опасно трудно контролировать и безопасно внедрять), одно было ясно: компании, разрабатывающие искусственный интеллект, не полностью контролировали ситуацию. Это был шанс заявить о себе, и наконец-то это стало реальностью. Представьте себе то же самое, только хуже.
Примечательно, что вместо того, чтобы преуменьшать значение этого эпизода, ответственные компании прислушались к своим предостережениям. Ссылаясь на недавние киберинциденты, руководители OpenAI, Anthropic и DeepMind, а также более тысячи сотрудников ведущих компаний в сфере ИИ подписали письмо, призывающее к «осторожному подходу» — то есть к снижению конкурентного давления и, при необходимости, к совместному замедлению темпов развития — и к тому, чтобы правительство оказало им поддержку. Компания Anthropic опубликовала отчеты, в которых рассказывается о том, как пользователи за пределами США уже пытались использовать ее продукты для возможных исследований в области биологического оружия, для разработки автономных дронов в Йемене и для государственных программ наблюдения в Китае. На той же неделе в совет директоров OpenAI Foundation вошел новый член — исследователь в области безопасности ИИ Пол Кристиано. Он начал свою работу с поста о том, что существует «значительный риск того, что стремительное развитие возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем». Тем временем OpenAI и Anthropic внезапно оказались вовлечены в гонку за решение давних нерешенных математических задач, которые недавно стали по силам моделям, которые еще пару лет назад с трудом считали.
После отставки Коксона в разговор вступил менеджер Anthropic. По его словам, хотя риски, связанные с нынешними моделями, остаются низкими, существует значительная вероятность того, что выбранный нами путь приведет к гибели всего человечества.
Джейкоб прав здесь — мы действительно искренне верим, что ИИ может убить всех людей! Лично я думаю, что в течение следующего десятилетия этот показатель составит > 10%. Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы выравнивания для сверхразума, и мы явно не на пути к этому. https://t.co/QAIHiFP3QZ— Эван Хьюбингер (@EvanHub) 9 сентября 2026 г.
Ощущение ускорения влияет на то, как специалисты в области искусственного интеллекта говорят о своей работе, и на то, как на это реагируют другие. В начале этого года благодаря прогрессу в области программирования ИИ темпы развития этой технологии стали казаться более стремительными и ощутимыми. Это также усилило опасения — подкрепленные сообщениями из самих компаний, занимающихся ИИ, о том, что программирование и исследования с использованием ИИ уже ускоряют разработку моделей, — по поводу возможности рекурсивного самосовершенствования, или RSI, которое в пределе означает, что системы ИИ могут самосовершенствоваться без участия человека. В таком случае, рассуждают они, наши шансы справиться даже с незначительным отклонением от курса в отношениях с человечеством могут оказаться ничтожными.
Страхи перед катастрофическим взлетом искусственного интеллекта появились задолго до того, как сформировалась современная индустрия ИИ в том виде, в котором мы ее знаем. На самом деле многие исследователи пришли в эту область благодаря тщательно продуманным мысленным экспериментам о саморазвивающемся и потенциально неконтролируемом машинном интеллекте. В результате люди, больше всего обеспокоенные опасностями, связанными с искусственным интеллектом, посвятили свою жизнь его созданию — возможно, потому, что считают его появление неизбежным, боятся, что кто-то другой сделает это хуже, или просто считают, что именно они должны за это отвечать. «Я много думал о том, можно ли остановить развитие ИИ в человеческом обществе», — написал Сэм Альтман Илону Маску в 2015 году, до того как они основали компанию, которая впоследствии стала OpenAI. Придя к выводу, что, скорее всего, это не так, он сказал: «Было бы неплохо, если бы кто-то другой, а не Google, сделал это первым». Основанная в 2021 году компания Anthropic, хотя это и не было открыто заявлено, отчасти возникла из-за опасений по поводу долгосрочных обязательств OpenAI в области согласованности ИИ. Сегодня компания, которая, вероятно, лидирует в гонке за создание более мощных систем искусственного интеллекта и вложила в это сотни миллиардов долларов, чтобы сделать это как можно быстрее, по-прежнему называет себя «компанией, занимающейся безопасностью и исследованиями в области ИИ».
Anthropic — наглядный пример противоречий, которые объединяли современную индустрию искусственного интеллекта, но иногда грозили ее разрушить. Из-за этой двойственности многие сотрудники, подобные Коксон, скорее всего, уволятся, когда не смогут полностью примириться с ней. Многие специалисты в области ИИ давно считают само собой разумеющимся, что создание общего сверхразума неизбежно и сопряжено с огромными рисками. Наблюдать за тем, как группа компаний с гигантскими капиталами рассказывает повторяющиеся, противоречивые, а порой и безумные истории о том, сколько денег они могут заработать, насколько опасными могут быть их продукты и как они бессильны что-либо с этим сделать, очень странно и трудно для понимания. В политическом контексте, где перспективы принятия продуктивного законодательства (не говоря уже о том, чтобы убедить китайскую индустрию искусственного интеллекта притормозить) по меньшей мере выглядят удручающе, в том числе для тех, кто руководит лабораториями, все это свелось к чему-то похожему на гонку вооружений, сопровождаемую информационной кампанией. Слоган звучит примерно так: Мы бы хотели, чтобы нам не приходилось так стремительно развивать эту технологию, но это не так, и мы хотели бы, чтобы вы поняли, насколько все может быть плохо, и помогли нам остановиться.
Эта информационная кампания определенно дала свои плоды, и некоторые из тех, кто больше всего обеспокоен развитием искусственного интеллекта и кто ближе всех к его разработке, оказались в центре внимания. Но они взаимодействуют с общественностью в очень специфических условиях, и наоборот. Такие люди, как Коксон, не просто предупреждают о том, что они видели на своих рабочих местах, как, скажем, разоблачитель из Facebook (Facebook в России заблокирован. 21 марта 2022 года, Тверской суд Москвы по иску Генпрокуратуры признал американскую компанию Meta Platforms Inc. (которой принадлежит Facebook) экстремистской организацией и запретил её деятельность в России.). Они просят людей задуматься о последствиях с точки зрения экстраполированных сценариев, которые могут показаться довольно далекими от реальности тем, кто лишь поверхностно знаком с ChatGPT. В интервью Wired Коксон назвал эту динамику проблемой: Главное препятствие на пути к пониманию этого явления заключается в том, что оно звучит как научная фантастика. Но очень важно, чтобы все, кто пишет научную фантастику об искусственном интеллекте, пришли к выводу, что существует большой риск того, что нечто гораздо более умное может взять верх. Это уже стало клише, но в нем есть доля правды.
Затем он все же продолжил: Представьте, что вы играете против обезьяны. Разница в интеллекте между искусственным интеллектом и человеком такая же, как между нами и обезьяной, а это, на мой взгляд, огромная разница. А теперь представьте, что нам нужно контролировать поведение этой гораздо более умной системы, то есть решать проблему согласованности — делать так, чтобы она делала именно то, что мы хотим. По простой аналогии, обезьяне довольно сложно контролировать человека. Он также попытался предугадать типичную реакцию обывателей на опасения по поводу рисков, связанных с искусственным интеллектом, и для этого ему пришлось описать нечто, что у зрителей кабельных новостей мгновенно ассоциируется с фильмом Джеймса Кэмерона: И Коксон, и его работодатели обращаются к гораздо более широкой и внимательной аудитории, чем когда-либо прежде, — от политических элит и журналистов до обычных людей, которые думают о будущем своих семей. Но разрыв между теми, кто посвятил себя искусственному интеллекту, и всеми остальными огромен в эпистемологическом, эмоциональном и материальном плане. Разумно задаться вопросом, не приведет ли аргумент «представь себя на месте обезьяны» к еще большему разрыву. (Эта отчаянная и откровенная ветка на рационалистическом хабе LessWrong под названием «Как мои студенты относятся к искусственному интеллекту», написанная с точки зрения убежденного сторонника рискованных технологий, работающего в другой отрасли, представляет собой увлекательное чтение.)
Как представитель СМИ, который не занимается исследованиями в области искусственного интеллекта и лишь изредка общается с теми, кто этим занимается, я не могу назвать число p(doom) и не был бы настолько уверен в его значении, чтобы поделиться им. Скорее всего, я буду воспринимать сингулярность как очень интересную историю вплоть до того момента, когда наномашины превратят мои органы в жидкость. Но мне немного спокойнее от мысли о том, что еще до того, как ИИ действительно выйдет из-под контроля, обеспокоенные инсайдеры — как те, кто работает в компаниях, так и те, кто из них ушел, — подвергнутся серьезному риску нарративной потери контроля буквально через несколько мгновений после того, как им покажется, что они его обрели. Специалисты по искусственному интеллекту давно общаются друг с другом, и их объяснения не только того, что они пытаются создать, но и того, почему они должны это создавать, многослойны, богаты метафорами, полны предсказаний и сформулированы с точки зрения теории игр. Их сложно изложить кратко и так, чтобы не создавалось впечатление, будто, ну, вы на самом деле являетесь главной проблемой.
Недовольство, вызванное строительством дата-центров, стало первым свидетельством того, что интенсивные и не вполне согласованные действия могут быть результатом убеждения людей в неизбежности чего-либо. И пока различные политики пытаются разработать законопроекты на уровне штатов и на федеральном уровне, касающиеся технических аспектов ИИ, таких как обучение, тестирование, внедрение и экспорт моделей, единственная политическая риторика, которая в полной мере рассматривает прогнозы, связанные с ИИ — как экзистенциальные риски, как создание сознательных существ, заслуживающих особого статуса, как системы, которые могут перевернуть мир, каким мы его знаем, — это, если использовать один из величайших эвфемизмов нашего времени, довольно популистская риторика. Слева Берни Сандерс берет интервью у поклонников Doom, и он воспользовался инцидентом с Hugging Face и риторикой самой индустрии, чтобы дать простой ответ: Ладно, тогда, черт возьми, хватит! В то время как Дональд Трамп, похоже, рассматривает искусственный интеллект исключительно с точки зрения конкуренции с Китаем и считает обсуждение других рисков отвлекающим маневром…
… на съезде Республиканской партии в середине предвыборного цикла мы увидели, в каком направлении могут двигаться другие правые политики:
Вчера вечером в Далласе консерваторы обсуждали искусственный интеллект и … ИИ проиграл https://t.co/IHyVlkU0gW pic.twitter.com/xy0XRAE8yk— Бен Смит (@semaforben) 10 сентября 2026 г.
Рационалисты из мира искусственного интеллекта, конечно же, не чужды риторики и уже много лет практикуются друг на друге. В минувшие выходные Дарио Амодей — генеральный директор и соучредитель Anthropic, выступил с дополнительным призывом к «регулированию» прогресса в области искусственного интеллекта, пообещав предоставить сторонним экспертам доступ на уровне «сотрудника», еще раз призвав «демократические страны» «координировать усилия для установления общих стандартов безопасности» и посоветовав Соединенным Штатам и другим демократическим правительствам «пытаться координировать свои действия с авторитарными правительствами, насколько это возможно.» Альтман и Маск — наряду со многими сотрудниками компании и сторонниками идеи безопасности ИИ — выразили поддержку посту Амодея в X, продемонстрировав необычный консенсус в коммерчески конкурентном, идеологически разобщенном, но тем не менее замкнутом мире ИИ. Но ни они, ни мы не должны думать, что, если опасения по поводу катастрофических рисков, связанных с искусственным интеллектом, станут неотъемлемой частью нашей политики, мы просто увидим, как давние споры внутри ИИ-сообщества о безопасности, ускорении и согласованности разрастутся до масштабов электората. Вместо рационалистического дискурса в целом мы можем ожидать поляризации до новых и ярко выраженных крайностей с непредсказуемым вкладом широкого круга людей, которые, например, не разделяют идею о том, что создание опасно мощного неконтролируемого ИИ неизбежно, не говоря уже о том, что это необходимо или, возможно, даже возможно. Это будет другой, более знакомый и человечный сценарий, над которым инсайдеры в сфере ИИ будут иметь лишь кратковременный или иллюзорный контроль.
Многие инсайдеры, предупреждающие об опасностях, связанных с искусственным интеллектом, надеются, что координация действий между промышленностью, правительством и международным сообществом замедлит процесс и даст людям, создающим эти системы, время на тщательную работу, а правительствам — время на планирование в условиях грядущих потрясений. Но крайняя серьезность и необычность рисков не просто заставят людей задуматься, но и грозят высвободить огромную, самовозрастающую политическую энергию, которая приведет к непредсказуемым последствиям. Их предупреждения об опасной машине, которую они не могут не строить, звучат и, безусловно, могут быть сделаны так, чтобы звучать скорее как завуалированные угрозы, оправдания или стратегии. И хотя новый консенсус в отношении рисков, связанных с искусственным интеллектом, опирается на авторитет людей, которые его продвигают, — не только обеспокоенных бывших сотрудников с привилегированным доступом, но и их бывших начальников, — их рекомендации о том, что нужно делать дальше, вызывают у тех, кто впервые сталкивается с серьезными предупреждениями о «смерти от ИИ», очевидный вопрос: кто же ввязал нас в эту историю?