автор: Адитья Сони
REUTERS/Дадо Рувич/Иллюстрация//Архивное фото
- Краткие сведения
- Компании
- По мнению Anthropic, искусственный интеллект вскоре сможет совершенствоваться без участия человека
- По словам представителей стартапа, приостановка разработки позволит обществу справиться с последствиями развития ИИ
- Предыдущие попытки остановить развитие ИИ не увенчались успехом
5 июня (Рейтер). Компания Anthropic призывает ведущие лаборатории, занимающиеся разработкой искусственного интеллекта, рассмотреть возможность скоординированной и поддающейся проверке приостановки исследований, предупреждая, что стремительное развитие технологий может привести к тому, что системы искусственного интеллекта будут совершенствоваться быстрее, чем общество сможет справляться с сопутствующими рисками.
По словам создателя Claude, способность искусственного интеллекта выполнять задачи самостоятельно удваивается примерно каждые четыре месяца, и он движется к «рекурсивному самосовершенствованию» — этапу, на котором технология может развиваться без участия человека.
«Если системы способны полностью создавать своих преемников, то способы их защиты, мониторинга и управления их поведением становятся гораздо более важными», — говорится в длинном посте стартапа в блоге, опубликованном в четверг. В компании добавили, что пауза позволит обществу «справиться с огромными последствиями». «Мы еще не достигли этой цели, и рекурсивное самосовершенствование не является неизбежным. Но оно может наступить раньше, чем большинство организаций к этому готовы», — написали соучредитель Anthropic Джек Кларк и руководительница Anthropic Institute Марина Фаваро. По мере развития технологий искусственного интеллекта растут опасения, что продвинутые системы ИИ могут выйти из-под контроля человека и нанести вред обществу. В начале этого года собственная модель Anthropic под названием Mythos произвела фурор в таких отраслях, как банковское дело и разработка программного обеспечения, благодаря своей способности находить уязвимости в существующем коде.
Однако процесс регулирования идет медленно, особенно в США, где расположено большинство ведущих лабораторий по разработке искусственного интеллекта. Ранее на этой неделе администрация Трампа издала указ, согласно которому лаборатории должны добровольно предоставлять свои самые продвинутые модели для государственного тестирования на предмет кибербезопасности перед их публичным выпуском. Исследователи в области искусственного интеллекта и раньше призывали к паузе в развитии ИИ, но без особого успеха. Илон Маск, владелец лаборатории искусственного интеллекта xAI, был одним из тех, кто в 2023 году поддержал инициативу некоммерческого Института «Будущее жизни» о приостановке разработки ИИ на шесть месяцев, чтобы успеть внедрить меры безопасности. Компания Anthropic уже давно позиционирует себя как лаборатория искусственного интеллекта, ориентированная на обеспечение безопасности. Ранее в этом году она отказалась предоставить военным США свои модели для внутреннего наблюдения и создания полностью автономного оружия, что вызвало негативную реакцию со стороны правительства, которое внесло компанию в черный список по соображениям национальной безопасности. Это решение вступит в силу в конце 2026 года.В пятницу агентство Reuters сообщило, что разногласия между некоторыми представителями правительства США начали ослабевать. Тем не менее Anthropic продолжает выпускать все более мощные модели и в феврале отказалась от ключевого обещания по обеспечению безопасности, заявив, что больше не будет сдерживать потенциально опасный ИИ, если конкуренты приблизятся к его возможностям. Недавно компания была оценена в $965 млрд в ходе масштабного раунда финансирования и подала конфиденциальную заявку на первичное публичное размещение акций в США в понедельник, опередив своего конкурента OpenAI как по стоимости, так и в гонке за критически важным финансированием.
СКООРДИНИРОВАННЫЕ ДЕЙСТВИЯ
В опубликованном в четверг посте Anthropic говорится, что одностороннее или плохо скоординированное замедление темпов наступления может привести к обратному эффекту, если менее осторожные участники продолжат продвигаться вперед, что потенциально снизит общий уровень безопасности. В нем говорилось, что для значимой паузы потребуется согласие «множества хорошо обеспеченных ресурсами лабораторий», работающих на передовых технологических рубежах, а также правила, определяющие, при каких условиях такая пауза будет введена или отменена и кто будет за ней следить.
«Односторонняя приостановка исследований одной лабораторией, напротив, возможна в любой момент, но принесет гораздо меньше пользы: она изменит лидера, но не запустит более масштабный процесс обсуждения, которого сейчас не хватает», — заявили в стартапе.
Исследовательское подразделение компании, Anthropic Institute, планирует изучить системы, необходимые для замедления развития ИИ, и в ближайшие месяцы соберет политиков, исследователей, представителей гражданского общества и конкурирующие компании, работающие в сфере ИИ, чтобы обсудить управление рисками, связанными с рекурсивным самосовершенствованием. Компании OpenAI, xAI, Alphabet, Meta Platforms и французская Mistral не сразу ответили на запросы о комментарии по поводу того, присоединятся ли они к конференции.
Материал подготовили Адитья Сони в Бангалоре и Джуби Бабу в Мехико; под редакцией Шрейи Бисвас и Саумьядеба Чакрабарти
Наши стандарты: Принципы доверия Thomson Reuters.