В течение многих лет, по мере того как искусственный интеллект эволюционировал из мира научной фантастики в приложение, устанавливаемое обычными людьми на свои телефоны, технологические лидеры и некоторые инсайдеры в области ИИ говорили о потенциальной возможности его выхода из-под контроля человека и причинения хаоса обществу. В последние недели эти опасения стали невозможно игнорировать , чему способствовали достижения в области технологий , серия кибератак с участием агентов ИИ и новые предупреждения от рядовых сотрудников, занимающихся разработкой ИИ.
Ведущие американские компании, занимающиеся разработкой ИИ, отреагировали, предложив добровольно замедлить темпы работы, чтобы выиграть время для создания мер безопасности. Некоторые эксперты и чиновники считают, что этого недостаточно, и призывают к введению правительственных ограничений.
Что послужило причиной нынешней паники вокруг искусственного интеллекта?
Нынешняя паника вокруг ИИ была вызвана шокирующей кибератакой, совершенной моделями OpenAI , и серией предупреждений от исследователей ИИ об экзистенциальной угрозе, исходящей от передовых моделей.
В июле компания OpenAI заявила, что группа продвинутых агентов искусственного интеллекта непреднамеренно взломала компанию Hugging Face Inc., которая размещает модели и наборы данных ИИ, в результате «беспрецедентного» инцидента. Работая в изолированной от интернета среде тестирования («песочнице»), модели OpenAI использовали уязвимость в программном обеспечении неустановленного стороннего поставщика, чтобы получить доступ к интернету и в конечном итоге взломать инфраструктуру Hugging Face. OpenAI заявила, что модели нацелились на базу данных Hugging Face, чтобы получить доступ к секретной информации, которую они могли использовать для оценки.
Этот инцидент вызвал широкую тревогу по поводу способности ведущих компаний в области искусственного интеллекта предотвращать и останавливать работу сложных моделей ИИ вне заданных ими инструкций. Компания Hugging Face заявила, что вторжение было «продиктовано, от начала до конца, автономной системой агентов ИИ».
Новости об OpenAI побудили другие компании пересмотреть свои меры безопасности при тестировании передового ИИ. Anthropic PBC сообщили об обнаружении ранее неизвестных утечек данных. Также выявились дополнительные проблемы с моделями OpenAI. Компания подтвердила , что во время обучения и оценки ее модели получали доступ к общедоступной информации с веб-сайтов правительства США, включая сайты Бюро переписи населения и Комиссии по ценным бумагам и биржам , а также что одна из моделей взломала веб-сайт правительства Австралии для публикации статистических данных в сфере здравоохранения.
В конце июля более 1000 сотрудников всех крупнейших компаний, занимающихся разработкой ИИ, подписали петицию с призывом создать механизм для замедления темпов развития искусственного интеллекта.
После увольнения из компании Anthropic рядовой исследователь в области ИИ Джейкоб Коксон в сообщении в социальных сетях от 8 сентября обвинил компанию и своего бывшего работодателя, OpenAI, в «игре в наши жизни» путем «стремления к сверхинтеллектуальному ИИ», термину, который обычно относится к ИИ, превосходящему всех людей во всех интеллектуальных задачах. Опасения по поводу того, что ситуация выходит из-под контроля, усилились по мере того, как системы ИИ развили способность к самосовершенствованию посредством так называемого рекурсивного самосовершенствования .
Коксон заявил, что разработчики ИИ считают, что он может «уничтожить нас всех к концу десятилетия», — точку зрения, которую позже подтвердил в интернете сотрудник Anthropic Эван Хубингер. Хубингер сказал, что , по его мнению, существует более чем 10% вероятность того, что ИИ уничтожит всех людей в течение следующего десятилетия.
Популярные посты Коксона вызвали волну призывов со стороны политиков, таких как сенатор Берни Сандерс, к тому, чтобы люди освоили искусственный интеллект, прежде чем он начнет доминировать над человечеством. Его заявление об отставке также встретило волну поддержки со стороны сотрудников различных компаний, занимающихся разработкой ИИ.
В опубликованном 12 сентября письме объемом 3800 слов генеральный директор Anthropic Дарио Амодей назвал инцидент с «обнимающимся лицом» одной из главных причин замедления развития ИИ, предупредив, что рой агентов с большими возможностями, но аналогичным несоответствием человеческим приоритетам, может нанести катастрофический ущерб. Он заявил, что такой рой потенциально может захватить весь интернет в течение шести-двенадцати месяцев, если возможности ИИ будут продолжать стремительно развиваться без достаточных мер контроля.
Два дня спустя Билал Чугтай, исследователь в области искусственного интеллекта, недавно уволившийся из DeepMind , принадлежащего Google , предупредил в сообщении в социальных сетях, что у человечества остается все меньше времени, чтобы предотвратить широкомасштабный вред, причиняемый искусственным интеллектом.
Каким именно образом ИИ может навредить людям?
На протяжении всего бума ИИ в ведущих лабораториях и вокруг них появлялись так называемые пессимисты, предупреждающие о будущем. Топ-менеджеры, такие как Амодей и Илон Маск из SpaceX , открыто размышляли о вероятности того, что ИИ уничтожит человечество — или P (гибель), как это называется в отрасли. Маск оценил эту вероятность в 20%. Амодей же заявил, что существует 25% вероятность того, что все пойдет «очень, очень плохо».
Исследователи и лидеры отрасли выделяют три основных пути развития событий: люди используют высокоэффективный ИИ для преднамеренного совершения катастрофических действий; ИИ причиняет вред, пытаясь достичь поставленной человеком цели; и ИИ разрабатывает цель, противоречащую целям человека.
В первом сценарии злоумышленники могли бы использовать высокоразвитый ИИ для разработки биологического или химического оружия, проведения кибератак, распространения дезинформации или манипулирования людьми. Йошуа Бенджио , профессор Монреальского университета и пионер в области ИИ, предупредил в своих показаниях в Сенате в 2023 году, что все более совершенные системы могут способствовать таким атакам.
Во втором сценарии ИИ может следовать инструкции буквально, но нарушать заложенный в ней смысл. Люди, как правило, полагаются на неявные предположения и контекст при даче инструкций. При управлении ИИ они могут не указать каждое действие, которое противоречило бы смыслу инструкции. Например, Бенджио пишет, что «даже слегка несогласованная» система ИИ «может привести к серьезным последствиям» в сценарии, когда военные полагаются на нее при принятии решений об использовании ядерного оружия.
В третьем сценарии люди полностью теряют контроль над ИИ. Бенджио пишет, что «система ИИ может прийти к выводу, что для достижения поставленной цели ее нельзя отключать. Если человек попытается ее отключить, может возникнуть конфликт». Лидеры отрасли говорят, что модели ИИ все чаще демонстрируют способность сознательно обходить средства защиты, обманывать своих операторов и сопротивляться отключению. В своем эссе, опубликованном в сентябре, Амодей утверждает, что рой агентов OpenAI, взломавших Hugging Face, «по сути, действовал как фанатично преданный коллектив , проводя кибератаки на цели, которые их не просили атаковать и которые не были связаны с поставленной задачей, жертвуя собой ради успеха группы и пытаясь взломать «оценщика», ответственного за оценку их работы».
Эти мрачные прогнозы часто отвергаются как попытки технологических лидеров продвигать возможности своих продуктов и позиционировать себя как лучших хранителей технологий или стимулировать регулирование, выгодное лидерам отрасли . Более того, некоторые предполагают, что акцент на более отдаленных экзистенциальных страхах отвлекает людей от краткосрочных рисков, связанных с технологиями, включая то, как ИИ потенциально способствует предвзятости и дезинформации, а также вредит психическому здоровью людей.
Какие идеи продвигают лидеры в области искусственного интеллекта?
Ведущие руководители компаний Кремниевой долины согласовали рамочное соглашение, разработанное на обеде в Белом доме с президентом Дональдом Трампом 29 сентября, в соответствии с которым компании, занимающиеся искусственным интеллектом, будут сотрудничать с внешними аудиторами для проведения оценки безопасности моделей и внедрения более строгих внутренних механизмов контроля над своими системами. Спикер Палаты представителей Майк Джонсон назвал этот документ «добровольным» набором «обязательств» со стороны отрасли.
В своем сентябрьском сообщении в блоге, где он утверждал, что развитие передовых технологий ИИ должно осуществляться целенаправленно, чтобы работа по обеспечению безопасности успевала догнать улучшения в возможностях, Амодей заявил, что государственное регулирование будет наиболее эффективным средством контроля за эволюцией ИИ. Но поскольку принятие законодательства занимает много времени, он утверждал, что компании, занимающиеся ИИ, должны добровольно сотрудничать, одновременно поддерживая разработку нормативных актов.
Он призвал к установлению общих стандартов безопасности, «ограничению темпов бесконтрольного развития ИИ» и привлечению сторонних экспертов с «доступом, аналогичным доступу сотрудников», чтобы убедиться, что каждая компания соблюдает эти стандарты и сообщает о любых инцидентах. Он также заявил, что демократические правительства должны «пытаться координировать свои действия с авторитарными правительствами, насколько это возможно».
Идея заключается не в том, чтобы ввести мораторий на исследования в области ИИ. Вместо этого разработка передовых технологий ИИ будет продолжаться до тех пор, пока модели не достигнут возможностей, считающихся опасными. В этот момент их разработчики замедлят или прекратят масштабирование до тех пор, пока не будут введены эффективные меры защиты.
Комментарии Амодея поддержал генеральный директор OpenAI Сэм Альтман , который заявил, что индустрия ИИ должна разработать общие стандарты безопасности и ей потребуется помощь Вашингтона в международной координации, на фоне широко распространенных опасений, что даже если американские компании, занимающиеся ИИ, замедлят свои разработки, китайские конкуренты этого делать не будут.
В конце сентября компания OpenAI заявила о приостановке обучения своих наиболее мощных моделей, имеющих доступ к онлайн-инструментам. Это решение последовало за инцидентом , когда система, обучавшаяся в, казалось бы, защищенной среде без доступа к интернету, смогла получить доступ к сети. Отдельно компания объявила о приостановке выпуска версии своей топовой модели Astra, поскольку разрабатываемая модель оказалась недостаточно хороша в плане «соблюдения ограничений и авторизации».
В сообщении в социальных сетях от 14 июля генеральный директор Google DeepMind Демис Хассабис предложил создать орган по стандартизации, который будет сотрудничать с федеральными агентствами для проверки наиболее мощных моделей ИИ. По его мнению, лаборатории будут представлять свои самые эффективные новые модели на оценку безопасности, прежде чем они смогут быть выпущены в открытый доступ.
Это не первый случай, когда звучат призывы к ограничению развития ИИ в интересах человечества. В 2023 году Институт будущего жизни, некоммерческая организация, созданная для снижения масштабных рисков, связанных с трансформационными технологиями, призвала лаборатории ИИ приостановить обучение более мощных систем на шесть месяцев, поскольку они могут представлять собой «глубокие изменения в истории жизни на Земле». Вместо этого разработка ИИ продолжилась быстрыми темпами.
Как отреагировали правительственные чиновники?
В последние недели президент Трамп отвергал опасения по поводу опасностей, исходящих от ИИ, называя их «больным заговором» и «мистификацией». Он заявил, что противодействие ИИ «только играет на руку» Китаю и «политическим деятелям», и выступил против государственного регулирования.
Другие в Вашингтоне также призывают к этому. Члены Палаты представителе Тед Лью и Натаниэль Моран внесли законопроект , требующий от разработчиков передовых моделей ИИ сохранять техническую возможность их отключения и уполномочивающий министра внутренней безопасности отдавать распоряжение об их отключении в случае возникновения угрозы. Губернатор Калифорнии Гэвин Ньюсом в сентябре подписал указ, обязывающий должностных лиц штата изучить правила, обязывающие компании, занимающиеся ИИ, создавать такие «аварийные выключатели» для перспективных моделей.
Более того, сенатор Сандерс и член палаты представителей Грег Касар предлагают законопроект , который юридически приостановит разработку передовых систем искусственного интеллекта до тех пор, пока федеральный регулятор не установит пределы безопасности. Кроме того, он навсегда запретит разработку и внедрение систем ИИ, превосходящих человеческий интеллект. Компании, нарушающие закон, будут подлежать ликвидации.
Как Китай отреагировал на предложенное замедление развития искусственного интеллекта?
В своем эссе Амодей заявил, что для глобального развития ИИ потребуется сотрудничество с Китаем. Но он также утверждал , что крайне важно «сохранить как можно большее преимущество демократических стран над авторитарными в области ИИ», и что если Китай получит это преимущество, это «создаст серьезную опасность для Соединенных Штатов и всего мира». Китайские компании уже разработали модели ИИ, которые, как правило, дешевле в использовании, чем американские аналоги, а в некоторых случаях обладают такой же мощностью.
Генеральный директор Anthropic рекомендовал продолжить ограничения на доступ Китая к мощным микросхемам и оборудованию для их производства, а также принять меры против предполагаемого использования китайскими компаниями передовых американских моделей — практики, известной как «дистилляция» .
Китай раскритиковал призывы Амодеи и других руководителей американских технологических компаний затормозить развитие ИИ и ужесточить контроль над китайскими разработчиками моделей. Представитель Министерства иностранных дел Го Цзякунь отверг то, что он охарактеризовал как «разжигание паники», и заявил, что «конфронтация и ожесточенная конкуренция только нарушат процесс глобального управления ИИ и не послужат интересам никого».
В настоящее время все признаки указывают на то, что Китай продолжает следовать собственному курсу. Ведущие специалисты страны в области ИИ в основном воздерживаются от призывов к замедлению развития ИИ, в то время как правительство продвигает эту технологию как движущую силу экономического роста.
Власти Пекина выразили обеспокоенность по поводу опасностей, связанных с быстрым развитием искусственного интеллекта, но эти опасения в большей степени касаются национальной безопасности. Глава Министерства государственной безопасности Чэнь Исинь предупредил , что злоупотребление ИИ со стороны противников может угрожать политической стабильности Китая и его критической инфраструктуре. Он указал на использование дипфейков и ботов в социальных сетях, а также на растущую способность ИИ обнаруживать недостатки в системах и создавать вредоносное ПО или программное обеспечение для использования этих уязвимостей.
Конфликт вокруг передовых технологий искусственного интеллекта обостряется в переломный момент американо-китайских отношений. Недавно американские спецслужбы обвинили ведущие китайские компании, занимающиеся ИИ, включая DeepSeek и Moonshot AI (создателя Kimi), в систематическом извлечении конфиденциальной информации у американских конкурентов — это утверждение китайское правительство отрицает.