Пока никто не знает, как ChatGPT и его собратья по искусственному интеллекту изменят мир, и одна из причин заключается в том, что никто на самом деле не знает, что происходит внутри них. Возможности некоторых из этих систем выходят далеко за рамки того, чему их обучали, и даже их изобретатели недоумевают, почему. Растущее число тестов показывает, что эти системы искусственного интеллекта разрабатывают внутренние модели реального мира, во многом похожие на то, что делает наш собственный мозг, хотя техника машин отличается.
“Все, что мы хотим с ними сделать, чтобы сделать их лучше или безопаснее, или что-то в этом роде, мне кажется нелепым просить себя делать, если мы не понимаем, как они работают”, — говорит Элли Павлик из Университета Брауна, одна из исследователей, работающих над заполнением этого объяснительного пробела.
На определенном уровне она и ее коллеги прекрасно понимают GPT (сокращение от generative pretrained transformer) и другие большие языковые модели, или LLM. Модели основаны на системе машинного обучения, называемой нейронной сетью. Такие сети имеют структуру, смоделированную по образцу соединенных нейронов человеческого мозга. Код для этих программ относительно прост и занимает всего несколько экранов. Он настраивает алгоритм автокоррекции, который выбирает наиболее вероятное слово для завершения отрывка на основе кропотливого статистического анализа сотен гигабайт интернет-текста. Дополнительное обучение гарантирует, что система представит свои результаты в форме диалога. В этом смысле все, что он делает, это извергает то, чему научился — это “случайный попугай”, по словам Эмили Бендер, лингвиста из Вашингтонского университета. Но LLM также удалось успешно сдать экзамен на степень бакалавра, объяснить бозон Хиггса пятистопным ямбом и попытаться расторгнуть брак своих пользователей. Мало кто ожидал, что довольно простой алгоритм автокоррекции приобретет такие широкие возможности.
То, что GPT и другие системы ИИ выполняют задачи, которым их не обучали, наделяя их “возникающими способностями”, удивило даже исследователей, которые в целом скептически относились к шумихе вокруг LLMS. “Я не знаю, как они это делают и могут ли они делать это в более общем плане так, как это делают люди, но они бросили вызов моим взглядам”, — говорит Мелани Митчелл, исследователь искусственного интеллекта в Институте Санта-Фе.
“Это, безусловно, гораздо больше, чем случайный попугай, и он, безусловно, создает определенное представление о мире, хотя я не думаю, что это совсем похоже на то, как люди строят внутреннюю модель мира”, — говорит Йошуа Бенгио, исследователь искусственного интеллекта в Университете Монреаля.
На конференции в Нью-Йоркском университете в марте философ Рафаэль Мильер из Колумбийского университета привел еще один потрясающий пример того, на что способны LLM. Модели уже продемонстрировали способность писать компьютерный код, что впечатляет, но не слишком удивительно, потому что в Интернете есть так много кода, который можно имитировать. Однако Миллер пошел еще дальше и показал, что GPT тоже может выполнять код. Философ ввел программу для вычисления 83-го числа в последовательности Фибоначчи. “Это многоступенчатое рассуждение очень высокой степени”, — говорит он. И бот справился с этим. Однако, когда Миллер напрямую попросил назвать 83-е число Фибоначчи, GPT ошибся: это говорит о том, что система не просто повторяла Интернет. Скорее, он выполнял свои собственные вычисления, чтобы получить правильный ответ.
Хотя LLM работает на компьютере, сам по себе он компьютером не является. Ему не хватает важных вычислительных элементов, таких как рабочая память. В качестве молчаливого признания того, что GPT сам по себе не должен быть способен запускать код, его изобретатель, технологическая компания OpenAI, с тех пор представила специализированный плагин — инструмент, который ChatGPT может использовать при ответе на запрос, — который позволяет ему это делать. Но этот плагин не использовался в демонстрации Миллера. Вместо этого он выдвигает гипотезу, что машина импровизировала память, используя свои механизмы для интерпретации слов в соответствии с их контекстом — ситуация, аналогичная тому, как природа перепрофилирует существующие возможности для новых функций.
Эта импровизированная способность демонстрирует, что LLM развивают внутреннюю сложность, которая выходит далеко за рамки поверхностного статистического анализа. Исследователи обнаруживают, что эти системы, похоже, достигают подлинного понимания того, чему они научились. В одном исследовании, представленном на прошлой неделе на Международной конференции по репрезентациям обучения (ICLR), докторант Кеннет Ли из Гарвардского университета и его коллеги—исследователи ИИ — Аспен К. Хопкинс из Массачусетского технологического института, Дэвид Бау из Северо-Восточного университета и Фернанда Виегас, Ханспетер Пфистер и Мартин Ваттенберг, все из Гарварда, создали свою уменьшенную копию нейронной сети GPT, чтобы они могли изучить ее внутреннюю работу. Они обучили его на миллионах матчей настольной игры «Отелло», вводя длинные последовательности ходов в текстовой форме. Их модель стала почти идеальным игроком.
Чтобы изучить, как нейронная сеть кодирует информацию, они применили метод, который Бенжио и Гийом Ален, также из Монреальского университета, разработали в 2016 году. Они создали миниатюрную сеть “зондирования” для анализа основной сети слой за слоем. Ли сравнивает этот подход с методами нейробиологии. “Это похоже на то, когда мы вводим электрический зонд в человеческий мозг”, — говорит он. В случае с ИИ исследование показало, что его “нейронная активность” соответствовала представлению игровой доски «Отелло», хотя и в замысловатой форме. Чтобы подтвердить это, исследователи запустили зонд в обратном направлении, чтобы внедрить информацию в сеть — например, заменив одну из фигур с черным маркером в игре на белую. “По сути, мы взламываем мозг этих языковых моделей”, — говорит Ли. Сеть соответствующим образом скорректировала свои действия. Исследователи пришли к выводу, что он играл в Отелло примерно как человек: держа игровое поле перед своим “мысленным взором” и используя эту модель для оценки ходов. Ли говорит, что, по его мнению, система осваивает этот навык, потому что это самое скупое описание ее обучающих данных. “Если вам дают целую кучу игровых сценариев, попытка выяснить лежащее в их основе правило — лучший способ сжатия”, — добавляет он.
Эта способность делать выводы о структуре внешнего мира не ограничивается простыми игровыми ходами; она также проявляется в диалоге. Белинда Ли (не имеющая отношения к Кеннету Ли), Максвелл Най и Джейкоб Андреас, все из M.I.T., изучали сети, которые играли в текстовую приключенческую игру. Они подавали такие предложения, как “Ключ в сундуке с сокровищами”, за которыми следовало “Ты берешь ключ”. Используя исследование, они обнаружили, что сети закодировали внутри себя переменные, соответствующие “сундуку” и “тебе”, каждая из которых обладает свойством обладать ключом или нет, и обновляли эти переменные предложение за предложением. У системы не было независимого способа узнать, что такое ящик или ключ, но она подобрала концепции, необходимые для выполнения этой задачи. “Внутри модели скрыто некоторое представление о состоянии”, — говорит Белинда Ли.
Исследователи поражаются тому, как много LLM способны узнавать из текста. Например, Павлик и ее тогдашний аспирант Рома Патель обнаружили, что эти сети впитывают описания цветов из интернет-текста и создают внутренние представления о цвете. Когда они видят слово “красный”, они воспринимают его не просто как абстрактный символ, но как концепцию, имеющую определенное отношение к бордовому, малиновому, фуксии, ржавчине и так далее. Продемонстрировать это было несколько сложно. Вместо того, чтобы вставить зонд в сеть, исследователи изучили его реакцию на серию текстовых подсказок. Чтобы проверить, не отражает ли это просто цветовые соотношения из онлайн-ссылок, они попытались ввести систему в заблуждение, сказав ей, что красный на самом деле зеленый — подобно старому философскому мысленному эксперименту, в котором красный цвет одного человека является зеленым для другого. Вместо того, чтобы повторять неправильный ответ, система соответствующим образом изменила цветовые оценки, чтобы поддерживать правильные соотношения.
Опираясь на идею о том, что для выполнения функции автокоррекции система ищет логику, лежащую в основе ее обучающих данных, исследователь машинного обучения Себастьен Бубек из Microsoft Research предполагает, что чем шире диапазон данных, тем более общие правила обнаружит система. “Возможно, мы наблюдаем такой огромный скачок, потому что мы достигли такого разнообразия данных, которое достаточно велико, что единственным основополагающим принципом для всего этого является то, что их создали разумные существа”, — говорит он. “И поэтому единственный способ объяснить все эти данные — [чтобы модель] стала разумной”.
В дополнение к извлечению основного значения языка, LLM способны учиться на лету. В области ИИ термин “обучение” обычно используется для обозначения процесса, требующего больших вычислительных ресурсов, в ходе которого разработчики предоставляют нейронной сети доступ к гигабайтам данных и настраивают ее внутренние соединения. К моменту ввода запроса в ChatGPT сеть должна быть исправлена; в отличие от людей, она не должна продолжать учиться. Поэтому стало неожиданностью, что LLM действительно учатся по подсказкам своих пользователей — способность, известная как “обучение в контексте”. “Это другой вид обучения, о существовании которого раньше не задумывались”, — говорит Бен Гертцель, основатель компании SingularityNET, занимающейся искусственным интеллектом.
Одним из примеров того, как учится магистр права, является то, как люди взаимодействуют с чат-ботами, такими как ChatGPT. Вы можете привести системе примеры того, как вы хотите, чтобы она реагировала, и она подчинится. Его результаты определяются последними несколькими тысячами слов, которые он видел. То, что он делает, учитывая эти слова, предписано его фиксированными внутренними связями, но последовательность слов, тем не менее, обеспечивает некоторую адаптивность. Целые веб-сайты посвящены подсказкам “побег из тюрьмы”, которые преодолевают “барьеры” системы — ограничения, которые не позволяют системе сообщать пользователям, как сделать самодельную бомбу, например, — обычно направляя модель притворяться системой без барьеров. Некоторые люди используют джейлбрейк в отрывочных целях, другие используют его, чтобы получить более креативные ответы. “Я бы сказал, что он ответит на научные вопросы лучше”, чем если вы просто зададите его напрямую, без специального запроса на побег из тюрьмы, говорит Уильям Хан, содиректор лаборатории машинного восприятия и когнитивной робототехники Атлантического университета Флориды. “В науке так лучше”.
Другой тип обучения в контексте происходит с помощью подсказок “цепочки мыслей”, что означает просьбу сети изложить каждый шаг своих рассуждений — тактика, которая позволяет ей лучше справляться с логическими или арифметическими задачами, требующими нескольких шагов. (Но одна вещь, которая сделала пример Миллера таким удивительным, заключается в том, что сеть нашла число Фибоначчи без какого-либо такого обучения.)
В 2022 году команда Google Research и Швейцарского федерального технологического института в Цюрихе — Йоханнес фон Освальд, Эйвинд Никлассон, Этторе Рандаццо, Жуан Сакраменто, Александр Мордвинцев, Андрей Жмогинов и Макс Владимир — показали, что обучение в контексте выполняется по той же базовой вычислительной процедуре, что и стандартное обучение, известное как градиентный спуск. Эта процедура не была запрограммирована; система обнаружила ее без посторонней помощи. “Это должен быть приобретенный навык”, — говорит Блейз Агуэра-и-Аркас, вице-президент Google Research. На самом деле, он думает, что LLM могут обладать другими скрытыми способностями, которые еще никто не обнаружил. “Каждый раз, когда мы тестируем новую способность, которую можем оценить количественно, мы ее находим”, — говорит он.
Хотя у LLM достаточно слепых зон, чтобы не квалифицироваться как искусственный общий интеллект, или AGI — термин, обозначающий машину, которая обладает изобретательностью мозга животных, — эти возникающие способности наводят некоторых исследователей на мысль, что технологические компании ближе к AGI, чем предполагали даже оптимисты. “Это косвенное доказательство того, что мы, вероятно, не так уж далеки от AGI”, — сказал Гертцель в марте на конференции по глубокому обучению в Атлантическом университете Флориды. Плагины OpenAI придали ChatGPT модульную архитектуру, немного напоминающую архитектуру человеческого мозга. “Объединение GPT-4 [последней версии LLM, которая поддерживает ChatGPT] с различными плагинами может стать путем к человекоподобной специализации функций”, — говорит исследователь M.I.T. Анна Иванова.
В то же время исследователи обеспокоены тем, что окно в их способность изучать эти системы может закрываться. OpenAI не разглашает подробности о том, как она проектировала и обучала GPT-4, отчасти потому, что она конкурирует с Google и другими компаниями, не говоря уже о других странах. “Вероятно, в промышленности будет меньше открытых исследований, и все будет более разрозненно организовано вокруг создания продуктов”, — говорит Дэн Робертс, физик-теоретик из M.I.T., который применяет методы своей профессии для понимания ИИ.
И это отсутствие прозрачности не просто вредит исследователям; это также препятствует попыткам понять социальные последствия стремительного внедрения технологии ИИ. “Прозрачность этих моделей — самая важная вещь для обеспечения безопасности”, — говорит Митчелл.