Эссе Дарио Амодеи, генерального директора Anthropic: Машины любви и заботы, взгляд на риски и перспективы искусственного интеллектаграции

rinnОкт 13, 2024

Как искусственный интеллект может изменить мир к лучшему

Октябрь 2024

Я много думаю и говорю о рисках, связанных с мощным искусственным интеллектом. Компания Anthropic, генеральным директором которой я являюсь, проводит множество исследований о том, как снизить эти риски. Из-за этого люди иногда делают вывод, что я пессимист или «пророк», который считает, что искусственный интеллект в основном будет плохим или опасным. Я так не думаю. На самом деле, одна из главных причин, по которой я уделяю внимание рискам, заключается в том, что они — единственное, что стоит между нами и тем, что я считаю принципиально позитивным будущим. Я думаю, что большинство людей недооценивают, насколько радикальными могут быть преимущества ИИ, так же как я думаю, что большинство людей недооценивают, насколько серьёзными могут быть риски.

В этом эссе я пытаюсь набросать, как может выглядеть этот положительный эффект — каким может быть мир с мощным искусственным интеллектом, если всё пойдёт правильно. Конечно, никто не может знать будущее с уверенностью или точностью, и последствия появления мощного искусственного интеллекта, скорее всего, будут ещё более непредсказуемыми, чем прошлые технологические изменения, поэтому всё это неизбежно будет состоять из догадок. Но я стремлюсь к тому, чтобы это были хотя бы обоснованные и полезные догадки, которые передают суть того, что произойдёт, даже если большинство деталей окажутся неверными. Я привожу много подробностей в основном потому, что считаю, что конкретное видение способствует более продуктивному обсуждению, чем расплывчатое и абстрактное.

Однако сначала я хотел бы кратко объяснить, почему мы с Anthropic не так много говорили о преимуществах мощного искусственного интеллекта и почему мы, вероятно, продолжим в целом много говорить о рисках. В частности, я сделал этот выбор из желания:

Максимальное использование рычагов. Базовое развитие технологии искусственного интеллекта и многие (не все) ее преимущества кажутся неизбежными (если только риски не сведут все под откос) и в основе своей обусловлены мощными рыночными силами. С другой стороны, риски не предопределены заранее, и наши действия могут сильно изменить их вероятность.
Избегайте восприятия как пропаганды. Компании, занимающиеся искусственным интеллектом, рассказывающие обо всех удивительных преимуществах ИИ, могут показаться пропагандистами или теми, кто пытается отвлечь от недостатков. Я также считаю, что в принципе вредно для вашей души тратить слишком много времени на «рекламу своей книги».
Избегайте высокомерия. Меня часто отталкивает то, как многие общественные деятели, связанные с ИИ (не говоря уже о лидерах компаний, занимающихся ИИ), говорят о мире после создания ИИ, как будто это их миссия — в одиночку привести его к этому, подобно пророку, ведущему свой народ к спасению. Я считаю опасным считать, что компании в одностороннем порядке формируют мир, и опасным считать практические технологические цели по сути религиозными.
Избегайте “научно-фантастического” багажа. Хотя я думаю, что большинство людей недооценивают преимущества мощного ИИ, небольшое сообщество людей, которые обсуждают будущее радикального ИИ, часто делают это в чрезмерно “научно-фантастическом” тоне (например, демонстрируя загруженные разумы, исследования космоса или общие киберпанковские настроения). Я думаю, это заставляет людей относиться к заявлениям менее серьезно и придает им некую нереальность. Чтобы внести ясность, проблема не в том, возможны ли описанные технологии (в основном эссе это обсуждается в мельчайших деталях), а в том, что “атмосфера” коннотативно привносит кучу культурного багажа и невысказанных предположений о том, какое будущее желательно, как будут решаться различные социальные проблемы и т.д. В результате часто получается фэнтези для узкой субкультуры, которое отталкивает большинство людей.

И все же, несмотря на все вышеперечисленные опасения, я действительно считаю важным обсудить, каким мог бы быть хороший мир с мощным ИИ, делая при этом все возможное, чтобы избежать вышеуказанных ловушек. На самом деле, я думаю, что крайне важно иметь по-настоящему вдохновляющее видение будущего, а не просто план борьбы с пожарами. Многие последствия мощного ИИ враждебны или опасны, но, в конце концов, должно быть то, за что мы боремся, какой-то положительный результат, при котором всем будет лучше, что-то, что сплотит людей, заставит их подняться над своими ссорами и противостоять предстоящим вызовам. Страх — это один из видов мотиватора, но его недостаточно: нам также нужна надежда.

Список положительных применений мощного искусственного интеллекта чрезвычайно велик (и включает робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на небольшом количестве областей, которые, как мне кажется, обладают наибольшим потенциалом для непосредственного улучшения качества человеческой жизни.

Пять категорий, которые меня больше всего волнуют::

Биология и физическое здоровье
Неврология и психическое здоровье
Экономическое развитие и бедность
Мир и управление
Работа и смысл

Мои прогнозы будут радикальными, если судить по большинству стандартов (кроме научно-фантастических “видений сингулярности”²), но я говорю серьезно и искренне. Все, что я говорю, очень легко может быть неверным (повторю свою мысль выше), но я, по крайней мере, попытался обосновать свои взгляды на основе полуаналитической оценки того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло, что у меня есть профессиональный опыт в биологии и неврологии, и я информированный любитель в области экономического развития, но я уверен, что многое пойму неправильно. Написание этого эссе заставило меня осознать одну вещь: было бы полезно собрать группу экспертов в предметной области (в биологии, экономике, международных отношениях и других областях), чтобы написать гораздо лучшую и более информированную версию того, что я здесь представил. Вероятно, лучше всего рассматривать мои усилия здесь как стартовую подсказку для этой группы.

Основные допущения и структура

Чтобы сделать все это эссе более точным и обоснованным, полезно четко указать, что мы подразумеваем под мощным ИИ (т. Е. Порог, при достижении которого часы начинают отсчет через 5-10 лет), а также изложить основу для размышлений о влиянии такого ИИ, когда он появится.

Как будет выглядеть мощный ИИ (мне не нравится термин AGI)³, и когда (или если) он появится, это огромная тема сама по себе. Это то, что я обсуждал публично и мог бы написать совершенно отдельное эссе (вероятно, когда-нибудь так и сделаю). Очевидно, что многие люди скептически относятся к тому, что в ближайшее время будет создан мощный искусственный интеллект, а некоторые сомневаются, что он вообще когда-либо будет создан. Я думаю, что это может произойти уже в 2026 году, хотя есть и способы, по которым это может занять гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдет достаточно скоро, и сосредоточиться на том, что произойдет через 5-10 лет после этого. Я также хочу дать определение того, как будет выглядеть такая система, каковы ее возможности и как она взаимодействует, хотя по этому поводу есть место для разногласий.

Под мощным ИИ я имею в виду модель ИИ — вероятно, похожую по форме на сегодняшнюю программу LLM, хотя она может быть основана на другой архитектуре, может включать несколько взаимодействующих моделей и может обучаться по—другому — со следующими свойствами:

С точки зрения чистого интеллекта⁴ он умнее лауреата Нобелевской премии в большинстве соответствующих областей — биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что он может доказывать нерешённые математические теоремы, писать очень хорошие романы, создавать сложные кодовые базы с нуля и т. д.
Помимо того, что это просто «умная вещь, с которой можно разговаривать», у неё есть все «интерфейсы», доступные человеку, работающему в виртуальном пространстве, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Она может выполнять любые действия, общаться или удалённо управлять чем-либо с помощью этого интерфейса, в том числе выполнять действия в Интернете, давать указания людям или получать их, заказывать материалы, руководить экспериментами, смотреть видео, снимать видео и так далее. Он выполняет все эти задачи с таким же мастерством, как и самые способные люди в мире.
Он не просто пассивно отвечает на вопросы; вместо этого ему можно давать задания, на выполнение которых уходят часы, дни или недели, а затем он уходит и выполняет эти задачи автономно, как это сделал бы умный сотрудник, запрашивая разъяснения по мере необходимости.
У него нет физического воплощения (кроме жизни на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием с помощью компьютера; теоретически он мог бы даже создавать роботов или оборудование для собственного использования.
Ресурсы, используемые для обучения модели, могут быть повторно использованы для запуска миллионов ее экземпляров (это соответствует прогнозируемым размерам кластера ~ к 2027 году), и модель может поглощать информацию и генерировать действия примерно в 10-100 раз быстрее человека⁵. Однако это может быть ограничено временем отклика физического мира или программного обеспечения, с которым оно взаимодействует.
Каждая из этих миллионов копий может выполнять несвязанные задачи независимо или, при необходимости, все они могут работать вместе так же, как сотрудничали бы люди, возможно, с различными субпопуляциями, настроенными так, чтобы они особенно хорошо справлялись с конкретными задачами.

Мы могли бы резюмировать это как “страну гениев в центре обработки данных”.

Очевидно, что такая сущность была бы способна решать очень сложные проблемы, очень быстро, но нетривиально выяснить, насколько быстро. Две “крайние» позиции кажутся мне ложными. Во-первых, вы могли бы подумать, что мир мгновенно преобразится в масштабе секунд или дней (“Сингулярность”), поскольку высший разум развивается сам по себе и практически мгновенно решает все возможные научные, инженерные и оперативные задачи. Проблема в том, что существуют реальные физические и практические ограничения, например, в создании оборудования или проведении биологических экспериментов. Даже новая страна гениев столкнулась бы с этими ограничениями. Интеллект может быть очень мощным, но это не волшебная пыль фей.

Во-вторых, и наоборот, вы можете полагать, что технологический прогресс насыщен или ограничен данными из реального мира или социальными факторами, и что интеллект, превосходящий человеческий, добавит очень мало⁶. Это кажется мне столь же неправдоподобным — я могу придумать сотни научных или даже социальных проблем, в которых большая группа действительно умных людей резко ускорила бы прогресс, особенно если они не ограничены анализом и могут заставить вещи происходить в реальном мире (что наша постулируемая страна гениев может, в том числе направляя команды людей или помогая им).

Я думаю, что истина, скорее всего, представляет собой некую беспорядочную смесь этих двух крайних точек зрения, которая варьируется в зависимости от задачи и области применения и очень тонка в своих деталях. Я считаю, что нам нужны новые концепции, чтобы продуктивно размышлять об этих деталях.

Экономисты часто говорят о “факторах производства”: таких вещах, как труд, земля и капитал. Фраза “предельная отдача от труда / земли / капитала” отражает идею о том, что в данной ситуации данный фактор может быть ограничивающим, а может и не быть – например, военно-воздушным силам нужны и самолеты, и пилоты, и наем большего количества пилотов мало поможет, если у вас закончились самолеты. Я считаю, что в эпоху искусственного интеллекта мы должны говорить о предельной отдаче от интеллекта⁷ и пытаться выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли думать таким образом — спрашивать: “насколько быть умнее помогает в решении этой задачи и в какие сроки?” — Но это кажется правильным способом концептуализации мира с очень мощным искусственным интеллектом.

Я предполагаю, что список факторов, ограничивающих интеллект или дополняющих его, включает:

Скорость внешнего мира. Разумным агентам необходимо взаимодействовать с миром, чтобы выполнять задачи, а также учиться⁸. Но мир движется не так быстро. Клетки и животные функционируют с постоянной скоростью, поэтому эксперименты с ними занимают определённое время, которое может быть неизменным. То же самое относится к аппаратному обеспечению, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Кроме того, в науке часто требуется проводить множество экспериментов последовательно, каждый из которых основывается на предыдущем или дополняет его. Всё это означает, что скорость, с которой может быть завершён крупный проект — например, разработка лекарства от рака, — может иметь минимальный предел, который невозможно снизить, даже если интеллект продолжает развиваться.
Потребность в данных. Иногда не хватает необработанных данных, и в их отсутствие дополнительный интеллект не помогает. Современные физики-ядерщики очень изобретательны и разработали множество теорий, но им не хватает данных, чтобы выбирать между ними, потому что данные с ускорителей частиц очень ограничены. Неясно, стали бы они работать намного лучше, если бы обладали сверхинтеллектом, разве что ускорили бы строительство более крупного ускорителя.
Внутренняя сложность. Некоторые вещи по своей сути непредсказуемы или хаотичны, и даже самый мощный искусственный интеллект не может предсказать или распутать их значительно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ может предсказать лишь незначительное продвижение вперед в хаотической системе (такой как проблема трех тел) в общем случае, ⁹ по сравнению с сегодняшними людьми и компьютерами.
Ограничения со стороны людей. Многие вещи невозможно сделать, не нарушая законов, не причиняя вреда людям или не разрушая общество. Согласованный ИИ не захотел бы делать такие вещи (а если у нас есть не согласованный ИИ, мы возвращаемся к разговору о рисках). Многие структуры человеческого общества неэффективны или даже активно вредны, но их трудно изменить при соблюдении ограничений, таких как юридические требования к клиническим испытаниям, готовность людей изменить свои привычки или поведение правительств. Примеры достижений, которые хорошо работают в техническом смысле, но влияние которых было существенно снижено из-за нормативных актов или необоснованных опасений, включают ядерную энергетику, сверхзвуковой полет и даже лифты.
Физические законы. Это более жёсткая версия первого пункта. Существуют определённые физические законы, которые кажутся нерушимыми. Невозможно путешествовать быстрее света. Пудинг не перестаёт быть пудингом. В чипах может быть только определённое количество транзисторов на квадратный сантиметр, прежде чем они станут ненадёжными. Для вычислений требуется определённое минимальное количество энергии на бит, что ограничивает плотность вычислений в мире.

Существует ещё одно различие, основанное на временных рамках. То, что является серьёзным препятствием в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной перспективе. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, которая позволит нам изучать в лабораторных условиях то, что раньше требовало экспериментов на живых организмах, или для создания инструментов, необходимых для сбора новых данных (например, более мощного ускорителя частиц), или для (в рамках этических ограничений) поиска способов обойти ограничения, связанные с людьми (например, для улучшения системы клинических испытаний, для создания новых юрисдикций, где клинические испытания менее бюрократизированы, или для улучшения самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешёвыми).

Таким образом, мы должны представить себе картину, в которой интеллект изначально сильно ограничен другими факторами производства, но со временем сам интеллект всё больше обходит другие факторы, даже если они никогда полностью не исчезнут (а некоторые вещи, например физические законы, абсолютны)¹⁰. Ключевой вопрос заключается в том, как быстро всё это происходит и в каком порядке.

Учитывая вышесказанное, я постараюсь ответить на этот вопрос применительно к пяти областям, упомянутым во введении.

1. Биология и здоровье

Биология, вероятно, является той областью, в которой научный прогресс обладает наибольшим потенциалом для непосредственного и однозначного улучшения качества жизни людей. В прошлом веке некоторые из самых древних болезней человека (например, оспа) были окончательно побеждены, но многие другие всё ещё существуют, и их искоренение стало бы огромным гуманитарным достижением. Помимо лечения болезней, биологическая наука в принципе может улучшить исходное качество человеческого здоровья, продлевая продолжительность здоровой жизни, усиливая контроль и свободу над нашими собственными биологическими процессами и решая повседневные проблемы, которые мы сейчас считаем неизменными составляющими человеческого существования.

Если говорить о «ограничивающих факторах» из предыдущего раздела, то основными проблемами, связанными с непосредственным применением интеллекта в биологии, являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три проблемы взаимосвязаны). Человеческие ограничения также играют роль на более позднем этапе, когда проводятся клинические испытания. Давайте рассмотрим их по очереди.

Эксперименты с клетками, животными и даже химическими процессами ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток или просто ожидание химических реакций, и иногда это может занимать дни или даже недели, и нет очевидного способа ускорить процесс. Эксперименты на животных могут длиться месяцами (или дольше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований). В связи с этим часто не хватает данных — не столько в количественном, сколько в качественном отношении: всегда не хватает чётких, недвусмысленных данных, которые отделяют интересующий нас биологический эффект от других 10 000 мешающих факторов, которые происходят, или которые причинно влияют на данный процесс, или которые напрямую измеряют какой-либо эффект (в отличие от косвенного или неточного определения его последствий). Даже обширные количественные молекулярные данные, такие как данные протеомики, которые я собрал, работая с методами масс-спектрометрии, содержат много ошибок (в каких типах клеток были эти белки? В какой части клетки? На какой стадии клеточного цикла?).

Отчасти эти проблемы с данными возникают из-за их внутренней сложности: если вы когда-нибудь видели схему, показывающую биохимию человеческого метаболизма, то знаете, что очень трудно выделить влияние какой-либо части этой сложной системы и ещё труднее вмешаться в систему точным или предсказуемым образом. И наконец, помимо времени, необходимого для проведения эксперимента на людях, реальные клинические испытания включают в себя множество бюрократических процедур и нормативных требований, которые (по мнению многих людей, включая меня) отнимают лишнее время и замедляют прогресс.

Учитывая все это, многие биологи уже давно скептически относятся к ценности искусственного интеллекта и “больших данных” в биологии в целом. Исторически сложилось так, что математики, компьютерщики и физики, которые применяли свои навыки в биологии в течение последних 30 лет, были довольно успешными, но не оказали того по-настоящему преобразующего воздействия, на которое изначально рассчитывали. Часть скептицизма была ослаблена крупными и революционными прорывами, такими как AlphaFold (который только что заслуженно принес своим создателям Нобелевскую премию по химии) и AlphaProteo¹¹, но все еще существует мнение, что ИИ полезен (и будет продолжать быть) лишь при ограниченном наборе обстоятельств. Распространенная формулировка такова: “ИИ может лучше анализировать ваши данные, но он не может произвести больше данных или улучшить качество данных. Мусор входит, мусор выходит”.

Но я думаю, что пессимистичный подход означает неправильное представление об искусственном интеллекте. Если наша основная гипотеза о прогрессе ИИ верна, то правильный способ думать об ИИ — это не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, включая разработку и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто указывая людям, какие эксперименты проводить – как главный исследователь говорил бы своим аспирантам), изобретение новых биологических методов или методик измерения и так далее. Именно за счет ускорения всего исследовательского процесса искусственный интеллект может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ трансформировать биологию: я не говорю об ИИ просто как об инструменте для анализа данных. В соответствии с определением мощного искусственного интеллекта, приведенным в начале этого эссе, я говорю об использовании искусственного интеллекта для выполнения, направления и улучшения почти всего, что делают биологи.

Если говорить более конкретно о том, откуда, по моему мнению, может прийти ускорение, то на удивление большая часть прогресса в биологии связана с поистине крошечным количеством открытий, часто связанных с широкими измерительными инструментами или методами¹², которые позволяют точно, но обобщённо или программируемо вмешиваться в биологические системы. Таких крупных открытий, возможно, происходит около 1 в год, и в совокупности они, вероятно, обеспечивают более 50% прогресса в биологии. Эти открытия настолько важны именно потому, что они позволяют преодолеть внутреннюю сложность и ограничения, связанные с данными, напрямую увеличивая наше понимание биологических процессов и расширяя возможности их контроля. Несколько открытий за десятилетие позволили нам в значительной степени углубить наше базовое научное понимание биологии и разработать многие из наиболее эффективных методов лечения.

Вот некоторые примеры::

CRISPR: технология, позволяющая в режиме реального времени редактировать любой ген в живых организмах (замена любой произвольной последовательности гена любой другой произвольной последовательностью). С момента разработки оригинальной методики, были постоянные усовершенствования для нацеливания на определенные типы клеток, повышения точности и сокращения изменений неправильного гена — все это необходимо для безопасного использования у людей.
Различные виды микроскопии для точного наблюдения за происходящим: усовершенствованные световые микроскопы (с различными видами флуоресцентных технологий, специальной оптикой и т.д.), электронные микроскопы, атомно-силовые микроскопы и т.д.
Секвенирование и синтез генома, стоимость которых снизилась на несколько порядков за последние пару десятилетий.
Оптогенетические методы, которые позволяют активировать нейрон, воздействуя на него светом.
мРНК-вакцины, которые, в принципе, позволяют нам создавать вакцины против чего угодно, а затем быстро адаптировать их (мРНК-вакцины, конечно, стали известны во время пандемии COVID).
Клеточные методы лечения, такие как CAR-T, позволяют извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, на что угодно.
Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком¹³.

Я беру на себя труд перечислить все эти технологии, потому что хочу сделать важное заявление об их потенциале: я думаю, что их скорость открытия можно было бы увеличить в 10 и более раз, если бы было гораздо больше талантливых, креативных исследователей. Или, другими словами, я думаю, что отдача от интеллекта в этих открытиях высока, и что всё остальное в биологии и медицине в основном следует из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые нам следует взять в привычку задавать, когда мы пытаемся определить “возврат к интеллекту”. Во-первых, эти открытия обычно делаются небольшим числом исследователей, часто одними и теми же людьми неоднократно, что предполагает умение, а не случайный поиск (последнее может свидетельствовать о том, что ограничивающим фактором являются длительные эксперименты). Во-вторых, их часто “можно было создать” на годы раньше, чем они были: например, CRISPR был естественным компонентом иммунной системы бактерий, который известен с 80-х, но людям потребовалось еще 25 лет, чтобы понять, что его можно использовать для общего редактирования генов. Они также часто откладываются на долгие годы из-за отсутствия поддержки перспективных направлений со стороны научного сообщества (см. Этот профиль об изобретателе вакцин с мРНК; подобных историй предостаточно). В-третьих, успешные проекты часто носят разрозненный характер или были запоздалыми идеями, которые люди изначально не считали многообещающими, а не массово финансируемыми усилиями. Это говорит о том, что открытиями движет не только огромная концентрация ресурсов, но и изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (сначала нужно сделать открытие А, чтобы получить инструменты или знания для открытия Б), что опять же может привести к задержкам в экспериментах, многие, а возможно, и большинство из них, являются независимыми, то есть над многими из них можно работать параллельно. И эти факты, и мой общий опыт как биолога наводят меня на мысль, что существуют сотни таких открытий, которые ждут своего часа, если бы учёные были умнее и лучше умели находить связи между огромным количеством биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR). Успех AlphaFold/AlphaProteo в решении важных задач гораздо более эффективно, чем люди, несмотря на десятилетия тщательного физического моделирования, является доказательством принципа (хотя и с помощью узкого инструмента в узкой области), которое должно указать путь вперёд.

Таким образом, я предполагаю, что мощный ИИ мог бы, по крайней мере, в 10 раз увеличить скорость этих открытий, подарив нам следующие 50-100 лет биологического прогресса за 5-10 лет.¹⁴ Почему бы не в 100 раз? Возможно, это возможно, но здесь важны как зависимость от серии, так и время экспериментов: для достижения 100-летнего прогресса за 1 год требуется, чтобы многое пошло правильно с первого раза, включая эксперименты на животных и такие вещи, как разработка микроскопов или дорогостоящего лабораторного оборудования. Я на самом деле открыт для идеи (возможно, абсурдно звучащей), что мы могли бы достичь 1000 лет прогресса за 5-10 лет, но очень скептически отношусь к тому, что мы можем достичь 100 лет за 1 год. Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и проектирование оборудования имеют определенную “задержку“, и их необходимо повторять определенное ”неприводимое» количество раз, чтобы узнать вещи, которые нельзя вывести логически. Но вдобавок к этому¹⁵ может быть возможен массовый параллелизм.

А как насчёт клинических испытаний? Несмотря на то, что с ними связано много бюрократии и проволочек, правда в том, что большая часть (хотя и не вся!) их медлительности в конечном счёте обусловлена необходимостью тщательно оценивать препараты, которые едва ли работают или работают неоднозначно. К сожалению, это относится к большинству современных методов лечения: в среднем противораковый препарат увеличивает продолжительность жизни на несколько месяцев, но имеет значительные побочные эффекты, которые необходимо тщательно изучать (то же самое можно сказать о препаратах от болезни Альцгеймера). Это приводит к масштабным исследованиям (для достижения статистической достоверности) и сложным компромиссам, на которые регулирующие органы, как правило, не очень хорошо идут, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает очень хорошо, это происходит гораздо быстрее: существует ускоренная процедура одобрения, и одобрение даётся гораздо проще, когда эффект сильнее. Вакцины на основе мРНК от COVID были одобрены за 9 месяцев — намного быстрее, чем обычно. Тем не менее, даже в таких условиях клинические испытания всё равно проводятся слишком медленно — вакцины на основе мРНК, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (от 1 года до конца разработки препарата) в сочетании с массовым параллелизмом и необходимостью некоторой, но не слишком большой, итерации («несколько попыток») вполне совместимы с радикальными преобразованиями в течение 5–10 лет. Более того, можно с оптимизмом предположить, что биологические науки с использованием ИИ сократят потребность в итерации клинических испытаний за счёт разработки более качественных экспериментальных моделей на животных и клетках (или даже симуляций), которые точнее предсказывают, что произойдёт с людьми. Это будет особенно важно при разработке лекарств против старения, которое длится десятилетиями и для которого нам нужен более быстрый цикл итераций.

Наконец, по теме клинических испытаний и социальных барьеров, стоит прямо указать, что в некоторых отношениях биомедицинские инновации имеют необычайно сильный послужной список успешного внедрения, в отличие от некоторых других технологий¹⁶. Как упоминалось во введении, многим технологиям мешают социальные факторы, несмотря на то, что они хорошо работают технически. Это может натолкнуть на пессимистичный взгляд на то, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно громоздок, после разработки они, как правило, успешно внедряются и используются.Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина с использованием ИИ позволят нам сократить время, которое биологи потратили бы на изучение человека за следующие 50–100 лет, до 5–10 лет. Я буду называть это «сжатым 21-м веком»: идея о том, что после разработки мощного ИИ мы за несколько лет достигнем такого прогресса в биологии и медицине, которого не смогли бы достичь за весь 21-й век.

Хотя предсказать, что мощный искусственный интеллект сможет сделать за несколько лет, по своей сути остается сложным и умозрительным, есть определенная конкретность в вопросе “что люди могли бы сделать без посторонней помощи в ближайшие 100 лет?”. Просто глядя на то, чего мы достигли в 20 веке, или экстраполируя результаты первых двух десятилетий 21 века, или задаваясь вопросом, что нам дадут ”10 CRISPR и 50 CAR-T», все предлагают практические, обоснованные способы оценить общий уровень прогресса, которого мы могли бы ожидать от мощного искусственного интеллекта.

Ниже я пытаюсь составить список того, чего мы могли бы ожидать. Это не основано на какой-либо строгой методологии и почти наверняка окажется ошибочным в деталях, но это попытка преодолеть общий уровень радикализма, которого нам следует ожидать:

естественное инфекционное заболевание.¹⁷ Надежная профилактика и лечение почти всех Учитывая огромные успехи в борьбе с инфекционными заболеваниями в 20 веке, не радикально воображать, что мы могли бы более или менее “закончить работу” в сжатые сроки в 21 веке. Вакцины с мРНК и аналогичные технологии уже указывают путь к “вакцинам от чего угодно”. Будут ли инфекционные заболевания полностью искоренены в мире (а не только в некоторых местах), зависит от вопросов о бедности и неравенстве, которые обсуждаются в разделе 3.
Устранение большинства видов рака. За последние несколько десятилетий уровень смертности от рака снизился примерно на 2% в год. Таким образом, мы на пути к тому, чтобы устранить большинство видов рака в XXI веке при нынешних темпах развития науки. Некоторые подтипы уже в значительной степени излечены (например, некоторые виды лейкемии с помощью CAR-T-терапии), и я, пожалуй, ещё больше воодушевлён очень избирательными лекарствами, которые воздействуют на рак на ранней стадии и предотвращают его дальнейшее развитие. ИИ также сделает возможными схемы лечения, очень точно адаптированные к индивидуальному геному рака. Сегодня это возможно, но требует огромных затрат времени и человеческих ресурсов, которые ИИ должен позволить нам масштабировать. Снижение смертности и заболеваемости на 95% и более представляется возможным. При этом рак чрезвычайно разнообразен и адаптивен, и, вероятно, это самое сложное из всех заболеваний, которое трудно полностью уничтожить. Не будет ничего удивительного, если сохранится ряд редких и трудноизлечимых видов рака.
Очень эффективная профилактика и действенные методы лечения генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, позволит предотвратить большинство генетических заболеваний, а некоторые более безопасные и надежные потомки CRISPR могут излечивать большинство генетических заболеваний у существующих людей. Однако болезни всего тела, поражающие большую часть клеток, могут быть последними, кто удерживается.
Профилактика болезни Альцгеймера. Нам было очень трудно выяснить, что вызывает болезнь Альцгеймера (это каким-то образом связано с бета-амилоидным белком, но фактические детали кажутся очень сложными). Похоже, это именно тот тип проблемы, который можно решить с помощью более совершенных инструментов измерения, изолирующих биологические эффекты; поэтому я оптимистично настроен по поводу способности ИИ решить ее. Есть большая вероятность, что в конечном итоге это можно предотвратить с помощью относительно простых вмешательств, как только мы действительно поймем, что происходит. Тем не менее, ущерб от уже существующей болезни Альцгеймера может быть очень трудно обратить вспять.
Улучшенное лечение большинства других заболеваний. Это универсальная категория для других заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из этих проблем, кажется, решить “легче”, чем рак и болезнь Альцгеймера, и во многих случаях они уже находятся в резком упадке. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1, уже позволили добиться огромного прогресса в борьбе с ожирением и диабетом.
Биологическая свобода. Последние 70 лет были отмечены достижениями в области контроля рождаемости, фертильности, управления весом и многого другого. Но я подозреваю, что биология, ускоренная искусственным интеллектом, значительно расширит возможности: вес, физический облик, размножение и другие биологические процессы будут полностью под контролем людей. Мы будем ссылаться на них в разделе «биологическая свобода: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и жить так, как ему больше всего нравится». Конечно, возникнут важные вопросы о глобальном равенстве доступа; о них см. Раздел 3.
Удвоение продолжительности жизни человека¹⁸.Это может показаться радикальным, но ожидаемая продолжительность жизни увеличилась почти в 2 раза в 20 веке (с ~ 40 лет до ~ 75), так что “в тренде”, что в “сжатом 21-м” она снова удвоится до 150. Очевидно, что вмешательства, связанные с замедлением фактического процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения преждевременной смерти от болезней (в основном детской), но масштабы изменений не являются беспрецедентными¹⁹. Конкретно, уже существуют препараты, которые увеличивают максимальную продолжительность жизни крыс на 25-50% с ограниченными побочными эффектами. Некоторые животные (например, некоторые виды черепах) живут уже 200 лет, поэтому люди явно не достигли некоторого теоретического верхнего предела. На первый взгляд, самой важной вещью, которая необходима, может быть надежность, биомаркеры старения человека, не зависящие от Гудхарта, поскольку это позволит быстро проводить эксперименты и клинические испытания. Когда продолжительность жизни человека достигнет 150 лет, мы, возможно, сможем достичь “скорости убегания”, выиграв достаточно времени, чтобы большинство из ныне живущих смогли прожить столько, сколько захотят, хотя, конечно, нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и поразмыслить о том, насколько другим станет мир, если все это будет достигнуто через 7-12 лет (что соответствовало бы агрессивным временным рамкам искусственного интеллекта). Само собой разумеется, что это был бы невообразимый гуманитарный триумф, полная ликвидация большинства бедствий, которые преследовали человечество на протяжении тысячелетий. Многие из моих друзей и коллег воспитывают детей, и когда эти дети вырастут, я надеюсь, что любое упоминание о болезни будет звучать для них так же, как для нас звучит цинга, оспа или бубонная чума. Это поколение также выиграет от возросшей биологической свободы и самовыражения и, если повезет, сможет жить столько, сколько захочет.

Трудно переоценить, насколько неожиданными будут эти изменения для всех, за исключением небольшого сообщества людей, которые ожидали мощного искусственного интеллекта. Например, тысячи экономистов и экспертов по политике в США в настоящее время обсуждают, как сохранить платежеспособность социального обеспечения и Medicare, и в более широком смысле, как снизить расходы на здравоохранение (которое в основном оплачивают люди старше 70 лет, особенно те, у кого неизлечимые заболевания, такие как рак). Ситуация с этими программами, вероятно, радикально улучшится, если все это произойдет²⁰ лет, поскольку соотношение населения трудоспособного возраста и пенсионеров резко изменится. Несомненно, на смену этим вызовам придут другие, например, как обеспечить широкий доступ к новым технологиям, но стоит задуматься о том, насколько сильно изменится мир, даже если биология будет единственной областью, которую успешно ускорит искусственный интеллект.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом и не затрагивал нейробиологию и психическое здоровье. Но нейробиология — это раздел биологии, а психическое здоровье так же важно, как и физическое. На самом деле, психическое здоровье влияет на благополучие человека даже сильнее, чем физическое. Сотни миллионов людей живут с очень низким качеством жизни из-за таких проблем, как зависимость, депрессия, шизофрения, слабовыраженный аутизм, посттравматическое стрессовое расстройство, психопатия²¹ или умственная отсталость. Миллиарды людей сталкиваются с повседневными проблемами, которые часто можно интерпретировать как более лёгкие формы одного из этих тяжёлых клинических расстройств. И, как и в случае с общей биологией, возможно, удастся не только решать проблемы, но и повышать базовое качество жизни людей.

Базовая концепция, которую я изложил для биологии, в равной степени применима и к нейробиологии. Область продвинулась вперед благодаря небольшому количеству открытий, часто связанных с инструментами для измерения или точного вмешательства – в списке выше оптогенетика была открытием в области неврологии, а совсем недавно CLARITY и расширенная микроскопия стали достижениями в том же духе, в дополнение ко многим методам общей клеточной биологии, непосредственно относящимся к неврологии. Я думаю, что темпы этих достижений будут аналогичным образом ускорены ИИ, и поэтому концепция “100 лет прогресса за 5-10 лет” применима к нейробиологии так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейробиологии 20 века был огромным – например, мы даже не понимали, как и почему срабатывают нейроны до 1950-х годов. Таким образом, представляется разумным ожидать, что нейробиология, ускоренная искусственным интеллектом, добьется быстрого прогресса в течение нескольких лет.

К этой общей картине мы должны добавить, что некоторые из того, что мы узнали (или узнаём) о самом ИИ за последние несколько лет, вероятно, помогут развитию нейробиологии, даже если этим будут заниматься только люди. Интерпретируемость — очевидный пример: хотя биологические нейроны внешне работают совершенно иначе, чем искусственные нейроны (они общаются с помощью импульсов и часто с высокой частотой, поэтому в искусственных нейронах отсутствует элемент времени, а множество деталей, относящихся к физиологии клеток и нейротрансмиттерам, существенно модифицируют их работу), основной вопрос “как распределенные, обученные сети простых блоков, которые выполняют комбинированные линейные / нелинейные операции, работают вместе для выполнения важных вычислений”, тот же, и я сильно подозреваю, что детали отдельных нейронов различаются. коммуникация будет абстрагирована от большинства интересных вопросов о вычислениях и схемах²². В качестве лишь одного примера можно привести вычислительный механизм, обнаруженный исследователями интерпретируемости в системах искусственного интеллекта, который недавно был повторно открыт в мозге мышей.

Проводить эксперименты на искусственных нейронных сетях намного проще, чем на реальных (последнее часто требует вскрытия мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейробиологии. Более того, мощные ИИ, вероятно, сами смогут разработать и применить этот инструмент лучше, чем люди.

Помимо интерпретируемости, то, что мы узнали из ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) произвести революцию в нейробиологии. Когда я работал в нейробиологии, многие люди задавались вопросами об обучении, которые я бы сейчас назвал неправильными, потому что концепции гипотезы масштабирования / горького урока ещё не существовало. Мысль о том, что простая целевая функция в сочетании с большим количеством данных может приводить к невероятно сложному поведению, делает более интересным изучение целевых функций и архитектурных предубеждений и менее интересным изучение деталей возникающих вычислений. В последние годы я не следил за этой областью, но у меня есть смутное ощущение, что нейробиологи, занимающиеся вычислительными технологиями, до сих пор не усвоили этот урок. Моё отношение к гипотезе масштабирования всегда было таким: «Ага, вот оно — объяснение на высоком уровне того, как работает интеллект и как он так легко развился», но я не думаю, что это мнение среднестатистического нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не получила полного признания даже в сфере ИИ.

Я думаю, что нейробиологи должны попытаться объединить это базовое понимание с особенностями человеческого мозга (биофизические ограничения, эволюционная история, топология, детали моторных и сенсорных входов / выходов), чтобы попытаться разгадать некоторые ключевые головоломки нейробиологии. Некоторые, вероятно, есть, но я подозреваю, что этого пока недостаточно, и что нейробиологи, занимающиеся искусственным интеллектом, смогут более эффективно использовать этот аспект для ускорения прогресса.

Я ожидаю, что искусственный интеллект ускорит нейробиологический прогресс по четырем различным направлениям, которые, как мы надеемся, могут работать вместе для лечения психических заболеваний и улучшения функционирования:

Традиционная молекулярная биология, химия и генетика. По сути, это та же история, что и общая биология в разделе 1, и искусственный интеллект, вероятно, может ускорить ее с помощью тех же механизмов. Существует множество лекарств, которые модулируют нейромедиаторы, чтобы изменить функцию мозга, повлиять на бдительность или восприятие, изменить настроение и т.д., И искусственный интеллект может помочь нам изобрести гораздо больше. Искусственный интеллект, вероятно, также может ускорить исследования генетических основ психических заболеваний.
Мелкомасштабное нейробиологическое измерение и вмешательство. Это возможность измерять то, что делают множество отдельных нейронов или нейронных цепей, и вмешиваться в их работу, чтобы изменить их поведение. Оптогенетика и нейронные зонды — это технологии, которые позволяют как измерять, так и вмешиваться в работу живых организмов, а также ряд очень продвинутых методов (например, молекулярные тикерные ленты для считывания паттернов активности большого количества отдельных нейронов), которые также были предложены и в принципе кажутся возможными.
Продвинутая вычислительная нейробиология. Как отмечалось выше, как конкретные идеи, так и гештальт современного искусственного интеллекта, вероятно, могут быть плодотворно применены к вопросам системной нейробиологии, включая, возможно, раскрытие реальных причин и динамики сложных заболеваний, таких как психозы или расстройства настроения.
Поведенческие вмешательства. Я не часто упоминал об этом, учитывая акцент на биологической стороне неврологии, но психиатрия и психология, конечно, разработали широкий репертуар поведенческих вмешательств на протяжении 20 века; само собой разумеется, что искусственный интеллект также может ускорить их, как разработку новых методов, так и помощь пациентам придерживаться существующих методов. В более широком смысле идея «искусственного интеллекта”, который всегда помогает вам быть лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективными, кажется очень многообещающей.

Я предполагаю, что совместная работа этих четырех путей прогресса, как и в случае с физическими заболеваниями, привела бы к излечению или профилактике большинства психических заболеваний в ближайшие 100 лет, даже если бы не был задействован искусственный интеллект, и, таким образом, разумно могла бы быть завершена за 5-10 лет, ускоренных искусственным интеллектом. Конкретно я предполагаю, что произойдет что-то вроде:

Большинство психических заболеваний, вероятно, можно вылечить. Я не эксперт в области психических заболеваний (в нейробиологии я занимался созданием зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как посттравматическое стрессовое расстройство, депрессия, шизофрения, зависимость и т. д., можно изучить и очень эффективно лечить с помощью комбинации четырёх вышеперечисленных направлений. Скорее всего, ответ будет заключаться в сочетании «что-то пошло не так на биохимическом уровне» (хотя это может быть очень сложно) и «что-то пошло не так с нейронной сетью на высоком уровне». То есть это вопрос системной нейробиологии, хотя это не отменяет влияния поведенческих вмешательств, о которых говорилось выше. Инструменты для измерения и вмешательства, особенно на живых людях, скорее всего, приведут к быстрой итерации и прогрессу.
Заболевания, которые являются «структурными», могут быть более сложными, но не невозможными. Есть некоторые доказательства того, что психопатия связана с очевидными нейроанатомическими различиями — некоторые области мозга у психопатов просто меньше или менее развиты. Считается, что психопаты с раннего возраста лишены эмпатии; что бы ни отличало их мозг, вероятно, так было всегда. То же самое может быть верно в отношении некоторых умственных отклонений и, возможно, других заболеваний. Перестройка мозга звучит сложно, но это также кажется задачей, которая принесёт большую пользу интеллекту. Возможно, есть какой-то способ вернуть взрослый мозг в более раннее или пластичное состояние, в котором его можно изменить. Я не уверен, насколько это возможно, но мне хочется быть оптимистом в отношении того, что ИИ может здесь изобрести.
Эффективная генетическая профилактика психических заболеваний представляется возможной. Большинство психических заболеваний частично передаются по наследству, и начинают набирать обороты общегеномные исследования ассоциаций в выявлении соответствующих факторов, которых часто бывает много. Вероятно, будет возможно предотвратить большинство этих заболеваний с помощью скрининга эмбрионов, аналогично истории с физическими заболеваниями. Одно из отличий заключается в том, что психическое заболевание, скорее всего, полигенное (вклад многих генов), поэтому из-за сложности существует повышенный риск неосознанного выбора против положительных черт, которые коррелируют с болезнью. Однако, как ни странно, проведенные в последние годы исследования GWAS, похоже, предполагают, что эти корреляции могли быть завышены. В любом случае, нейробиология, ускоренная искусственным интеллектом, может помочь нам разобраться в этих вещах. Конечно, скрининг эмбрионов на наличие сложных признаков поднимает ряд социальных проблем и будет противоречивым, хотя я бы предположил, что большинство людей поддержали бы скрининг на наличие тяжелых или изнуряющих психических заболеваний.
Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены. У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются клиническими заболеваниями. Некоторые люди быстро выходят из себя, другим трудно сосредоточиться или они часто чувствуют сонливость, некоторые испытывают страх или тревогу или плохо реагируют на перемены. Сегодня уже существуют препараты, которые помогают, например, повысить бдительность или концентрацию (кофеин, модафинил, риталин), но, как и во многих других областях, возможно гораздо больше. Вероятно, существует ещё много таких препаратов, которые ещё не открыты, а также могут быть совершенно новые методы лечения, такие как целенаправленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств мы разработали в XX веке, которые улучшают когнитивные функции и эмоциональное состояние, я с большим оптимизмом смотрю на «сжатый XXI век», в котором каждый сможет заставить свой мозг работать немного лучше и получать больше удовольствия от повседневной жизни.
Базовый опыт человека может быть намного лучше. Сделав еще один шаг вперед, многие люди испытали необыкновенные моменты откровения, творческого вдохновения, сострадания, самореализации, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно различаются от человека к человеку и внутри одного и того же человека в разное время, а также иногда могут быть вызваны различными лекарствами (хотя часто и с побочными эффектами). Все это говорит о том, что «пространство того, что возможно испытать”, очень обширно и что большая часть жизни людей могла бы состоять из этих экстраординарных моментов. Вероятно, также возможно улучшить различные когнитивные функции по всем направлениям. Возможно, это нейробиологическая версия ”биологической свободы» или «увеличенной продолжительности жизни”.

Одна из тем, которая часто поднимается в научно-фантастических описаниях ИИ, но которую я намеренно не обсуждал здесь, — это «загрузка разума», идея о том, чтобы зафиксировать структуру и динамику человеческого мозга и реализовать их в программном обеспечении. Эта тема сама по себе могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я считаю, что загрузка в принципе почти наверняка возможна, на практике она сталкивается со значительными технологическими и социальными проблемами, даже при наличии мощного искусственного интеллекта, которые, скорее всего, не позволят ей появиться в течение 5–10 лет, о которых мы говорим.

Подводя итог, можно сказать, что нейробиология, ускоренная искусственным интеллектом, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и ментальную свободу» и когнитивные и эмоциональные способности человека. Это будет так же радикально, как и улучшения в области физического здоровья, описанные в предыдущем разделе. Возможно, внешне мир не сильно изменится, но мир, который люди будут воспринимать, станет намного лучше и гуманнее, а также предоставит больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья поможет решить множество других социальных проблем, в том числе политических и экономических.

3. Экономическое развитие и бедность

Предыдущие два раздела посвящены разработке новых технологий, которые излечивают болезни и улучшают качество человеческой жизни. Однако очевидный вопрос с гуманитарной точки зрения звучит так: “будет ли у каждого доступ к этим технологиям?”

Одно дело разработать лекарство от болезни, другое дело искоренить болезнь в мире. В более широком смысле, многие существующие вмешательства в области здравоохранения еще не применяются повсеместно в мире, и, если уж на то пошло, то же самое можно сказать и о технологических усовершенствованиях (не связанных со здоровьем) в целом. Можно сказать и по-другому: уровень жизни во многих частях мира по-прежнему отчаянно низок: ВВП на душу населения составляет ~ 2000 долларов в странах Африки к югу от Сахары по сравнению с ~ 75 000 долларов в Соединенных Штатах. Если ИИ еще больше ускорит экономический рост и качество жизни в развитом мире, при этом мало помогая развивающимся странам, мы должны рассматривать это как ужасный моральный провал и пятно на подлинных гуманитарных победах, описанных в предыдущих двух разделах. В идеале мощный ИИ должен помочь развивающемуся миру догнать развитый мир, даже если он революционизирует последний.

Я не так уверен в том, что ИИ может решить проблему неравенства и экономического роста, как в том, что он может изобрести фундаментальные технологии, потому что технологии дают такую очевидную высокую отдачу интеллекту (включая способность обходить сложности и нехватку данных), в то время как экономика сопряжена с множеством ограничений со стороны людей, а также с большой дозой внутренней сложности. Я несколько скептически отношусь к тому, что ИИ может решить знаменитую “проблему социалистических расчетов”²³, и я не думаю, что правительства будут (или должны) передавать свою экономическую политику такой организации, даже если бы она могла это сделать. Существуют также проблемы, например, как убедить людей пройти курс лечения, который эффективен, но к которому они могут относиться с подозрением.

Проблемы, с которыми сталкивается развивающийся мир, усугубляются повсеместной коррупцией как в частном, так и в государственном секторе. Коррупция создаёт порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает ещё больше коррупции. Планы экономического развития на основе ИИ должны учитывать коррупцию, слабость институтов и другие сугубо человеческие проблемы.

Тем не менее, я вижу веские основания для оптимизма. Болезни были искоренены, и многие страны превратились из бедных в богатые, и очевидно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Поэтому ИИ, скорее всего, сможет выполнять их лучше, чем в настоящее время. Также могут быть целенаправленные вмешательства, которые обходят человеческие ограничения и на которых ИИ мог бы сосредоточиться. Но что ещё важнее, мы должны попытаться. И компаниям, занимающимся искусственным интеллектом, и политикам из развитых стран нужно будет внести свой вклад в то, чтобы развивающиеся страны не остались в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу высказывать оптимистичные предположения, но везде буду иметь в виду, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я высказываю некоторые предположения о том, как, по моему мнению, могут развиваться события в развивающемся мире в течение 5–10 лет после разработки мощного искусственного интеллекта:

Распространение медицинских вмешательств. Область, в которой я, пожалуй, наиболее оптимистичен, — это распространение медицинских вмешательств по всему миру. Болезни фактически были искоренены с помощью кампаний «сверху вниз»: натуральная оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и ришонка почти искоренены — менее 100 случаев в год. Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и представляется весьма вероятным, что системы искусственного интеллекта, которые умнее человека, справятся с этой задачей лучше, чем люди. Логистика дистрибуции, вероятно, также может быть значительно оптимизирована. Одна вещь, которую я узнал, будучи первым донором GiveWell, заключается в том, что некоторые благотворительные организации здравоохранения намного эффективнее других; есть надежда, что усилия, ускоренные искусственным интеллектом, будут еще более эффективными. Кроме того, некоторые биологические достижения значительно упрощают логистику распространения: например, малярию было трудно искоренить, потому что она требует лечения при каждом заражении; вакцина, которую нужно ввести только один раз, значительно упрощает логистику (и такие вакцины от малярии на самом деле разрабатываются в настоящее время). Возможны и более простые механизмы распространения: некоторые заболевания в принципе можно искоренить, воздействуя на их переносчиков, например, выпуская комаров, заражённых бактерией, которая блокирует их способность переносить заболевание (которые затем заражают всех остальных комаров), или просто используя генные драйвы для уничтожения комаров. Для этого требуется одно или несколько централизованных действий, а не скоординированная кампания, которая должна индивидуально воздействовать на миллионы. В целом, я думаю, 5-10 лет — это разумный срок для того, чтобы значительная часть (возможно, 50%) преимуществ искусственного интеллекта для здоровья распространилась даже на беднейшие страны мира. Хорошей целью для развивающегося мира могло бы быть, по крайней мере, через 5-10 лет после появления мощного искусственного интеллекта стать значительно более здоровыми, чем развитый мир сегодня, даже если он продолжает отставать от развитого мира. Достижение этой цели, конечно, потребует огромных усилий в области глобального здравоохранения, филантропии, политической пропаганды и многих других усилий, в которых должны помочь как разработчики искусственного интеллекта, так и политики.
Экономический рост. Сможет ли развивающийся мир быстро догнать развитый мир не только в области здравоохранения, но и во всех остальных сферах экономики? Для этого есть прецедент: в последние десятилетия XX века несколько стран Восточной Азии стабильно росли примерно на 10% в год, что позволило им догнать развитый мир. Экономисты-люди принимали решения, которые привели к этому успеху, не напрямую управляя всей экономикой, а воздействуя на несколько ключевых рычагов (таких как промышленная политика, направленная на рост за счёт экспорта, и отказ от соблазна полагаться на природные ресурсы). Вполне вероятно, что «министры финансов и руководители центральных банков с искусственным интеллектом» смогут повторить или превзойти этот результат в 10%. Важный вопрос заключается в том, как убедить правительства развивающихся стран принять их, соблюдая при этом принцип самоопределения. Некоторые могут отнестись к этому с энтузиазмом, но другие, скорее всего, будут настроены скептически. С оптимистической точки зрения, многие меры в области здравоохранения, упомянутые в предыдущем пункте, скорее всего, естественным образом ускорят экономический рост: искоренение СПИДа/малярии/паразитических червей окажет преобразующее воздействие на производительность, не говоря уже об экономических выгодах, которые некоторые нейробиологические вмешательства (такие как улучшение настроения и концентрации внимания) принесли бы как в развитых, так и в развивающихся странах. Наконец, технологии, не связанные со здравоохранением, основанные на искусственном интеллекте (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, улучшенная логистика и распределение и т.д.), могут просто проникнуть в мир естественным путем; например, даже сотовые телефоны быстро проникли в страны Африки к югу от Сахары с помощью рыночных механизмов, не требуя филантропических усилий. С другой стороны, хотя искусственный интеллект и автоматизация имеют много потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые еще не достигли индустриализации. Поиск путей обеспечения того, чтобы эти страны все еще могли развивать и улучшать свою экономику в эпоху растущей автоматизации, является важной задачей для экономистов и политиков, которую предстоит решить. В целом, идеальным сценарием — возможно, целью, к которой стоит стремиться, — был бы ежегодный рост ВВП на 20% в развивающихся странах, из которых по 10% приходилось бы на экономические решения, принимаемые с помощью ИИ, и на естественное распространение технологий, ускоренных ИИ, в том числе в сфере здравоохранения. Если бы это было достигнуто, то через 5–10 лет ВВП на душу населения в странах Африки к югу от Сахары достиг бы уровня ВВП Китая, а в большинстве других развивающихся стран — уровня ВВП США. Опять же, это сценарий мечты, а не то, что происходит по умолчанию: это то, над чем мы все должны работать сообща, чтобы сделать это более вероятным.
Продовольственная безопасность ²⁴. Достижения в области растениеводства, такие как улучшение качества удобрений и пестицидов, большая автоматизация и более эффективное землепользование, резко повысили урожайность сельскохозяйственных культур на протяжении 20 века, спасая миллионы людей от голода. Генная инженерия в настоящее время еще больше улучшает многие культуры. Поиск еще большего количества способов сделать это, а также повысить эффективность цепочек поставок сельскохозяйственной продукции, мог бы стать причиной второй зеленой революции, основанной на искусственном интеллекте, и помочь сократить разрыв между развивающимся и развитым миром.
Смягчение последствий изменения климата. Изменение климата будет ощущаться гораздо сильнее в развивающихся странах, препятствуя их развитию. Мы можем ожидать, что ИИ приведёт к усовершенствованию технологий, которые замедляют или предотвращают изменение климата, от удаления углерода из атмосферы и технологий чистой энергии до выращенного в лаборатории мяса, которое снизит нашу зависимость от углеродоёмкого промышленного сельского хозяйства. Конечно, как уже говорилось выше, технологии — не единственное, что сдерживает прогресс в борьбе с изменением климата. Как и в случае со всеми остальными проблемами, обсуждаемыми в этом эссе, важную роль играют социальные факторы. Но есть веские основания полагать, что исследования с использованием ИИ дадут нам возможность сделать борьбу с изменением климата гораздо менее затратной и разрушительной, устранив многие возражения и позволив развивающимся странам добиться большего экономического прогресса.
Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (которое, по моему мнению, является его самым важным проявлением), но, конечно, неравенство существует и внутри стран. При наличии передовых медицинских технологий и особенно радикальном увеличении продолжительности жизни или препаратов для улучшения когнитивных функций, безусловно, возникнут обоснованные опасения, что эти технологии «только для богатых». Я более оптимистично настроен в отношении неравенства внутри стран, особенно в развитых странах, по двум причинам. Во-первых, рынки лучше функционируют в развитых странах, и рынки, как правило, хорошо справляются с сокращением стоимости дорогостоящих технологий с течением времени²⁵. Во—вторых, политические институты развитых стран мира более отзывчивы к своим гражданам и обладают большими возможностями государства для реализации программ всеобщего доступа — и я ожидаю, что граждане будут требовать доступа к технологиям, которые столь радикально улучшают качество жизни. Конечно, успех таких требований не предопределен заранее — и вот еще одно место, где мы коллективно должны сделать все возможное для обеспечения справедливого общества. Существует отдельная проблема, связанная с неравенством в богатстве (в отличие от неравенства в доступе к технологиям, спасающим и улучшающим жизнь), которая кажется более сложной и которую я обсуждаю в разделе 5.
Проблема отказа от услуг. Одной из проблем как в развитых, так и в развивающихся странах является то, что люди отказываются от услуг, предоставляемых с помощью ИИ (по аналогии с движением против вакцинации или луддитами в целом). В конечном итоге могут возникнуть негативные циклы обратной связи, когда, например, люди, которые хуже всего умеют принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способность принимать решения, что приводит к постоянно увеличивающемуся разрыву и даже к появлению антиутопического низшего класса (некоторые исследователи утверждают, что это подрывает демократию, и я подробнее расскажу об этом в следующем разделе). Это снова наложило бы моральный отпечаток на положительные достижения ИИ. Эту проблему сложно решить, поскольку я не думаю, что с этической точки зрения принуждать людей правильно, но мы можем, по крайней мере, попытаться повысить уровень научного понимания людей — и, возможно, сам ИИ может нам в этом помочь. Одним из обнадеживающих признаков является то, что исторически антитехнологические движения больше лаяли, чем кусали: критика современных технологий популярна, но большинство людей в конечном счёте принимают их, по крайней мере, когда это вопрос личного выбора. Люди, как правило, принимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно сдерживаются, например ядерная энергетика, как правило, являются результатом коллективных политических решений.

В целом, я настроен оптимистично в отношении быстрого распространения биологических достижений искусственного интеллекта среди людей в развивающихся странах. Я надеюсь, хотя и не уверен, что искусственный интеллект также может обеспечить беспрецедентные темпы экономического роста и позволит развивающемуся миру, по крайней мере, превзойти тот уровень, на котором развитый мир находится сейчас. Я обеспокоен проблемой “отказа” как в развитых, так и в развивающихся странах, но подозреваю, что со временем она сойдет на нет и что искусственный интеллект может помочь ускорить этот процесс. Это не будет идеальный мир, и те, кто отстает, не смогут полностью наверстать упущенное, по крайней мере, в первые несколько лет. Но приложив серьезные усилия с нашей стороны, мы, возможно, сможем направить дело в нужное русло — и быстро. Если мы это сделаем, то сможем внести хотя бы первый взнос за обещания достоинства и равенства, которыми мы обязаны каждому человеку на земле.

4. Мир и управление

Предположим, что всё, о чём говорилось в первых трёх разделах, сбудется: болезни, бедность и неравенство значительно сократятся, а уровень человеческого опыта существенно повысится. Из этого не следует, что все основные причины человеческих страданий будут устранены. Люди по-прежнему представляют угрозу друг для друга. Несмотря на тенденцию к технологическому прогрессу и экономическому развитию, ведущим к демократии и миру, это очень слабая тенденция с частыми (и недавними) откатами назад. На заре XX века люди думали, что война осталась в прошлом; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «конце истории» и окончательном триумфе либеральной демократии; этого до сих пор не произошло. Двадцать лет назад американские политики считали, что свободная торговля с Китаем приведёт к его либерализации по мере роста благосостояния; этого тоже не произошло, и теперь мы, кажется, Мы движемся ко второй холодной войне с возрождающимся авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии на самом деле могут быть на руку авторитаризму, а не демократии, как считалось изначально (например, в период «арабской весны»). Кажется важным попытаться понять, насколько сильно ИИ повлияет на эти вопросы мира, демократии и свободы.

К сожалению, я не вижу веских оснований полагать, что ИИ предпочтительно или структурно продвинет демократию и мир точно так же, как я думаю, что он структурно улучшит здоровье людей и уменьшит бедность. Человеческие конфликты носят состязательный характер, и ИИ в принципе может помочь как “хорошим парням”, так и “плохим парням”. Во всяком случае, некоторые структурные факторы кажутся тревожными: искусственный интеллект, похоже, позволит гораздо лучше вести пропаганду и наблюдение, оба основных инструмента в арсенале автократа. Поэтому от нас, как от отдельных действующих лиц, зависит направить ситуацию в нужное русло: если мы хотим, чтобы ИИ способствовал демократии и правам личности, нам придется бороться за этот результат. Я отношусь к этому даже более серьезно, чем к международному неравенству: триумф либеральной демократии и политической стабильности не гарантирован, возможно, даже маловероятен, и потребует больших жертв и приверженности со всех наших сторон, как это часто случалось в прошлом.

Я рассматриваю эту проблему с двух точек зрения: международный конфликт и внутренняя структура государств. С международной точки зрения, кажется очень важным, чтобы демократические страны имели преимущество на мировой арене, когда будет создан мощный ИИ. Авторитаризм, основанный на ИИ, кажется слишком ужасным, чтобы о нём думать, поэтому демократические страны должны иметь возможность устанавливать условия, на которых мощный ИИ будет появляться в мире, чтобы не допустить его использования авторитарными странами и предотвратить нарушения прав человека в авторитарных странах.

На данный момент я считаю, что лучший способ сделать это — «стратегия сближения»²⁶, при которой коалиция демократических стран стремится получить явное преимущество (пусть даже временное) над мощным искусственным интеллектом, обеспечив его цепочку поставок, быстро масштабируясь и блокируя или замедляя доступ противников к ключевым ресурсам, таким как микросхемы и полупроводниковое оборудование. Эта коалиция, с одной стороны, будет использовать ИИ для достижения надёжного военного превосходства (кнут), в то же время предлагая распространить преимущества мощного ИИ (пряник) на всё более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы чем-то вроде «Атом для мира»). Коалиция будет стремиться заручиться поддержкой всё большего числа стран мира, изолируя наших злейших противников и в конечном счёте поставив их в такое положение, когда им будет выгоднее заключить ту же сделку, что и остальному миру: отказаться от соперничества с демократиями, чтобы получить все преимущества и не сражаться с превосходящим противником.

Если мы сможем сделать всё это, у нас будет мир, в котором демократические страны будут лидировать на мировой арене и обладать достаточной экономической и военной мощью, чтобы не допустить подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут превратить своё превосходство в области ИИ в долгосрочное преимущество. Это может привести к «вечному 1991 году» — миру, в котором демократические страны будут доминировать и мечты Фукуямы сбудутся. Опять же, этого будет очень трудно добиться, и, в частности, потребуется тесное сотрудничество между частными компаниями, занимающимися искусственным интеллектом, и демократическими правительствами, а также чрезвычайно взвешенные решения о балансе между кнутом и пряником.

Даже если всё пойдёт хорошо, остаётся вопрос о борьбе между демократией и автократией внутри каждой страны. Очевидно, что трудно предсказать, что здесь произойдёт, но я с некоторым оптимизмом смотрю на то, что при условии глобальной среды, в которой демократические страны контролируют самый мощный ИИ, тогда ИИ может структурно способствовать развитию демократии во всём мире. В частности, в такой среде демократические правительства могут использовать свой превосходный искусственный интеллект для победы в информационной войне: они могут противостоять влиянию и пропагандистским операциям автократий и даже могут создать глобальную свободную информационную среду, предоставляя каналы информации и услуги искусственного интеллекта таким образом, что автократиям не хватит технических возможностей для их блокировки или мониторинга. Вероятно, нет необходимости в пропаганде, достаточно противостоять злонамеренным атакам и разблокировать свободный поток информации. Хотя это и не произойдёт мгновенно, такое равное игровое поле имеет хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни в разделах 1-3 при прочих равных условиях должно способствовать развитию демократии: исторически так оно и было, по крайней мере в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благосостояния и образования приведет к росту демократии, поскольку все три фактора отрицательно коррелируют с поддержкой авторитарных лидеров. В целом люди хотят большего самовыражения, когда удовлетворяются их другие потребности, а демократия — это, помимо всего прочего, форма самовыражения. И наоборот, авторитаризм процветает на страхе и негодовании.

Во-вторых, есть большая вероятность, что бесплатная информация действительно подрывает авторитаризм, пока авторитаристы не могут подвергать ее цензуре. ИИ без цензуры также может предоставить отдельным людям мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, отказывая людям в определенном виде общеизвестных знаний, не давая им осознать, что “на императоре нет одежды”. Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о техниках психологического лишения авторитарных лидеров их власти, о том, как разрушить чары и заручиться поддержкой против диктатора. Сверхчеловечески эффективная версия ИИ Поповича (чьи навыки, похоже, дают высокую отдачу от интеллекта) в кармане каждого, которую диктаторы бессильны заблокировать или подвергнуть цензуре, может создать ветер в спинах диссидентов и реформаторов по всему миру. Повторяю, это будет долгая борьба, в которой победа не гарантирована, но если мы спроектируем и создадим искусственный интеллект правильным образом, это может быть, по крайней мере, битва, в которой сторонники свободы повсюду будут иметь преимущество.

Как и в случае с нейробиологией, мы также можем спросить, как все могло бы быть “лучше, чем обычно” — не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже в демократических странах несправедливость случается постоянно. Общества с верховенством закона обещают своим гражданам, что все будут равны перед законом и каждый будет иметь право на основные права человека, но, очевидно, люди не всегда получают эти права на практике. То, что это обещание выполнено хотя бы частично, дает повод для гордости, но может ли искусственный интеллект помочь нам добиться большего?

Например, может ли искусственный интеллект улучшить нашу правовую систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся в юридическом или судебном контексте о том, что системы искусственного интеллекта станут причиной дискриминации, и эти опасения важны, и от них нужно защищаться. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не просто от реагирования на риски. По-настоящему зрелое и успешное внедрение искусственного интеллекта может уменьшить предвзятость и стать более справедливым для всех.

На протяжении веков правовые системы сталкивались с дилеммой, заключающейся в том, что закон стремится быть беспристрастным, но по своей сути субъективен и, следовательно, должен интерпретироваться предвзятыми людьми. Попытка сделать закон полностью механическим не сработала, потому что реальный мир беспорядочен и не всегда может быть описан математическими формулами. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как “жестокое и необычное наказание” или “совершенно не принося пользы обществу”, которые люди затем интерпретируют — и часто делают это таким образом, что демонстрируют предвзятость, фаворитизм или произвол. “Смарт-контракты” в криптовалютах не произвели революцию в законодательстве, потому что обычный код недостаточно умен, чтобы выносить решения, представляющие такой большой интерес. Но искусственный интеллект может быть достаточно умен для этого: это первая технология, способная выносить широкие, нечеткие суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами искусственного интеллекта, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира кажется, что это должно иметь серьезные позитивные применения в области права и правосудия. По крайней мере, такие системы могли бы работать бок о бок с людьми в качестве помощи в принятии решений. Прозрачность была бы важна в любой такой системе, и, предположительно, ее могла бы обеспечить зрелая наука об искусственном интеллекте: процесс обучения для таких систем можно было бы тщательно изучить, а передовые методы интерпретируемости можно было бы использовать, чтобы заглянуть внутрь окончательной модели и оценить ее на предмет скрытых искажений способом, который просто невозможен для людей. Такие инструменты искусственного интеллекта также можно было бы использовать для мониторинга нарушений основных прав в судебном или полицейском контексте, что сделало бы конституции более самоподдерживающимися.

Аналогичным образом, Искусственный интеллект может использоваться как для объединения мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска точек соприкосновения и поиска компромисса. Некоторые ранние идеи в этом направлении были реализованы в рамках проекта компьютерной демократии, включая сотрудничество с Anthropic. Более информированные и вдумчивые граждане, очевидно, укрепили бы демократические институты.

Также существует явная возможность использования искусственного интеллекта для оказания помощи в предоставлении государственных услуг, таких как медицинские пособия или социальные службы, которые в принципе доступны каждому, но на практике часто сильно отсутствуют, причем в одних местах хуже, чем в других. Сюда входят медицинские услуги, DMV, налоги, социальное обеспечение, соблюдение строительных норм и так далее. Наличие очень вдумчивого и информированного искусственного интеллекта, работа которого заключается в том, чтобы предоставлять вам все, на что вы имеете законное право от правительства, доступным для понимания способом — и который также помогает вам соблюдать часто сбивающие с толку правительственные правила — было бы большим событием. Увеличение потенциала государства помогает выполнить обещание равенства перед законом и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основной причиной цинизма в отношении правительства²⁷.

Все это несколько расплывчатые идеи, и, как я уже говорил в начале этого раздела, я далеко не так уверен в их осуществимости, как в достижениях биологии, неврологии и борьбе с бедностью. Они могут быть нереалистично утопичными. Но важно иметь амбициозное видение, быть готовым мечтать о большем и пробовать разные вещи. Видение искусственного интеллекта как гаранта свободы, прав личности и равенства перед законом — слишком сильное видение, чтобы не бороться за него. Государство 21 века с поддержкой искусственного интеллекта могло бы стать как более сильным защитником свободы личности, так и маяком надежды, который поможет превратить либеральную демократию в форму правления, которую хочет принять весь мир.

5. Работа и смысл

Даже если всё, о чём говорилось в предыдущих четырёх разделах, сбудется — мы не только избавимся от болезней, бедности и неравенства, но и либеральная демократия станет доминирующей формой правления, а существующие либеральные демократии станут более совершенными версиями самих себя, — по крайней мере, один важный вопрос всё равно останется. «Здорово, что мы живём в таком технологически продвинутом, справедливом и достойном мире, — может возразить кто-то, — но если за всё будет отвечать ИИ, как у людей появится смысл жизни?» Если уж на то пошло, как они будут выживать экономически?”.

Я думаю, что этот вопрос сложнее, чем остальные. Я не имею в виду, что я настроен более пессимистично по отношению к нему, чем к другим вопросам (хотя я вижу трудности). Я имею в виду, что он более расплывчатый и его сложнее предсказать заранее, потому что он связан с макроскопическими вопросами об устройстве общества, которые, как правило, решаются только со временем и децентрализованно. Например, исторические общества охотников-собирателей могли бы подумать, что жизнь бессмысленна без охоты и различных религиозных ритуалов, связанных с охотой, и могли бы подумать, что наше сытое технологическое общество лишено цели. Они также могли бы не понимать, как наша экономика может обеспечить всех, или какую функцию люди могут выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, памятуя о том, что краткость этого раздела вовсе не означает, что я не воспринимаю эти вопросы всерьёз — напротив, это признак отсутствия чётких ответов.

Что касается вопроса о смысле, я думаю, что, скорее всего, ошибочно полагать, что задачи, за которые вы беретесь, бессмысленны просто потому, что искусственный интеллект мог бы выполнять их лучше. Большинство людей ни в чем не являются лучшими в мире, и, похоже, это их не особенно беспокоит. Конечно, сегодня они все еще могут вносить свой вклад за счет сравнительных преимуществ и могут извлекать смысл из экономической ценности, которую они производят, но люди также получают огромное удовольствие от деятельности, которая не приносит экономической ценности. Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и разговаривая с друзьями, и все это не приносит никакой экономической пользы. Я мог бы потратить день, пытаясь стать лучше в видеоигре или быстрее кататься на велосипеде в гору, и для меня на самом деле не имеет значения, что кто-то где-то намного лучше в этих вещах. В любом случае, я думаю, что смысл приходит в основном от человеческих отношений и связанности, а не от экономического труда. Люди действительно хотят чувства выполненного долга, даже чувства соперничества, и в мире после искусственного интеллекта вполне возможно потратить годы на выполнение какой-то очень сложной задачи со сложной стратегией, подобной тому, что люди делают сегодня, когда они приступают к исследовательским проектам, пытаются стать голливудскими актерами или основывают компании²⁸. Факты о том, что (а) искусственный интеллект где-то в принципе мог бы справиться с этой задачей лучше, и (б) эта задача больше не является экономически выгодным элементом глобальной экономики, мне не кажутся имеющими большого значения.

Экономическая часть на самом деле кажется мне более сложной, чем содержательная. Под “экономическими” в этом разделе я подразумеваю возможную проблему, заключающуюся в том, что большинство или все люди, возможно, не смогут внести значимый вклад в достаточно развитую экономику, управляемую искусственным интеллектом. Это скорее макропроблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество будет и дальше поддерживать актуальность людей и фактически повышать их производительность, а в некоторых отношениях может даже выровнять условия для всех людей. До тех пор, пока ИИ будет справляться с 90% задач лучше, чем люди, остальные 10% будут приводить к тому, что люди будут работать с высокой нагрузкой, получать более высокую зарплату и фактически создавать множество новых рабочих мест для людей, дополняя и усиливая то, в чём хорош ИИ, так что «10%» расширятся и будут продолжать нанимать почти всех. На самом деле, даже если ИИ может выполнять 100% задач лучше, чем люди, но при этом остаётся неэффективным или дорогостоящим в некоторых областях, или если затраты ресурсов у людей и ИИ существенно различаются, то логика сравнительного преимущества продолжает действовать. Одна из областей, в которой люди, скорее всего, будут сохранять относительное (или даже абсолютное) преимущество в течение длительного времени, — это физический мир. Таким образом, я думаю, что человеческая экономика может продолжать существовать и после того, как мы достигнем «страны гениев в центре обработки данных».

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько эффективным и дешёвым, что это перестанет быть актуальным. В этот момент наша нынешняя экономическая система перестанет быть целесообразной, и возникнет необходимость в более широком общественном обсуждении того, как должна быть устроена экономика.

Хотя это может показаться безумием, факт в том, что в прошлом цивилизация успешно справлялась с крупными экономическими сдвигами: от охоты и собирательства к земледелию, от земледелия к феодализму, от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и более странное, и что сегодня никто не может этого представить. Это может быть что-то простое, например, большой универсальный базовый доход для всех, хотя я подозреваю, что это будет лишь малая часть решения. Это может быть капиталистическая экономика, основанная на системах искусственного интеллекта, которые затем распределяют ресурсы (в огромных количествах, поскольку общий экономический пирог будет гигантским) между людьми на основе какой-то вторичной экономики, основанной на том, что, по мнению систем искусственного интеллекта, имеет смысл вознаграждать людей (на основе какого-то суждения, в конечном счёте основанного на человеческих ценностях). Возможно, экономика будет основана на баллах Whuffie. Или, возможно, люди всё-таки останутся экономически ценными, но не так, как предсказывают обычные экономические модели. У всех этих решений есть множество возможных проблем, и невозможно понять, будут ли они иметь смысл, без множества итераций и экспериментов. И, как и в случае с некоторыми другими проблемами, нам, скорее всего, придётся бороться, чтобы добиться хорошего результата: очевидно, что эксплуататорские или антиутопические направления тоже возможны, и их нужно предотвращать. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это в будущем.

Подводим итоги

С помощью различных тем, приведенных выше, я попытался изложить видение мира, которое будет одновременно правдоподобным, если с искусственным интеллектом все пойдет как надо, и намного лучше, чем мир сегодня. Я не знаю, реалистичен ли этот мир, и даже если это так, он не будет достигнут без огромных усилий и борьбы многих храбрых и преданных делу людей. Все (включая компании, занимающиеся искусственным интеллектом!) им нужно будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но за этот мир стоит бороться. Если все это действительно произойдет в течение 5-10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, избавление миллиардов людей от бедности, чтобы они могли пользоваться новыми технологиями, возрождение либеральной демократии и прав человека, — я подозреваю, что все, кто смотрит это, будут удивлены эффектом, который это окажет на них. Я не имею в виду опыт личной выгоды от всех новых технологий, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как перед всеми нами сразу материализуются давние идеалы. Я думаю, что многие будут буквально тронуты этим до слез.

В процессе написания этого эссе я заметил интересное противоречие. В каком-то смысле изложенная здесь концепция крайне радикальна: это не то, чего почти все ожидают в ближайшее десятилетие, и многим она, скорее всего, покажется абсурдной фантазией. Некоторые могут даже счесть её нежелательной; она воплощает ценности и политические решения, с которыми не все согласятся. Но в то же время в этом есть что-то ослепительно очевидное — что-то сверхопределённое, — как будто множество различных попыток представить себе хороший мир неизбежно приводят примерно к этому.

В романе Иэна М. Бэнкса «Игрок в игры»²⁹ главный герой — член общества под названием «Культура», основанного на принципах, схожих с теми, что я изложил здесь, — отправляется в репрессивную милитаристскую империю, в которой лидерство определяется в ходе сложной военной игры. Однако игра настолько сложна, что стратегия игрока в ней, как правило, отражает его собственные политические и философские взгляды. Главному герою удаётся победить императора в игре, показав, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанным на безжалостной конкуренции и выживании наиболее приспособленных. В известной статье Скотта Александера тот же тезис: конкуренция саморазрушительна и ведёт к обществу, основанному на сострадании и сотрудничестве. «Дуга нравственной вселенной» — ещё одна похожая концепция.

Я считаю, что ценности культуры — это выигрышная стратегия, потому что они представляют собой совокупность миллиона мелких решений, которые обладают явной моральной силой и, как правило, объединяют всех на одной стороне. С базовыми человеческими инстинктами справедливости, сотрудничества, любознательности и самостоятельности трудно поспорить, и они накапливаются, в отличие от наших более разрушительных порывов. Легко утверждать, что дети не должны умирать от болезней, если мы можем это предотвратить, и отсюда легко сделать вывод, что все дети в равной степени заслуживают этого права. Исходя из этого, нетрудно утверждать, что мы все должны объединиться и применить наш интеллект для достижения этого результата. Мало кто не согласен с тем, что люди должны быть наказаны за неоправданные нападения или причинение вреда другим, и отсюда нет большого скачка к идее, что наказания должны быть последовательными и систематическими для всех людей. Точно так же интуитивно люди должны обладать автономией и ответственностью за свою собственную жизнь и выбор. Эти простые интуитивные выводы, если их довести до логического завершения, в конечном итоге приведут к верховенству закона, демократии и ценностям Просвещения. Если не неизбежно, то, по крайней мере, как статистическая тенденция, именно к этому человечество уже направлялось. ИИ просто предлагает возможность доставить нас туда быстрее — сделать логику более четкой, а пункт назначения — более ясным.

Тем не менее, это нечто невероятное по своей красоте. У нас есть возможность сыграть небольшую роль в том, чтобы это стало реальностью.

Спасибо Кевину Эсвелту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бриньолфссону, Джиму МакКлэйву, Аллану Дафо и многим сотрудникам Anthropic за то, что они просмотрели черновики этого эссе.

Лауреатам Нобелевской премии по химии 2024 года за то, что показали нам путь.

Примечания

¹https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
²Я ожидаю, что реакция меньшинства людей будет такой: “это довольно банально». Я думаю, что этим людям нужно, выражаясь языком Твиттера, “потрогать траву”. Но что более важно, ручное управление — это хорошо с точки зрения общества. Я думаю, что люди могут справиться с таким количеством перемен одновременно, и темпы, которые я описываю, вероятно, близки к пределам того, что общество может воспринять без крайней турбулентности. ↩
³Я считаю, что AGI — неточный термин, который собрал много научно-фантастического багажа и шумихи. Я предпочитаю «мощный искусственный интеллект» или «Науку и инженерию экспертного уровня», которые понимают, что я имею в виду, без шумихи. ↩
⁴В этом эссе я использую термин «интеллект» для обозначения общей способности решать проблемы, которая может применяться в различных областях. Сюда входят такие способности, как рассуждение, обучение, планирование и креативность. Хотя я использую термин «интеллект» в качестве сокращения на протяжении всего эссе, я признаю, что природа интеллекта — сложная и спорная тема в когнитивной науке и исследованиях в области искусственного интеллекта. Некоторые исследователи утверждают, что интеллект — это не единое, целостное понятие, а скорее совокупность отдельных когнитивных способностей. Другие считают, что существует общий фактор интеллекта (g-фактор), лежащий в основе различных когнитивных навыков. Это спорный вопрос, но об этом в другой раз. ↩
⁵Это примерно соответствует текущей скорости работы систем искусственного интеллекта — например, они могут прочитать страницу текста за пару секунд и написать страницу текста примерно за 20 секунд, что в 10-100 раз быстрее, чем люди могут делать то же самое. Со временем более крупные модели, как правило, работают медленнее, но более мощные чипы, как правило, работают быстрее; на сегодняшний день эти два эффекта примерно уравновешивают друг друга. ↩
⁶Это может показаться легкой добычей, но такие осторожные мыслители, как Тайлер Коуэн и Мэтт Иглесиас, выразили серьезную озабоченность (хотя я не думаю, что они полностью разделяют эту точку зрения), и я не думаю, что это безумие. ↩
⁷Самая близкая экономическая работа, о которой я знаю, к решению этого вопроса, — это работа над “технологиями общего назначения” и “нематериальными инвестициями”, которые служат дополнением к технологиям общего назначения. ↩
⁸Это обучение может включать временное обучение в контексте или традиционное обучение; скорость и того, и другого будет ограничена физическим миром. ↩
⁹В хаотической системе небольшие ошибки со временем возрастают экспоненциально, так что даже огромное увеличение вычислительной мощности приводит лишь к небольшому улучшению того, насколько далеко вперед можно прогнозировать, и на практике ошибка измерения может еще больше ухудшить этот показатель. ↩
¹⁰Еще одним фактором, конечно, является то, что сам мощный ИИ потенциально может быть использован для создания еще более мощного ИИ. Я предполагаю, что это может (фактически, вероятно, произойдет) произойти, но его эффект будет меньшим, чем вы можете себе представить, именно из-за обсуждаемого здесь «уменьшения предельной отдачи от интеллекта”. Другими словами, ИИ будет продолжать быстро становиться умнее, но его эффект в конечном итоге будет ограничен факторами, не связанными с интеллектом, и их анализ — это то, что наиболее важно для скорости научного прогресса за пределами ИИ. ↩
¹¹Эти достижения послужили для меня источником вдохновения и, возможно, самым мощным из существующих примеров использования искусственного интеллекта для преобразования биологии. ↩
¹²“Прогресс науки зависит от новых методов, новых открытий и новых идей, вероятно, именно в таком порядке”. — Сидни Бреннер ↩
¹³Спасибо Парагу Маллику за высказанную мысль. ↩
¹⁴Я не хотел перегружать текст рассуждениями о том, какие конкретные открытия в будущем может сделать наука с использованием ИИ, но вот несколько идей:
— Разработка более совершенных вычислительных инструментов, таких как AlphaFold и AlphaProteo, то есть общей системы ИИ, которая ускорит создание специализированных инструментов вычислительной биологии на основе ИИ.
— Более эффективный и избирательный CRISPR.
— Более совершенные методы клеточной терапии.
— Прорывы в области материаловедения и миниатюризации, ведущие к созданию более совершенных имплантируемых устройств.
— Более эффективный контроль над стволовыми клетками, дифференцировкой и дедифференцировкой клеток, а также способность восстанавливать или изменять форму тканей.
— Более эффективный контроль над иммунной системой: выборочное включение для борьбы с раком и инфекционными заболеваниями и выборочное отключение для борьбы с аутоиммунными заболеваниями. ↩
¹⁵Искусственный интеллект, конечно, также может помочь разумнее подходить к выбору экспериментов для проведения: улучшить дизайн эксперимента, узнать больше из первого раунда экспериментов, чтобы во втором раунде можно было сузить круг ключевых вопросов, и так далее. ↩
¹⁶Спасибо Мэтью Иглесиасу за высказанную мысль. ↩
¹⁷Быстро развивающихся болезней, таких как штаммы с множественной лекарственной устойчивостью, которые по сути, используют больницы как эволюционную лабораторию для постоянного повышения их устойчивости к лечению, могут быть особенно сложными в борьбе, и это может быть тем, что мешает нам достичь 100%-ного уровня. ↩
¹⁸Примечание: может быть трудно осознать, что мы удвоили продолжительность жизни человека за 5-10 лет. Хотя мы, возможно, и достигли этого, мы можем еще не знать об этом в течение периода исследования. ↩
¹⁹Это одно из тех мест, где я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением процесса старения, взглянуть на статистическую тенденцию с более широкой точки зрения и сказать: «Несмотря на то, что детали отличаются, я думаю, что наука о человеке, вероятно, найдёт способ продолжить эту тенденцию; в конце концов, плавные тенденции в чём-либо сложном обязательно складываются из очень разнородных компонентов. ↩
²⁰Например, мне сказали, что увеличение производительности на 1% или даже 0,5% в год может кардинально изменить прогнозы, связанные с этими программами. Если идеи, изложенные в этом эссе, воплотятся в жизнь, рост производительности может быть гораздо выше. ↩
²¹СМИ любят изображать высокопоставленных психопатов, но среднестатистический психопат — это, вероятно, человек с плохими экономическими перспективами и слабым контролем над импульсами, который в итоге проводит значительную часть жизни в тюрьме. ↩
²²Я думаю, что это в некоторой степени аналогично тому факту, что многие, хотя, вероятно, и не все, результаты, которые мы извлекаем из интерпретируемости, продолжали бы оставаться актуальными, даже если бы некоторые архитектурные детали наших нынешних искусственных нейронных сетей, такие как механизм внимания, были изменены или заменены каким-либо образом. ↩
²³Я подозреваю, что это немного похоже на классическую хаотическую систему – окруженную непреодолимой сложностью, управлять которой приходится в основном децентрализованным образом. Хотя, как я скажу позже в этом разделе, возможны и более скромные вмешательства. Контраргумент, приведенный мне экономистом Эриком Бриньольфссоном, заключается в том, что крупные компании (такие как Walmart или Uber) начинают располагать достаточным количеством централизованных знаний, чтобы понимать потребителей лучше, чем это мог бы сделать любой децентрализованный процесс, что, возможно, заставляет нас пересмотреть идеи Хайека о том, кто лучше всех знает местные условия. ↩
²⁴Спасибо Кевину Эсвельту за высказанную мысль. ↩
²⁵Например, сотовые телефоны изначально были технологией для богатых, но быстро стали очень дешевыми, а год от года происходили улучшения настолько быстрые, что не давали никаких преимуществ при покупке “роскошного” сотового телефона, и сегодня у большинства людей есть телефоны аналогичного качества. ↩
²⁶Это название готовящейся к публикации статьи RAND, в которой в общих чертах изложена стратегия, которую я описываю. ↩
²⁷Когда среднестатистический человек думает о государственных учреждениях, он, вероятно, вспоминает свой опыт взаимодействия с Управлением по делам транспортных средств, Налоговой службой, программой медицинского страхования или аналогичными функциями. Сделать этот опыт более позитивным, чем он есть сейчас, кажется эффективным способом борьбы с чрезмерным цинизмом. ↩
²⁸Действительно, в мире, управляемом искусственным интеллектом, спектр таких возможных задач и проектов будет намного шире, чем сегодня. ↩
²⁹Я нарушаю собственное правило не говорить здесь о научной фантастике, но мне трудно не упоминать её хотя бы немного. Дело в том, что научная фантастика — один из наших единственных источников масштабных мысленных экспериментов о будущем; я думаю, это плохо, что она так тесно связана с определённой узкой субкультурой. ↩