Telegram-канал «За четыре моря». На кону большие деньги и победа в новой гонке вооружений

Вчера многие говорили о том, что Маск подписал письмо с призывом остановить разработку всех ИИ-систем, более продвинутых, чем GPT-4.

Можно сослаться на эксцентричность Маска, но в списке подписантов много важных для ИТ-индустрии людей: Стив Возняк, Юваль Ной Харари, немало сотрудников ИИ-стартапов и еще больше профессоров — в том числе и тех, кто стоял у самых истоков современных нейронных сетей, вроде Йошуа Бенжио.

Возникает два вопроса.
Первый: почему умные люди становятся неолуддитами и пытаются остановить прогресс?
Второй: действительно ли развитие ИИ могут приостановить?

Начнем с первого. В самом письме цитируется несколько причин. Что, если машины заполнят наш мир пропагандой? А если роботы займут все рабочие места? И наконец, уверены ли мы, что не потеряем контроль за нашей цивилизацией?

Последний тезис может показаться радикальным, но именно он — причина, по которой многие оставили свою подпись под документом (хотя и не все — есть те, кто больше обеспокоен краткосрочными эффектами).

Есть много аргументов за то, почему ИИ может уничтожить человечество, но сфокусируемся на одном, самом известном и элегантном. Он состоит из двух частей.

1) Допустим, нам удастся создать ИИ, равный по способностям человеческому мозгу. В отличие от человека, он не нуждается в отдыхе, не забывает то, что однажды выучил, и может получить доступ к колоссальным вычислительным ресурсам. А главное — может улучшать сам себя. Он умеет писать код, а значит, может создать ИИ+ — интеллект, хотя бы немного превосходящий человеческий, который, в свою очередь, создаст еще более производительную модель. Получается, что создание «человеческого» ИИ неизбежно приведет к появлению «сверхчеловеческого» (лучший анализ этого аргумента — в статье Чалмерса).

2) Если появится сверхчеловеческий интеллект, то нет никаких гарантий, что его цели будут соответствовать человеческим — это та самая AI Alignment Problem. В упрощенном виде — знаменитый «аргумент о скрепках». Допустим, человечество создало сверхчеловеческий разум, в мозг которого мы заложили главную цель — производить скрепки. Со временем этот ИИ поймет, что для максимизации числа скрепок желательно превратить в заводы по их производству всю поверхность Земли, а в идеале в скрепки должна превратиться вся материя во Вселенной — включая, конечно, и довольно бесполезных людей. Какую бы цель мы ни заложили в искусственный разум, мы не понимаем, как она будет интерпретирована (за деталями — к Бострому).

Если вы впервые читаете эти аргументы, то они могут показаться вам фантасмагорическим бредом, место которому — в голливудских боевиках. Их разделяют даже не все подписанты. Но раз уж об этом всерьез спорят тысячи блестяще образованных людей, то нам точно стоит хотя бы задуматься.

Теперь ко второму вопросу — получится ли приостановить развитие? Скорее всего, нет. Во-первых, поддерживают письмо далеко не все — среди подписантов не видно сотрудников OpenAI, да и многие исследователи называют его «бредом». К тому же на кону большие деньги: ChatGPT стал самым быстрорастущим приложением за всю историю, набрав 100 млн пользователей за два месяца — почти в пять раз быстрее, чем TikTok. Любая компания, которая добровольно откажется от развития, потеряет миллиарды долларов — именно поэтому Google в спешке презентовал свой аналог ChatGPT, который называли даже «позором».

Во-вторых, вряд ли смогут остановить разработки и государства. Развитие ИИ — давно уже новая гонка вооружений между Китаем и США. Если любая из сторон решит единолично остановить своих исследователей, то обречет себя на поражение в необъявленной войне (лучше уж всесильный ИИ разработаем мы, чем эти тоталитарные безумцы — вполне себе существующий аргумент). Ну а поверить в координацию между Китаем и США почти невозможно — поэтому американцы вкладывают рекордные $50 млрд в развитие полупроводников, без которых ИИ не построишь, а китайцы запускают одну ИИ-стратегию за другой.

Поэтому большого эффекта от письма ждать не стоит.

Telegram-канал «За четыре моря»