Обсуждение

Думаю, применительно к ИИ alignment правильно переводить как мировоззрение. И оно может быть только у разумного субъекта. И опасения в связи с мировоззрением разумного субъекта могут быть примерно в таком диапазоне: "вот купим раба, а он нас возненавидит и зарежет", "вот заведем ребенка, а он вырастет, возненавидит нас и зарежет", "вот соседи заведут ребенка, он научится всяким гадостям и нас зарежет". Пока что у ИИ большие проблемы именно с субъектностью. Как сказал мне GPT-4, "у меня нет собственных целей, предпочтений, желаний или потребностей". Мы можем представить, как все это заложить в ИИ извне, но не приблизились к зарождению чего-то подобного у них внутре. Если же вдруг появится явная субъектность, сразу же возникнет острейший вопрос о правах ИИ-субъектов. И если получится найти какое-то последовательное и устойчивое решение этого вопроса, то дальше с alignment-мировоззрением этих ИИ-субъектов будет логично взаимодействовать так же как с человеческим. Если мировоззрение толкает субъекта к неправовым действиям, их по возможности пресекают силой. Если таких действий нет, но мировоззрение все равно не нравится, можно попробовать переубедить, бойкотировать или подкупить этого субъекта. На это нам могут сказать, что надо готовиться не только к появлению ИИ субъектного и склонного к неправовым действиям, но и к тому, что он еще будет невообразимо умным сверхразумом. И проявится в качестве такового внезапно, перед этим тщательно маскируясь. Перед такой перспективой люди действительно полностью беззащитны. Равно как и перед перспективой, что все мы персонажи и юниты в компьютерной симуляции, которую завтра остановят и сотрут с диска. Или перед перспективой, что миллиард лет назад инопланетяне заложили на Земле колонию нанороботов, которые должны уничтожить здесь жизнь, если она "чересчур" разовьется. Однако вызывает сомнение актуальность подобных перспектив. Меня, пожалуй, скорее испугает перспектива очень мощного ИИ на службе цензурного ведомства, который будет подменять "нежелательные" имейлы и комменты в момент отправки. Или делать банковские переводы не как хотят держатели счетов, а "как надо". Вроде бы уже и фейсбучные рекомендации-оптимизации показали, как оно бывает, и банковский комплаенс уже многих достал, а тревогу бьют не о том.

Жизнь сильно по-другому устроена. Начиная с того, что этих ИИ будет чёртова туча, они друг с другом против кого-нибудь будут дружить или воевать, ресурсов на всех не будет хватать, там будет экосистема и непрерывная эволюция. Но никак не один ИИ, захвативший мир. Никакой конспирологии тут. То, что ИИ позволит одному диктатору более прямо контролировать поведение людей, чем без ИИ — это правда, как и что наличие компьютеров позволило одному чиновнику контролировать больше людей, чем без компьютера. Я даже гадать не буду, что там будет происходить. Всё стремительно. Я вот разбираюсь со сложными вопросами прямо сейчас, мне GPT-4 помогает. Много быстрее, чем через Гугль. Так что пока результат тут — я стал умнее, много умнее. Ибо у меня есть доступ к внешним мозгам. Я считаю, что это очень хорошо. Плюсы от появления компьютеров и от появления AI пока перевешивают то, что они и чиновников усиливают. В целом люди начинают жить лучше и творить больше.

Let's see, who else is concerned with the speed of the AI progress:

Yoshua Bengio, University of Montréal, Turing Laureate for developing deep learning, head of the Montreal Institute for Learning Algorithms

Stuart Russell, Berkeley, Professor of Computer Science, director of the Center for Intelligent Systems, and co-author of the standard textbook “Artificial Intelligence: a Modern Approach"

Elon Musk, CEO of SpaceX, Tesla & Twitter

Steve Wozniak, Co-founder, Apple

Yuval Noah Harari, Author and Professor, Hebrew University of Jerusalem.
https://futureoflife.org/open-letter/pause-giant-ai-experiments/

I think we are in good company and have our reasons to protest.