Без заголовка

Думаю, применительно к ИИ alignment правильно переводить как мировоззрение. И оно может быть только у разумного субъекта. И опасения в связи с мировоззрением разумного субъекта могут быть примерно в таком диапазоне: "вот купим раба, а он нас возненавидит и зарежет", "вот заведем ребенка, а он вырастет, возненавидит нас и зарежет", "вот соседи заведут ребенка, он научится всяким гадостям и нас зарежет". Пока что у ИИ большие проблемы именно с субъектностью. Как сказал мне GPT-4, "у меня нет собственных целей, предпочтений, желаний или потребностей". Мы можем представить, как все это заложить в ИИ извне, но не приблизились к зарождению чего-то подобного у них внутре. Если же вдруг появится явная субъектность, сразу же возникнет острейший вопрос о правах ИИ-субъектов. И если получится найти какое-то последовательное и устойчивое решение этого вопроса, то дальше с alignment-мировоззрением этих ИИ-субъектов будет логично взаимодействовать так же как с человеческим. Если мировоззрение толкает субъекта к неправовым действиям, их по возможности пресекают силой. Если таких действий нет, но мировоззрение все равно не нравится, можно попробовать переубедить, бойкотировать или подкупить этого субъекта. На это нам могут сказать, что надо готовиться не только к появлению ИИ субъектного и склонного к неправовым действиям, но и к тому, что он еще будет невообразимо умным сверхразумом. И проявится в качестве такового внезапно, перед этим тщательно маскируясь. Перед такой перспективой люди действительно полностью беззащитны. Равно как и перед перспективой, что все мы персонажи и юниты в компьютерной симуляции, которую завтра остановят и сотрут с диска. Или перед перспективой, что миллиард лет назад инопланетяне заложили на Земле колонию нанороботов, которые должны уничтожить здесь жизнь, если она "чересчур" разовьется. Однако вызывает сомнение актуальность подобных перспектив. Меня, пожалуй, скорее испугает перспектива очень мощного ИИ на службе цензурного ведомства, который будет подменять "нежелательные" имейлы и комменты в момент отправки. Или делать банковские переводы не как хотят держатели счетов, а "как надо". Вроде бы уже и фейсбучные рекомендации-оптимизации показали, как оно бывает, и банковский комплаенс уже многих достал, а тревогу бьют не о том.