Обсуждение

Юдковский боится повторения истории с skynet?

Повторения?! Я что-то пропустил? ;)

Вот именно, напридумали себе сташилок - мягкий ИИ, твердый ИИ, и как ее там - сингулярность. Проблема не в этом. Проблема в человеческих отношениях. В человеческой жадности и тупости. ИИ к этому отношения не имеет.

неужели никогда про Cyberdyne Systems Corporation не слышали?

p.s. Я получил Ваше письмо

Все озабочены. Назовите это по-другому: не дружественностью, а окультуриванием, социализацией. Человеческого дитёныша с пелёнок окультуривают и социализируют, дабы его поведение было понятным и прогнозируемым, а жил он по вдолбленным моделям. Этим занимается детсад, школа и др. учебные заведения. Делают дитёныша безопасным и полезным для общества. В какой-нибудь Сирии люди озабочены безопасностью дитёныша для окружающих его сиринов.

Во-во -- сиринов. У Юдковского в Дружественности не сирины имелись ввиду ;)

Про корпорацию не слышал. Про фантастику с использованием этих слов -- слышал. Но чтобы в жизни что-то было, а затем "повторилось" -- никогда не слышал.

ну, собственно, я тот самый скайнет и имел в виду простите, что смайлики не поставил))

Я что-то пропустил? :) Не скайнет, конечно, но на днях в курцвейловской ленте заявили о создании AGI. Для call-центров. Думаю врутпреувеличивают, но процесс идет...

Ну он, насколько я понял, имеет в виду безопасность роботов для человека. Схема здесь та же: роботы поначалу являются продукцией человека и поэтому ему подконтрольны, следовательно, в силах человека (в теории) морочиться с безопасностью роботов для людей в тот период развития роботов, когда они будут менее и менее контролируемы человеком. Также как и человеческий дитёныш, если в детстве его уморить просто, то во взрослом состоянии он может дать сдачи, поэтому о его безопасности следует заботиться заранее. Это, фактически, вопрос выживания.

О, это прозевал. Конечно, врут, но и процесс идет: рынок вот он, аж скворчит. Проблема потери информации при передаче вызова между операторами, безусловно есть. А сказать "пива к заказанным вами чипсам не хотите?" или "чипсов к заказанному вами пиву не нужно?" может и программа -- с тщательно выверенным темпом и интонацией.

Ага, ага. Я уж изнамекался весь: а чем для меня сирин не робот? Вырастет и прийдет с какими-то недружественными мне намерениями. Я же не знаю, какой ему интеллект дают -- про любовь к человечеству всему без разбора или только к сиринам ;) Мне-то без разницы, робот ко мне недружественный придет, или человек недружественный. Но люди почему-то Юдковского не заботят -- как будто у него от роботов защиты нет, а от людей есть.

тут вопрос несколько спорный, что следует считать дружественным, хотя военные влезающие во многие подобные технологии, конечно, сильно смущают. Но по идее большинство проблем у нас должны возникнуть, как раз исходя из дружественности ИИ: хотели как лучше, а получилось... Оно, конечно, будет несколько обидно для человечества, если АИ его изведет (при этом, кстати, может оставаться вполне себе дружественным в рамках сегодняшних понятий. а может потом еще одумается, да сделает человечество заново. делов то). но куда более обидно будет, если ИИ выйдет недоразвитым и без оного человечества долго не протянет.

Тем, что сирин -- как на ладони (по сравнению с роботом). Кто он, что он, для чего и куда. Какие у него возможности. Даже если он недружелюбен -- ясно что от него можно ожидать. Человек -- это известное (сравнительно с роботами). Чего ожидать от робота -- совершенно неизвестно (сравнительно с людьми). Поэтому людей и заботит столь сильно вопрос прошивки безопасности, которую надо забить роботам в нутро, пока они ещё не вырасли из пелёнок. Защита для человека -- это возможность прогнозировать поведение недружелюбной силы. Поэтому от сиринов Юдковский себя чувствует защищённым (относительно роботов). Помимо фактора неизвестности его пугает фактор массовости, как одно из проявлений сверхвозможностей. Как плодятся человечки -- понятно в общих чертах. Рост популяции можно прогнозировать. А роботы, как все ожидают, это будет нечто сверхмассовое, в силу саморепликации и т.п. Роботы будут богами, в отличие от сиринов. Остро возникает желание не пущать. Банальный страх за жизнь, вопрос выживания.

Так Юдковский то о дружественности Синглетона хлопочет. Аналога ихнего еврейского Б-га, который выползет из его машины. А Вы его подкалываете про дружественность одной из "двуногих тварей миллионов". Совершенно не сопоставимые риски - так что зря Вы.

Ну, не знаю насчет рисков: двуногие твари неожиданно имеют особенность объединяться. Swarm systems -- это мы тоже проходили, их Дружественность тоже никто не изучал. Но мне даже это не важно: меня тут не риски заботят. Если найдется способ обеспечить дружественность к человечеству (или, по буддийской версии -- ко всем живым существам во вселенной) естественных интеллектов, то такой способ найдется и для интеллекта искусственного. А пока это все призывы в никуда и ни к кому: если уж для людей найти способа не могут, то уж куда найти такие способы для полностью непонимаемого Суперразума, который выползет из неизвестной машины в неизвестное время с неизвестными целями в неизвестной форме.

Да, Юдковский -- тот еще "туман 18-ый". :)

все же совершенно непонятно - откуда у ИИ мотивация? У сирина понятно откуда - он хочет кушать и одеваться, и желательно, не работать при этом.

Наши возможности манипулировать основаниями естественных интеллектов, базовыми мотивациями и инстинктами ограничены - что наэволюционировало за миллиард лет не исправишь с разбегу. С ИИ - есть возможность именно подкрутить базис. Чем Юдковский со товарищи якобы и занимаются. Особых результатов не видно, больше евангелизма по площадям, но сама идея понятна и позитивна.