Без заголовка

Вот как это было там: — Почему же нельзя использовать автоматы при высадке на неизвестную планету? Говорят, что первые ракеты на такую планету поведут люди. — Да, к сожалению, это так, — ответил Тембхара. — Тебе ведь известна поговорка: автоматы точны, но ограниченны, люди же хотя и не точны, но не страдают ограниченностью! Дело в том, что для автоматов характерна так называемая «направленная узость оценки обстановки». Автомат всегда несколько односторонен, потому что создан для выполнения определенных заданий. А на чужой планете он может встретиться с незнакомыми ему существами и попасть в такое положение, которое нельзя заранее предусмотреть. Если послать туда автоматы, они могут подвести нас и вызвать своими действиями опасную обстановку. — Что же такое они могут натворить? Я не понимаю. — Они могут поступить, как психически больной человек, — сказал Тембхара. — Чтобы объяснить это, приведу пример из старого учебника кибернетики. Этот пример имеет лишь историческое значение, но может служить хорошей иллюстрацией к тому, о чем я говорю. Это, собственно говоря, сказка. У одного человека квартира была завалена старыми глобусами и негодными кувшинами. Он поручил автомату убрать весь этот хлам, сказав следующее: «Выбрось отсюда все шарообразные предметы». Послушный автомат, слишком дословно поняв приказ, вынес весь хлам, а заодно сорвал с шеи голову этого человека: он расценивал ее лишь как шарообразный предмет, который тоже следует выбросить. — Но это чепуха! — Этого не могло случиться! — Автомат не может причинить вред человеку! — хором воскликнули окружающие. — Конечно, эта история не могла произойти в действительности, и я привел ее лишь как яркий пример того, что можно было бы назвать «недоразумением» между человеком и автоматом. Для нас многое подразумевается само собой, а для автомата нет ничего очевидного, кроме того, что вложил в него его конструктор. Наши автоматы, например, снабжены приспособлениями, предотвращающими возможность их самоуничтожения, и предохранителями, которые делают невозможным нанесение какого-либо вреда человеку. Но в совершенно новой, не предусмотренной их конструктором обстановке, в условиях чужой планеты, они могут наделать много зла. Помимо этого, есть еще одно затруднение этического порядка: нам, наверное, не понравилось бы, если бы обитатели другой планеты прислали на Землю группу машин с задачей определить, стоит ли завязывать с людьми добрососедские отношения. — Тембхара усмехнулся, его зубы сверкнули.