Обсуждение

Профессор, пока это "соревнование одного человека с опосредованной толпой других" (c). Вот когда "один человек" подойдет к аппаратно-программному чему-то и предложит посоревноваться в наперед неизвестной игре ...

Еще неизвестно что быстрее - компьтеры умнеют или люди глупеют?

Я решил стать астронавтом. Меня удивляло, как могло случиться, что я до сих пор не замечал всей прелести этой чудесной, профессии. Я думаю, что причина этого лежала главным образом в том, что один из разделов межпланетных сообщений изучал мой брат, а наши отношения, выражаясь его языком, языком инженера-электрика, были всегда «несколько перенапряженными». Когда я сообщил старому капитану о своем решении, он вначале не обратил на это внимания. Его молчание больно задело меня. Однако через некоторое время он сухо сказал, что таким астронавтом, какими были герои прошлых эпох, я уже не смогу стать. Теперь нет доблестных экипажей, которым приходилось бы бороться против метеоритных туч — этих лавин межпланетного пространства; нет штурманов, прочерчивающих каждую ночь отрезок пройденного пути на картах неба. Нет уже капитанов, без устали шагающих по металлическим палубам в тот час, когда измученная команда забывается сном; нет вахтенных и рулевых, устремляющих поверх звездных компасов свой взгляд к звездам. Десятки тысяч автоматически управляемых ракет кружат без людей по орбитам нашей солнечной системы. Эти длинные поезда межпланетного пространства перевозят с планеты на планету сырье, минералы, руду, машины. Если же на них и находятся люди, то это пассажиры, привыкшие к чудесам путешествий и пользующиеся услугами машин, которые следят за безопасностью полета. Я робко заметил, что брат мой изучает астронавтику. — Э, — пренебрежительно махнул старик рукой, — он учится строить пилоты-автоматы. Это все равно, что назвать композитором человека, который делает трубы для оркестра. Я поспешил повторить это изречение брату. — Сам ты труба! — ответил тот. У отца был друг, профессор-астроном Мурах, с которым я поделился своими сомнениями. В моем представлении он был на короткой ноге со звездами. — Я не хочу строить роботы, управляющие ракетами. Хочу быть настоящим астронавтом, рулевым или капитаном космического корабля. — Романтика старины! — воскликнул Мурах, терпеливо выслушав меня, и печально покачал головой. — Читал ли ты книгу Руфуса «Атмосферы планет и звездоплавание»? Этой книги я не знал. Профессор был очень доволен. — Великолепно! Вот возьми и прочитай. Замечательная книга. Она полна неясностей, как туманный вечер. Огромная свобода для фантазии, для воображения! Да, да, астронавтика когда-то была очень трудным делом. Сколько в этой книге великолепных страниц, описывающих героизм победы человека над самим собой! Как красиво сказал Руфус: «Наш мир очень хорош для астронавтов: на каждые сто триллионов частей пространства приходится одна часть твердой земли, есть где развернуться межпланетным сообщениям. Да к тому же есть столько звезд — этих больших портовых огней среди океана тьмы?» Но знаешь ли ты, мой дорогой, почему именно астронавтика была таким трудным делом? Этого я не знал.

— Как же так? — удивился Мурах и взглянул на меня сверху вниз. Там, где у других людей бывают брови, у него были два маленьких реденьких кустика седых волос, которые живо шевелились, будто участвовали в беседе. Они часто смешили меня, отнимая силу доказательности у слов профессора. — Я попробую объяснить, мой недозрелый звездоплаватель, твою ошибку. Известно ли тебе, что в свое время люди плавали по морям? — На так называемых пароходах? — поспешил ответить я. — Правильно. Но еще раньше, в древности, они плавали на парусниках, используя движущую силу ветра. Так вот, пока они не усвоили точно гидростатику, гидродинамику, теорию волнообразования и другие науки, они строили корабли, понимаешь ли, на глазок, поэтому созданные ими суда обладали индивидуальностью. Нельзя было найти двух кораблей, которые были бы абсолютно схожи между собой, а самая незначительная разница в устройстве мачт, киля, в форме корпуса приводила к тому, что суда по-разному слушались руля. Испытывая опасности, приключения, терпя катастрофы, мореплаватели накапливали опыт, из которого возникло великое искусство кораблевождения. Это было, понимаешь ли, искусство, а не наука, потому что оно включало, помимо действительно научных данных, немало сказок, преданий, предрассудков. Чтобы водить суда, нужны были не только знания, но и личная храбрость, мастерство и талант. Однако позднее наука вытеснила все это, и для искусства оставалось все меньше места. Подобная же история повторилась сто лет назад в звездоплавании. — Значит, человек уже не может управлять ракетой? — спросил я. — Но я хочу управлять ею! Неужели это кому-нибудь повредит? — Да, повредит, — возразил профессор, и его брови задвигались, как бородки невидимых гномов. — Повредит, потому что ты выполнял бы это медленнее и не так точно, как автомат, а значит — хуже автомата, не говоря уж о том, что человеку неприлично заниматься работой, которую могут выполнить автоматы. Впрочем, ты сам знаешь, что это не годится. — Но во время экскурсии или в горах мы часто сами пилим дрова, разводим костры, варим пищу, а ведь ее можно приготовить при помощи кухонного автомата! — Во время экскурсий мы делаем то, что полезно для здоровья и доставляет человеку удовольствие, А если ты поведешь ракету, то этим подвергнешь опасности груз, не говоря уже о самом себе. — Большое дело — одна ракета! — вырвалось у меня. Профессор рассмеялся: — Видишь ли, ты сам сделал невольное признание — мечтая о звездоплавании, ты не думаешь про труд и ответственность, тебе важна лишь их видимость, такая их доля, которая придаст самому полету «серьезность» и тем увеличит удовольствие. Двести лет назад звездоплавание было большим и трудным искусством, достойным настоящих мужчин, требовавшим всей жизни тех, кто ему отдавался, и имена великих астронавтов стали достоянием истории. Но то, что было тогда необходимостью, сегодня в лучшем случае будет забавой, а в худшем — бессмыслицей (Ст. Лем. Магелланово облако. 1955).

Те люди, которые занимаются поумнением компьютеров -- они-то уж не глупеют. Которые все эти конкурсы выигрывают (на kaggle в некоторых конкурсах более 1000 команд участвуют). В принципе, у человечества всегда было нехилое расслоение по логическим способностям в одних предметах, нюху и интуиции в других предметах, скорости и выносливости в третьих. Так что одни глупеют, другие умнеют, в среднем всё то же самое.

Главное, чтобы правила им кто-то для соревнований выдал. А дальше уже можно думать, что делать. Кстати, компьютер в японии уже сдал экзамены в какой-то не слишком продвинутый колледж, но в Токийский университет ещё сдать не может. По плану это у них через несколько лет будет, это широко освещается в прессе.

Лем великий человек был, чего уж там. Понятное дело, что разговор тут отнюдь не только про астронавтику, а про всё что угодно.

Ирония здесь в том, что главный герой всё-таки полетел – к звёздам +) Туда, где ещё было востребовано искусство. А если мы примем тезис о бесконечности Вселенной, искусство будет востребовано всегда. И это здорово!

Я как-то для себя (в размышлениях о карьере харкдорного айтишника) задумался о том, чем я, собственно, занимаюсь. За вычетом личного и профессионального, вот примерное определение "творческого" (в сисадминском смысле слова): Столкнувшись с новой проблемой суметь в ней разобраться, получить компетенцию и научиться использовать. Все существующие инженерные решения всегда работают в определённом формате. Любая универсальность формата - это гигантский выбор из заранее известных узких форматов деятельности. Что компьютеры научатся (компьютеры научат!) хорошо делать конкретные задачи - верю. Что в какой-то момент компьютер сможет, столкнувшись с неизвестной задачей (в которой и цель-то толком не определена, не говоря уже про правила, методы и терминологию) суметь её решить... Я бы сказал, "не верю", но более аккуратно: "не на текущем уровне развития".

Ага, только там корабли были неразумные, и главный герой с ними не был единым целым. А тут события именно в эту сторону разворачиваются: искусство теперь производится кучей людей, связанных между собой кучей компьютеров, а эти компьютеры сами по себе ой-ой что начинают в плане искусства уметь. Ненужные это всё различалки, вредные. Летать к звёздам нужно, но вот человек ли туда летит, киборг или автомат, или ещё что-то разумное после аплоада сознания -- это уж дело десятое, кто туда полетит, тот пусть и разбирается со своим статусом и степенью "искусства".

Мне такие постановки задачи не нравятся. Я знаю многих людей (включая меня), которые столкнувшись с неизвестной задачей, в которой и цель-то не определена, не говоря уже про правила, методы и терминологию (всё как у вас написано) не смогут её решить. Дантист не гинеколог, но оба врачи. Байки про универсальный интеллект компьютеров -- это вредные байки, как и байки про универсальный интеллект людей.

Они никому не нравятся, но люди их решают постоянно. Например, любой родитель после рождения дитяти эти проблемы решает просто тысячами. Любой ремонт в квартире, обнаружение, что нужно пойти и пообщаться с налоговой, решение любой инженерной задачи (сломался душ - что делать?) - это как раз задача с неявно поставленной целью (где цель может меняться в зависимости от стоимости решения), без явно сформулированных условий и правил. Подобные задачи, а точнее, методы их решения, и отделяют человека от смышлённого животного (или компьютера).

Мой знакомый общался с какой-то швейцарской лабой, занимающейся нейросетками (думаю как раз имеется в виду профессор Юрген и компания), ну и типа утверждает, что они утверждают, что типа в нейросетках прорыв (имеется в виду, очевидно, дип лёрнинг). Типа нейросети научились переваривать большее кол-во данных - ну типа очень многослойные (потому и глубокие) нейросетки могут выучить очень много фич. Но кагбэ, на самом деле, тренер нейросетки все равно подает на вход эти данные. Ну и подбирает параметры обучения и варьирует детали алгоритма/архитектуры сетки. Ну и смотрит потом графики смотрит куда тюнить. А при этом реальная нейросетка обучается сама, просто ей на вход сигналы подают, вот и все. При этом она еще и сама архитектуру подстраивает (отращивает щупльца) Вобщем, несмотря на то, что в нейросетках действительно прорыв - хотя частично тут прорыв в CPGPU (огромная выч мощь позволяет гонять backpropagation на много-уровненвых сетках, что раньше считались нереальным) - нейросетка все тот же экзокортекс (ну или человек - экзокортекс для нейросетки). И еще один момент: как себя поведет очень-очень сложная нейросетка - никому заранее не известно. Т.е. ее не протестировать - пока не разработаны такие технологии, по крайней мере. Так что реально, в конструировании киборга, тренировка нейросетки - это часть проблемы. Надо еще думать как сделать так, чтобы она не делала херню. А тут нейросетки особо ничем не помогут. Т.е. проблема дип лёрнингов, что это все-таки остается черным ящиком, причем глубоко черным :)

Вот как это было там: — Почему же нельзя использовать автоматы при высадке на неизвестную планету? Говорят, что первые ракеты на такую планету поведут люди. — Да, к сожалению, это так, — ответил Тембхара. — Тебе ведь известна поговорка: автоматы точны, но ограниченны, люди же хотя и не точны, но не страдают ограниченностью! Дело в том, что для автоматов характерна так называемая «направленная узость оценки обстановки». Автомат всегда несколько односторонен, потому что создан для выполнения определенных заданий. А на чужой планете он может встретиться с незнакомыми ему существами и попасть в такое положение, которое нельзя заранее предусмотреть. Если послать туда автоматы, они могут подвести нас и вызвать своими действиями опасную обстановку. — Что же такое они могут натворить? Я не понимаю. — Они могут поступить, как психически больной человек, — сказал Тембхара. — Чтобы объяснить это, приведу пример из старого учебника кибернетики. Этот пример имеет лишь историческое значение, но может служить хорошей иллюстрацией к тому, о чем я говорю. Это, собственно говоря, сказка. У одного человека квартира была завалена старыми глобусами и негодными кувшинами. Он поручил автомату убрать весь этот хлам, сказав следующее: «Выбрось отсюда все шарообразные предметы». Послушный автомат, слишком дословно поняв приказ, вынес весь хлам, а заодно сорвал с шеи голову этого человека: он расценивал ее лишь как шарообразный предмет, который тоже следует выбросить. — Но это чепуха! — Этого не могло случиться! — Автомат не может причинить вред человеку! — хором воскликнули окружающие. — Конечно, эта история не могла произойти в действительности, и я привел ее лишь как яркий пример того, что можно было бы назвать «недоразумением» между человеком и автоматом. Для нас многое подразумевается само собой, а для автомата нет ничего очевидного, кроме того, что вложил в него его конструктор. Наши автоматы, например, снабжены приспособлениями, предотвращающими возможность их самоуничтожения, и предохранителями, которые делают невозможным нанесение какого-либо вреда человеку. Но в совершенно новой, не предусмотренной их конструктором обстановке, в условиях чужой планеты, они могут наделать много зла. Помимо этого, есть еще одно затруднение этического порядка: нам, наверное, не понравилось бы, если бы обитатели другой планеты прислали на Землю группу машин с задачей определить, стоит ли завязывать с людьми добрососедские отношения. — Тембхара усмехнулся, его зубы сверкнули.

Есть задачи feature learning, в которых у компьютеров тоже произошёл существенный прогресс. Например, научиться распознавать слова на слух без всякого априорного знания. Или научиться классифицировать объекты на фото, и, глядя на текстовые аннотации, не зная языка, учиться называть произвольный объект. Или, выучить все встреченные цифры и разбить их на классы. И в этом как раз огромный прорыв с точки зрения интеллектуальности компьютеров. Например, цифры и буквы на письме когда-то могли распознавать через подсчёт количества кружочков, палочек и их взаимного направления, и составления соответствующей таблицы. А теперь -- компьютер научится этому сам. Конечно, много задач ещё нужно решить. Но теперь уже не нужно размечать огромные базы данных и годами программировать фичи, на которых строилось раньше компьютерное распознавание. Описываемая вами проблема GPS -- это следующий шаг в этом направлении. В области поиска подходящих инструментов управления -- подход называется "многорукий бандит", В области планирования -- GPS, В области подбора критериев оптимизации -- reinforcement learning. Просто кто-то скоро возьмёт и соберёт это в единую систему.

Любой компьютер -- с точки зрения компьютерщика, совокупность тысяч мелких чёрных ящиков, а для обычных пользователей -- один большой чёрный-чёрный ящик, но это не мешает людям ими пользоваться, ведь правда? Любой компьютер -- с точки зрения другого человека или даже самого себя -- тоже чёрный ящик. Но мы можем поручать другим людям решение задач, а они могут поручать решать задачи нам. Всё просто -- мы можем оценить статистическую погрешность решателей задач, их дисперсию, и придумать стратегию для случаев фатальных ошибок. А уж в неидеальном и непредсказуемом мире мы уже живём, тут ничего придумывать не надо. Да, в нейросетях наметился прорыв в скорости вычислений, который даёт прорыв в качестве решений. Мы переместились немного выше во многих вычислительных задачах: http://xkcd.net/1002/ Вроде бы, революции нет? Но есть задачи feature learning, в которых у компьютеров тоже произошёл существенный прогресс. См. мой коммент выше.

Я многократно писал, что проблемы сильного искусственного интеллекта меня не волнуют. Эти обсуждения гнилые, от них никакого прока, просто бесплодное сотрясение воздуха.

Как сделать так, чтобы результаты думания были результатами, а не поводом для пальфейс -- это верно и для компьютеров, и для людей. Я вон своего отрока настраиваю, настраиваю, и всё никак, даром что нейросетка у него в мозгу та самая "универсальная". Но вот сейчас, после 11 лет настройки, он уже кое-что умеет. Но эти 11 лет сильно больше, чем существует вся эта отрасль deep learning, там прорыв только в 2006 году случился. Про сильный же искусственный интеллект я молчу, это пустые разговоры.

Ужас в том, что люди точно так же "могут подвести нас и вызвать своими действиями опасную обстановку". А автоматы учатся сейчас, как и люди -- это Лем не учитывал. Но по этой линии рассуждений мы вынуждены будем касаться тем сильного искусственного интеллекта, а мне этого не хотелось бы, проку от этих рассуждений нет, а осадочек остаётся.

я не про обычных пользоателей говорю, а про разработчиков тут черный ящик может очень помешать для меня ЦПУ - черный ящик во многом, но для его разработчиков - нет, они потратили много труда, чтобы сделать его работу надежной, в частности, путем организации внутреннего устройста, а вовсе не путем тестирования как черного язика - пространство вариантов тут просто огромно а что можно сделать в случае нейронетки? еще одну нейросетку делать чтобы рыться в ее весах? у меня к примеру были несколько случаев, когда мне пришлось декомпилировать прогу, чтобы она перестала быть черным ящиком ибо не работает, а почему - не понятно так что то, что компонент - черный ящик, это очень даже способно помешать просто в случае софта к примеру, в теории можно спросить разработчика - он хотя бы существует в природе в случае нейросетки спросить можно только бога