Обсуждение

Густо пошло - http://www.bbc.com/news/technology-35420579

> Но самое приятное, что работал не уникальный заточенный под предметную область алгоритм, как в шахматах, а универсальный -- хитро устроенное глубокое обучение Не совсем так. Глубокое обучение использовалось для оценки позиции и предсказания следующего хода, но сама программа состояла отнюдь не только из глубокого обучения. Цитата из статьи на technologyreview.com по вашей же ссылке (статью в Nature почитать не дают): “This is not a so-called end-to-end deep-learning system,” Marcus says. “It’s a carefully structured, modular system with some thoughtful hand-engineering on the front end. Which is, when you think about it, quite parallel to the human mind: rich, modular, with a bit of tweaking by evolution, rather than just a bunch of neurons randomly interconnected and tuned entirely by experience.” Характерно, что примерно так же шахматная deep learning программа "научились" играть в силу мастера (http://arxiv.org/pdf/1509.01549v2.pdf). Вы приводили этот пример в какой-то из лекций -- но это же обман. Ничего она не научилась, а удалось лишь несколько улучшить качество существующей уже достаточно сильной программы, причем как раз в плане оценки позиции и предсказания хода (http://ushastyi.livejournal.com/272362.html). Я подозреваю, что тут примерно то же самое. Взяли хорошую базовую программу, играющую в Го, и через deep learning ее прокачали. Результат, конечно, выдающийся. Но сама программа и ее интеграция с сеткой -- это все же еще "уникально заточенный под предметную область алгоритм".

Ничего абсолютного, конечно, нет. С одной стороны, это явно не подход GOFAI, а с другой стороны, не end-to-end learning. Вот более точно (игра сама с собой там была -- playing thousands of games between its neural networks): We trained the neural networks on 30 million moves from games played by human experts, until it could predict the human move 57 percent of the time (the previous record before AlphaGo was 44 percent). But our goal is to beat the best human players, not just mimic them. To do this, AlphaGo learned to discover new strategies for itself, by playing thousands of games between its neural networks, and adjusting the connections using a trial-and-error process known as reinforcement learning. Of course, all of this requires a huge amount of computing power, so we made extensive use of Google Cloud Platform. Это из https://googleblog.blogspot.co.uk/2016/01/alphago-machine-learning-game-go.html (я добавил сейчас ещё и эту ссылку). Мы абсолютно разное значение придаём этому моменту, а он становится стандартным сегодня. Я предпочитаю трактовать это как вариант transfer learning: сначала учим на известном, а затем на базе выученного играем сами с собой, достигая заоблачных высот. И да, transfer learning это некоторое искусство сейчас (нужно и старое не забыть, и новое нарастить -- это трудно при нынешних алгоритмах). Вы делаете акцент на первичном обучении (на базе человечьих партий), а я на вторичном (когда сетки тренируются в игре между собой).

Нет, я не об этом. Без вторичного обучения в такого рода задачах никуда не деться, согласен (да и игроки-люди сами с собой играют). Я скорее о том, что deep learning тут -- это лишь компонент(-ы) сложного алгоритма, отвечающий за одну или несколько функций. Заслуга выигрыша принадлежит не только сетке, но системе целиком, и основные интеллектуальные усилия разработчиков были приложены как раз к связыванию сетки и других частей программы. Когда вы говорите, что универсальная сетка обыграла человека, то дезавуируете огромный труд разработчиков. Мне за них несколько обидно :)

Нигде в описаниях нет и следа какой бы то ни было "базовой программы", которую программировали под Го традиционными средствами. Описано несколько компонент решения, но все они - обучение и поиск по деревьям. От знатоков ГО проект получил 30 миллионов ходов реальных игр, но они не писали код.

это все было бы здорово если бы это был "сильный ИИ", но покачто все это узкоспециализированные решения... хотя если учесть туповатость человеков, то может оно и к лучшему

Риторический вопрос:зачем еще остается нужен человек? Со временем ответов все меньше и меньше. Человек все менее и менее выгоден экономически, ибо основан на устаревших биохимических технологиях.

“It’s a carefully structured, modular system with some thoughtful hand-engineering on the front end" Как минимум, программа должна знать правила и игры и как оценивать позицию -- не саму функцию, а от чего она зависит (как правило, не только от того, где камешки стоят, но и от некоторых характеристик их взаимного расположения, сужу по шахматам). Далее, раз они предсказывают следующий ход человека -- значит используется какое-то отсечение вариантов, иначе было бы достаточно просто оценки позиции и перебора всех возможных ходов.

Для целеполагания

>Вот и компьютеры, играющие в Го: с таким компьютером я выиграю у чемпиона мира. А без компьютера нет. Так что я выбираю симбиоз с компьютером, без него я неконкурентоспособен. А с ним мы ещё подёргаемся. Хвалилась малина, что с медом хороша ;)

Человеческие цели что-то значат до тех пор, пока человек остается значимой экономической величиной.

о, здесь встречаются люди, которые глубоко в теме...

Не люди для экономики, а экономика для людей

Калина. Малина и так хороша.

Калина.

Насколько я понимаю, специфика го в том, что алгоритм оценки позиции более мутный, чем в шахматах. И как раз фразу о "предсказывании хода человека" я понял как этап разработки этого алгоритма (а не то, что программа предсказывает ход соперника и рассчитывает варианты заранее, экономя на этом 0,1 секунду времени). Как в старое время были статьи "Проверьте себя, а вдруг вы играете в силу Таля..."

Да, наверное я не совсем тут прав. Дело, конечно, не в расчете заранее, а в том, что просматривая дерево решений для самых сильных ходов противника, существенно упрощается перебор вариантов (это не единственная стратегия, есть и другие). Я не верю, что Альфа-Го не смотрит на несколько ходов вперед, а делает ход чисто по оценке позиции. А раз смотрит на несколько ходов -- то это классическая игровая программа, с модулями оценки позиции и предсказания хода, оптимизированными через deep learning. Фразу про предсказание можно понимать двояко. 1. Программа анализирует возможные ходы в позиции в какой-то существующей партии между людьми и предсказывает следующий ход человека. 2. Программа предсказывает следующий ход своего противника (в том матче). Я не знаю, что тут точно имелось ввиду, но это примерно равнозначно.

кроме человеческих никаких целей нет

В ближайшие годы должна появиться (или уже есть) возможность радикально сократить численность людей с помощью искусственно созданных (модифицированных) вирусов, имеющих повышенную убойность, заразность и устойчивость к лекарствам. Я вот ищу аргументы, почему таких эпидемий не должно произойти. Но не нахожу.

Есть, например свои цели есть у техноценоза. Просто не человеческие цели часто целями не называются. Это вроде как если ты шпион, то тебя уже не назовут разведчиком.