Обсуждение

Вот смотрю я на этот прогресс, и мне олимпийцы (равно как предшествующие им титаны...) грезятся...

Это что, намёк, что NVIDIA после Titan X ускорителей выпустит Olimpian X? ))) Мне изо всех историй с олимпийцами больше всего нравится происхождение пены, из которой потом родилась Афродита. Такое впечатление, что происхождение всех сегодняшних чудес глубокого обучения из такой же пены, только не олимпийца, а титана )))

Всё вместе...

Спасибо, увлекательно и познавательно провел вечер. Вопросы: 1. Будет ли лекция про искусственный интеллект, как его понимает широкая публика - который намного шире, чем deep learning? Какие реальные перспективы его создания? Какое ваше отношение к разговорам о его (не)безопасности? Или это все вообще не ваша тема? 2. Почему так вяло пытаются заменять людей-рабочих роботами? Я правильно понимаю, что политики искусственно тормозят это? Или технологии в чем-то еще не готовы?

А как вы думаете, почему до сих пор андроиды не могут ходить как человеки, вроде тут особого интеллекта не нужно, просто держать равновесие. Andrew Ng когда ещё хвастался в видеолекции, что квадрокоптер под управлением нейросетки может хоть вверх головой устойчиво балансировать, почему до сих пор приходится испытывать чувство вроде "падают они, а стыдно мне" на очередных DARPA Challenge. Про двуногого брата биг-дога, который на месте скачет и аналогично передвигается, кино видел, лучше чем ничего, но всё-таки несколько не то.

Нет, никаких лекций про GAI -- я не хотел бы переливания из пустого в порожнее, с выходом на бесплодные дискуссии "что такое интеллект", "может ли машина мыслить", "может ли робот заменить человека" и т.д.. Это сознательная позиция. Я не против GAI, но считаю, что этим заниматься на площади нельзя, как и сексом -- одни будут бессмысленно и не по делу возмущаться, другие замучают невыполнимыми советами. То же относится к теме "безопасности". До реальной опасности там как до Луны, при этом желающих поговорить на эту тему и без меня хватает. Я буду говорить на те темы, на которые без меня мало кто говорить будет. В роботах политики ничего не тормозят (роботы политикам пока не видны, это счастье). Людей-рабочих роботами вполне заменяют, только это не роботы-из-Голливуда, они не антропоморфны. И немедленно перестают называться "роботами" как только эта замена происходит. Например, АТС заменили барышень-телефонисток. Умерла профессия машинисток в машинописных бюро, вымирает профессия почтальона (но пока не курьера), но "роботы заменят людей" остаётся как голливудский расхожий сценарий. Ровно поэтому я эти поэтические художественные сказки и не хочу обсуждать, это бестолковое дело, только время тратить. Нужно сказать, что роботы пока медленные и не очень точные. Но это быстро преодолевается. Ну, и развитие "мозгов" у роботов тоже довольно быстрыми темпами происходит. Так что будет как с сотовыми телефонами: пара-тройка лет это была диковина и предмет роскоши, а потом вдруг сразу у всех -- товар массового потребления, даже в Африке. С роботами будет такая же история (впрочем, не "будет", уже сейчас эта история идёт).

Потому что Octave это софт прошлого поколения, у него никаких достоинств по сравнению с текущими решениями (тем же MATLAB). "Лучше" -- это ведь не только про бесплатность и совместимость! ;)

Шмитхубер заметил на конференции в прошлом году, что не столько про "умный искусственный интеллект" нужно печься, сколько про повторение моторного интеллекта обезьянки-капуцина. И тут нужно заметить, что в квадрокоптере всего четыре моторчика, а в роботах их поболее будет. И учить такую нейронную сетку двигаться -- это тоже задача (хотя каждый месяц становится более и более понятно, как её решать. Например, можно учить такую сетку не в роботе, а в виртуальной реальности -- на физическом симуляторе робота). Опять же, там есть проблемы: например, если сильно крутнуть моторчик, то конечность робота улетает (и никакая прочность металла от этого не спасает, чистая физика). Для того, чтобы конечности не улетали, на каждый моторчик ставят контроллеры-ограничители -- и тут же падает точность управления, ибо дешёвые контроллеры медленны. Недешёвые контроллеры быстры, но стоимость решения сразу растёт нелинейно с ростом скорости работы. И так одно за другое цепляется: робот, увы, это не только нейронная сетка.

8 бит считается мало

Попробовал использовать 8 бит Получились такие хеш-коды: Ощущения 7 - катастрофическое 6 - смертельное 5 - травмирующее 4 - командующее 3 - предупреждающее 2 - сообщающее 1 - ожидающее 0 - поощряющее Цвет 7 - красное (1 разряд из силы ощущений) 6 - зеленое (1 разряд из силы ощущений) 5 - синее (1 разряд из силы ощущений) 4 - признак прозрачности 3 - признак блеска 2 - красное (2 разряд из силы ощущений) 1 - зеленое (2 разряд из силы ощущений) 0 - синее (2 разряд из силы ощущений) Вкус 7 - тухлое (1 разряд из силы ощущений) 6 - кислое (1 разряд из силы ощущений) 5 - соленое (1 разряд из силы ощущений) 4 - сладкое (1 разряд из силы ощущений) 3 - тухлое (2 разряд из силы ощущений) 2 - кислое (2 разряд из силы ощущений) 1 - соленое (2 разряд из силы ощущений) 0 - сладкое (2 разряд из силы ощущений) Размеры (м) и время (с) 6 бит порядка и 2 бит мантиссы h(v) ::= int((log10(abs(v))*8+257)/2) обратная восстанавливающая функция v(h)=10^((h-128)/4) которая дает десятичные мантиссы 1, 2, 3, 6 исключение: h(0) = v(0) = 0 Уровни сложности биты: 5-7 - группа сложности (1 - стохастическое, 2 - элементы, 3 - процессы, 4 - корпорации) 3-4 - период сложности по элементам сигмоиды (1 = подготовка, 2 - положительная ОС, 3 - отрицательная ОС, 0 = консервация) 2 - вид абстрактности (0 - конкретное, 1 - абстрактное) 0-1 - фаза цикла Деминга (0=Act, 1=Plan, 2=Do, 3=Check) для хранения информации о признаках должно хватить :)

Все-таки, может, дадите какие-то прогнозы, когда: - научатся делать машинный перевод с одного языка на другой не намного хуже, чем тот, который делают люди - машина начнет писать тексты вместо людей-копирайтеров - начнется массовая замена рабочих-людей роботами предыдущие комментарии насчет проблемы научить робота двигаться - почитал, спасибо, осознал сложность задачи.

Какие прогнозы? Тем более что в разных секторах машины уже заменяют людей, только не сразу во всех работах на всей планете. Ну, и вы требуете от компьютера высшего образования, а не школьного -- это не совсем объективно. Переводы, которые делает компьютер сейчас, явно лучше переводов многих школьников (и уж точно в разы и разы лучше, чем эти машинные переводы были буквально три месяца назад). И копирайтерами машина уже работает (например, http://automatedinsights.com/). Всё происходит, просто не скачком -- как когда-то распространялись смартфоны. Нельзя отследить, когда это "массово": просто жизнь потихоньку меняется, сразу во многих местах, незаметно и часто.

Ну, если без шуток, то полно работ типа этой: http://arxiv.org/abs/1502.02551

Извините за тупые вопросы, просто я весьма далек от IT, и не хочется погружаться в это на английском. Меня конкретно интересует, когда исчезнет мое рабочее место :). Понял, что предсказать это нельзя. automatedinsights.com/ - посмотрел, впечатляет.

Спасибо, пока дочитал до

To our knowledge, this work represents the first study of application of stochastic rounding while training deep neural networks using low-precision fixed-point arithmetic.

Однако вариант применим и при ассоциативном поиске (совместно с классификатором видов ресурсов http://mudrizm.livejournal.com/19333.html). И еще один вопрос - есть ли у Вас информация о кластерных сетках? Типа валиков коры головного мозга, поддерживающих сообщества дендритов? И - спасибо за интересную лекцию. На мой взгляд - неплохо бы еще выделить уровень операционной системы между железом и программными средствами.

Я не очень понимаю ваш вопрос, слово "кластер" используется в deep learning главным образом для обозначения либо кластерного анализа, либо компьютерных кластеров в обычном смысле (множества компьютеров, работающих на одну задачу). Я вам рекомендую воспользоваться гуглем, вы понимаете что хотите найти, а я нет. Так что вам будет проще это найти.

Вот ещё про 10-битное разрешение эксперимент: http://arxiv.org/abs/1412.7024

а ваше "рабочее место" - это инструменты, которыми пользуетесь, должность на предприятии, зарплата или номер в классификаторе профессий ?

Спасибо, прочитаю. И еще один вопрос - не встречались ли конфигурации по поиску противоречий? Когда сеть обучается на факте и опровержении всех остальных фактов - и успешное обучение свидетельствует о найденном противоречии. При анализе совокупности философских текстов это может быть полезным, хотя и долгим :)

Ищут ошибки, а не противоречия. Противоречие просто находится как ошибка, один из многих типов ошибки.