Обсуждение

Что то какое-то противопоставление топора и лопаты.

Именно! Различение топора и лопаты -- для людей, которые привыкли к топору и никогда не видели лопаты, считая что можно копать топором. А нужно использовать и топор, и лопату -- для разных задач разное. И нужно понимать, что лопат в мире неожиданно может оказаться не меньше, чем топоров. А то и больше.

"Знание оказывается не привязано к символу или классифицировано категориально, а растворено-размазано в какой-то вязкой многомерной аналоговой структуре. " Мне удобно думать, что - наоборот: логика - аналоговая, а big_data - дискретно. априори и апостериори каузальность и корреляция Лобачевский и Чебышёв Эйнштейн и Бор П.С. Вот ещё, для смеху: ковариантность и эргодичность

Можно вас попросить писать больше о практическом применении всего этого? Для неспециалиста ваша сегодняшняя заметка - абракадабра.

О практическом применении сегодня пишут глянцевые журналы. Журналистов и без меня хватает, а я не журналист. У меня и блог называется "Лабораторный журнал". Вы верно сказали, я для специалистов пишу. Хотя время сейчас такое, что и специалистам нужно доучиваться и переучиваться постоянно, "стать специалистом" и быть спокойным за своё будущее нельзя.

а с какого угла стоит подходить к изучению этого вопроса?

Какая-то сплошная "подгонка под ответ" -- попытка обозреть сложившующая ситуацию, но с неправильными ответами на вопрос "почему". "- Ну чем, чем армяне лучше чем грузины?" "- Чем грузины." В общем, логика у вас потерялась. Давайте вместе искать. >Есть тысячи отмазок (главная из которых "если мы не можем понять, как устроено это знание, что там скрыто за 160млрд. коэффициентов, то это не знание"), которые я воспринимаю как "зелен виноград". Неверно. Мы вполне можем понять, как устроено это знание. Но мы не хотим тратить на это время -- т.к. большой объём знаний не позволяет это нам сделать в достаточной степени за разумное время. >Второй момент с распределёнными представлениями -- это то, что их практически нельзя сконструировать. Можно сконструировать, вот тут я расписал подробнее: http://buriy.livejournal.com/32682.html Более того, те, кто могут залить проблему деньгами (ABBYY Compreno, IBM Watson ) именно так и делают. Именно у них есть профессия "онтолог", и это не шутка. Вообще, почти всё можно сделать, просто что-то проще, а что-то труднее. Что-то даже настолько трудоёмко, что мы "не можем" этого сделать (вот такой выверт языка -- "можем", но "не можем") Так вот, эволюция подходов -- это обычно не про то, что что-то сделать было нельзя, а теперь можно, а про появление подходов выше по соотношению "качество / затраты". Вы сами любите показывать график про "прорывные технологии". Нейроподходы сейчас намного хуже по качеству почти везде. Но их всего за несколько дней можно научить у себя на игровом десктопе, конечно, если кто-то несколько лет поработал и подготовил готовый рецепт для наилучшего выучивания -- а лучше, если получится добыть сразу предобученную базу. То есть, скорее, я бы сказал, что революция на самом деле сейчас в том, что появился способ быстро добывать знание, и теперь более легко добываемое в больших количествах знание вытесняет тщательно подготавливаемое знание. >Хотя я считаю, что главная проблема -- это отсутствие понимания того, какими методами решать какие проблемы, и как сочетать эти методы Я думаю, теперь вам понятно, что эта проблема сводится скорее к тому, как совмещать крупицы 100%-чистого знания и огромные объёмы легкодобываемого "полуочищенного" знания, в котором 5% или 20% ошибок. Считаю, ответ в такой формулировке очевиден.

>Проблем с таким знанием более чем хватает. Прежде всего, непонятно, как его накапливать, передавать, повторно использовать. Да нет, это обычное знание, ничем от других не отличается. Скажем, как накапливать, передавать, использовать словари? Или, как накапливать, передавать, использовать компьютерные программы? Не очень понятно только то, как его дальше очищать. Логика -- это искусство из верных утверждений получать другие верные утверждения. А если знание на входе не всегда верное, то из него можно получить всё, что угодно. Тем более опасно пользоваться логическими связками -- они увеличивают процент неверного знания (чистота знания A и B -- 90% и A & B -> C, то чистота C -- 81% ). Именно неочищенность знаний губит 99% способов использования этих знаний на корню. Остаются лишь самые высокошумные и нетребовательные, типа sentiment analysis. Пока что очищать знания может лишь человек. Чертовски медленно, но достаточно качественно. Если это сможет делать компьютер -- мы получим ИИ. Именно так. Ни больше, не меньше.

Топор и лопата, оба - априорные инструменты, как логика. А вот бредень и сачёк - апостериорные, как big_data.

Обычно алгоритм изучения чего-то нового такой: берёте текст и пытаетесь его понять. При неудаче, читаете подробно тексты по ссылкам литературы (даже если там книжки), если какие-то незнакомые слова попадаются -- гуглите, что они означают. Дальше (если непонятны тексты по ссылкам) читаете тексты по ссылкам в той литературе, на которую ссылался первоначальный текст. И так далее, пока не станет понятно. У меня в тексте (как и в любом моём тексте) есть ссылки, начните с них.

Это довольно любопытное занятие - протиповоставлять классификацию и продукцию. :) Браво!

Я боюсь, вы что-то недопоняли. Классификации и продукции у меня не противопоставляются, это из одного лагеря. Я противопоставляю, например, байесовский (статистический) вывод и продукционный (логический) вывод. Вот они из разных лагерей. Backtracking и backpropagation совсем, совсем разные звери ;)

Да, именно об этом я и говорю. И я боюсь, что это Вы недопонимаете одного довольно важного нюанса, который лежит в основе когнитивной деятельности. Ценность какой-то порции данных не в том, насколько она близка к матожиданию, а насколько она далека от него. Маленький пример, чтобы было понятно о чем я говорю. На столе стоит две чашки. Одна синяя, другая красная. Если Вы попросите жену - "Дорогая, подай мне чашку", она Вас переспросит - "Красную?". Вот именно в этом отличаются классификационные задачи (которые могут быть решены алгеброй нейронных сетей) от интеллектуальных задач, в которых абстрагирование и создание модели основано не на похожести, а на различии. Поэтому никуда задачи построения моделей и вывода на них не денутся. Не потому, что они "динозавры", а потому что "глупо ходить с ботинками на шее". ))) З.Ы. Ну и конечно, backpropagation к этой проблематике вообще никакого отношения не имеет.

Для меня нейронные сетки меньше всего решают классификационные задачи. См., например, end-to-end [deep] learning в системах датчики-моторчики (т.е. без "распознаём сигналы с датчиков и затем синтезируем ответ моторчиков для распознанного"), там такие работы как End-to-End Training of Deep Visuomotor Policies http://arxiv.org/abs/1504.00702 и DeepDriving http://deepdriving.cs.princeton.edu/. А вот как учат хватать детальки неправильной формы -- http://techxplore.com/news/2015-10-deep-learning-robot-grasp.html. Robot Toddler learns to stand by "imagining" how to do it -- http://www.technologyreview.com/news/542921/robot-toddler-learns-to-stand-by-imagining-how-to-do-it/. То есть отрабатывается прямая связь «глаз-рука/нога», мимо всяких классификаций и анализов классифицированных сцен. Когнитивная деятельность -- это не только деятельность с символами, и не только работа со статистикой, в этом пойнт моего поста.

Полагаю, что "меньше всего" - это преувеличение. Всякая задача распознавания и основанное на распозновании обучение - это классификационная задача. Я не говорил о "деятельности с символами", более того, попытку свести reasoning к логическому выводу в истиностных значениях, я считаю тупиковым направлением, это учебные технологии, на реальных задачах они не работают. Я говорил о том, что deep learning - это просто один из многочисленных методов, успехи которого заключаются в удачной находке алгоритма обучения и (как раз) в попытке гибридизации нейронных сетей онтоподобными архитектурами. Математика вообще может быть почти любая. Конгитивная деятельность - это не панацея применения экзотического метода (или даже подхода), когнитивная деятельность - это применения определенного класса архитектур. Вот применили к нейронке онтологическую архитектуру - получили очень добротные результаты. Но не наоборот.

Тут мы рискуем сильно запутаться. Для нас людей, знание - это обычно что-то такое подкрепленое либо самоочевидностью, либо неопровержимыми доказательствами, либо авторитетом. И уж конечно проверяемое. Нейросетки же это модель когнитивной деятельности, но указанными выше тремя свойствами чаще всего не обладающая. Отсюда всегда будет плескаться недопонимание. Нейросетки - это "что-то когнитивное"? Да, конечно! Это модель когнитивной деятельности. Но тогда это знания? Упс... чтобы сопрячь их с чисто человеческим пониманием знания надо еще сильно постараться. Я бы назвал это не знаниями а когнитивно-значимыми физическими состояниями.

О практическом применении сегодня пишут глянцевые журналы - ну не скажите, им до вас "как до Луны". Лекция про Интеллект-стек была настолько замечательная - я всем знакомым ее в глотки запихиваю. Поди найди такое в глянцевом журнале. Вы бы хоть пару строк дописывали - польза будет такая-то, возможно, в такие-то сроки. Сейчас мне особенно интересно, когда научат робота двигаться, создадут универсального работника, который вытеснит людей из всего создания товаров и услуг, кроме инноваций. Я правильно понимаю, что "мозги" для такого робота уже 99-100% готовы, а научить его двигаться оказалось сложнее, чем думали с самого начала?

>> См., например, end-to-end [deep] learning в системах датчики-моторчики (т.е. без "распознаём сигналы с датчиков и затем синтезируем ответ моторчиков для распознанного") Интересно, как решаются вопросы устойчивости замкнутой системы управления с таким Deep Learning регулятором? А то ведь в ответственных системах управления оборудованием требуется гарантия, что управляющее воздействие регулятора всегда будет приводить к уменьшению ошибки регулирования (конечно, при соответствии объекта управления его расчётной модели). Понятно, что нейронная сеть в теории является универсальным аппроксиматором, но если она на практике будет хотя бы иногда выдавать неправильный результат, то это сильно сужает область применения. PS: Так то нейросетевые регуляторы не новость в теории автоматического управления, как минимум последние лет двадцать пять. Но, в основном, как оптимизирующие и адаптивные надстройки.

Спасибо. Попробую переформулировать вопрос. С какой точки стоит начать изучение? То что вы пишете про распределённое знание, мне кажется понятным, уже лет так несколько эту мысль думаю. С какой точки лучше погрузится в детали?

Испытания, другого не придумано пока. Никаких "доказательств правильности", тут другая эпистемология. Но когда-то и мосты через речки делали, а сопромата ещё не придумано было. И ничего, жили с "ответственными применениями". Элон Маск, характеризуя современную инженерию, сказал "человечество разучилось рисковать". Так что проблема осознаётся, находятся и пути решения, включая "эти риски принимаются".