ailev.ru

29 марта 2016 · Комментарий

Без заголовка

>В коннекционистских архитектурах подразумеваются распределённые представления. А откуда у вас берётся это требование? Нейросети отлично линейную регрессию считают, посмотрите современные работы по Facial Keypoint Detection -- там никаких распределённых представлений нет. >Но поскольку база данных это одна из вычислительных архитектур (вкупе с полнотьюринговым языком запросов), то и из неё можно сделать коннекционистскую архитектуру. Только работать она будет запредельно медленно (то есть не работать). Т.е. она вполне может быть частью коннекционистской архитектуры. Насчёт скорости вы сказали наугад, базы данных разные бывают, бывают встроенные процедуры, а бывают просто графовые базы данных. Но вопрос был в другом -- простые элементы, соединённые друг с другом там тоже есть (реляционные взаимоотношения), почему она сама не коннекционистская архитектура? Т.е. как нужно исправить ваше определение, чтобы оно базы данных не включало? >Формальные определения всё одно не получатся. Недаром Георгий Петрович Щедровицкий любил говаривать, что "определение -- это гробик для умершей мысли". Зря вы так. Определения нужны исключительно для того, чтобы передавать мысли другим людям, потому что передать объём понятия без определения другому человеку практически невозможно. Вы обречены быть постоянно неправильно понимаемым другими людьми, если не будете опираться на определения. В преподавании точных наук это известно уже как минимум несколько веков. >Мало того, что определение обычно только один какой-то viewpoint затрагивает, так ещё и порождает куцее понятие, не в полной мере отражающее новые коценпты. Увы, приходится мириться с тем, что приходится использовать не идеальные воображаемые понятия, а те, которые легко выразить определением. Они могут отличаться, да. Но подумайте, какие есть альтернативы при передаче информации о классе объектов, вкладываемом в ваше понятие, другому человеку, без использования определений? >Все эти distributed representations не зря придумали. Понимаете, в виде fuzzy logic нечёткие представления были давным давно, в графовых базах данных есть spreading activation , LSH, шинглы, bloom filter и HMM были, правда, эффективных алгоритмов с их помощью до нейросетей не было, ну, за исключением LSH и шинглов. Те же HMM работали неплохо, но не масштабировались. Ну и в 2004м году SDR были описаны Jeoff Hawkins в On Intelligence -- но рабочих приложений сделать у них не получилось. То есть само представление данных ничего не решает. А вот рабочий алгоритм определения близости объектов без учителя с помощью distributed representations -- вот что действительно немного изменило мир. Тот же EM-алгоритм, применяемый для того же word2vec, опять же уже несколько десятилетий известен -- но поиск рабочих архитектур под задачу всё ещё необходим. И наилучшей архитектурой может оказаться вовсе не распределённая модель. В конце концов, механизм хранения слов в word2vec -- это обычный массив и индексация по ID слова! Поэтому мне слегка непонятен смысл вашего обобщения "коннекционистских архитектур", и я пытаюсь через определение понять, что именно вы им объединяете, надеясь понять, зачем.

К записи · К обсуждению