Обсуждение

Спасибо за обзор. > Он считает, что нейронная сетка вполне себе тьюринг-полна Ну, тут просто считать недостаточно. Если я не ошибаюсь, хорошего доказательства пока нет (или есть?), и пример с непонятно как реализуемой сортировкой списка произвольной длины имеет место быть. А вот про важность архитектуры и про то, что архитектура сети может выбираться сетью другого уровня, это очень здраво, на мой взгляд. http://www.iamili.com -- круто, конечно, хотя после http://www.skype.com/en/translator-preview/ стало понятно, что такие устройства не за горами.

Доказательство есть, и давно (в 1995) -- Extensive efforts have been made to prove the Church-Turing thesis, which suggests that all realizable dynamical and physical systems cannot be more powerful than classical models of computation. A simply described but highly chaotic dynamical system called the analog shift map is presented here, which has computational power beyond the Turing limit (super-Turing); it computes exactly like neural networks and analog machines. This dynamical system is conjectured to describe natural physical phenomena. -- http://binds.cs.umass.edu/papers/1995_Siegelmann_Science.pdf Вот тут про то, что нейронная сетка -- это универсальный аппроксиматор (т.е. в пределе аппроксимируется любое вычисление, самая сложная программа. Это неважно, что там "аналог" -- физика в электронике компьютера тоже вполне "аналоговая", а не "дискретная"!): http://neuralnetworksanddeeplearning.com/chap4.html

Мне кажется, что это (само-)обман, так как там используются вещественные числа, которые невычислимы. Возможно, это и не важно, но на строгое доказательство не тянет. То есть, если я правильно понимаю, это означает, что нейронная сеть, запрограммированная на сегодняшних компьютерах, не может обладать Тьюринг-полнотой (при использовании неограниченной памяти). А другие пока только в проектах, у вас как раз есть о таких, но на них надо смотреть отдельно.

Очень напоминает рекламу искусственного интеллекта предыдущей волны. У меня тут онтологический вопрос: если уж и брать это "пространство значений" (и оно же, вероятно, пространство смыслов), то какой оно размерности? Фрактальной.

Вам кажется. Есть отдельные работы, в которых показывается, что не нужна большая разрядность плавающих для нейронной сетки (в принципе, там как у настоящих нейронов и одного бита хватает для вычислений, но тогда вычисления становятся слишком долгими. Но вполне приемлемо уже и 16 бит плавающее). Ну, или вы должны представить какое-то собственное доказательство, опровергающее работы остальных, опубликовать его, как все делали до вас, выступить на конференции, собрать замечания... ;-)

Реклама искусственного интеллекта предыдущей волны была про общий естественный интеллект. Тут никаких подобных заявлений не делается, очень аккуратный разговор идёт, про математику. Тут нужно осторожненько с терминами, про фрактальные размерности. Там есть их несколько, но они обычно не так велики, например, https://en.wikipedia.org/wiki/List_of_fractals_by_Hausdorff_dimension, там явно не 620. Люди-то работают с этим пространством значений уже не абстрактно и метафорически, а прямо вот в эксперименте. Берут набор данных на миллиард слов текстов в каком-то языке (а то и нескольких) и считают, в пространство какой размерности тамошнее разнообразие упаковывается. И я бы не недоценивал сложность пространства размерностью в 620 измерений.

У разных людей на одно и то же слово будет разная семантика. От мелких отличий до использования в совершенно другом значении. Так что кавалерийским наскоком проблему решить можно только "в среднем".

Задача интеллекта не аппроксимировать, а моделировать. :) Если бы существовала абстрактная (или произвольная) когнитивная архитектура, вопросов было бы меньше. А пока речь идет об эквивалентности ИНС и МТ на уровне реализации функции. А при правильной архитектуре метрику вообще можно любую брать.

> The multiple levels of representation corresponds to multiple levels of abstraction. интересно, им удается идентифицировать уровни абстрактности?

Наскок там совершенно не кавалерийский, об этом и пост. Ну, и одна сетка примерно равна одному человеку -- моделируем-то не человечество в целом, включая вкраплённых в человечество сумасшедших, плохо говорящих и понимающих и учёных какой-то секты/школы. Выход на уровень понимания текста (именно понимания, а не механической подстановки слов) какого-нибудь подростка это и есть цель исследований. Чтобы дальше продолжать, нужно разобраться, какие виды представлений языка бывают и их особенности. Ибо тут я цеплял в посте только word embeddings, но есть вариант уже и побуквенной работы. И замешивания картинок с текстами (там много лучше получается, чем чисто с текстами). Основная пока проблема тут -- дорогие алгоритмы по памяти и скорости, но и эту проблему быстро-быстро решают.

Я, конечно, в этой области не специалист, но математика -- строгая наука. Если доказательство использует невычислимые числа -- то оно не может быть корректным доказательством вычислимости, оно доказывает что-то другое. Причем, вы же сами написали, что Нандо "считает, что", то есть это его личное мнение, а не общепризнанный факт. Скажем, то, что нейронная сеть -- это универсальный аппроксиматор, и может аппроксимировать любую непрерывную функцию как угодно близко -- это математически строго доказывается (Обобщенная аппроксимационная теорема). А насчет вычислимости -- только некоторые соображения и предположения. Если я не прав -- покажите строгое доказательство :) Опять же, повторюсь, что наверное, это сейчас не важно, но важно для понимания предела применимости. P.S. А можно технический вопрос -- вы так быстро оперируете ссылками на статьи и результаты -- как вы это организуете? Держите тематический каталог?

Мой "систематический каталог" -- это мой же блог, он же недаром называется "лабораторный журнал". Что в него попало, потом очень быстро ищется. С другой стороны, я довольно много времени трачу, чтобы написать какие-то тексты вокруг ссылок (типа этого комментируемого поста), ибо чистые ссылки или даже ссылки с названиями работ обычно оказываются бесполезны в поиске. А пока не написал текст, все ссылки висят табами в браузере. Когда текст написан, табы в браузере закрываются.

"Если речь идёт не о людях и человечьем языке -- то можно ли поднять "разрешающую способность" этого пространства, сделав шаг к большей формализации/дискретности/разрешению представления мира? Не даст ли это возможность "лучше думать" (если думает не человек)?" Не получится, пока оно не стало независимым от челоека, пока input и output должны быть понятны человеку. Но и потом. Если представить нейросеть как сеть сетей, то у каждой подсети немного свое смысловое пространство, они не могут быть объединены в очень плотное пространство. Правда подсети всё время должны влиять друг на друга, то есть все время уплотнять пространство. Чем меньше (сложная) сеть получает информации извне, тем больше успевает уплотнится ее смысловое пространство. А если машина не одна, а несколько, то у каждой немного отличное свое смысловое пространство. "сама сетка может быть устроена попроще -- и желательно устроить её вообще аппаратно" Поэтому не отпускаю тему полезности/бесполезности чипа TrueNorth. Точнее не TrueNorth (допускаю, что он неудачен), а вообще спайковые чипы. Основной аргумент против них в том, что они долго умножают, а нужны ли будут умножения в обозримом будущем? Второй основной аргумент, что они получятся дороже видеокарт. Но видиокарты хороши только с умножениями плотных матриц и потом при такой плотности вычислений кремний наверное деградирует быстрее, а при таких энергозатратах энергостабилизирующие элементы тоже деградируют быстрее. Видеокарточки под нагрузкой вряд ли протянут дольше двух-трех-четырех лет кушая небесплатную электроэнергию и работа по их обслуживанию и замене не бесплатна. А спайковые меньше едят электричества, меньше изнашиваются, дольше прослужат и с малым энергопотреблением лучше годятся для мобильных применений. Кстати, недавно китайцы сделали спайковый Darwin. А TrueNorth решили пока что применить для диагностики обычного фон-неймановского суперкомпьютера предэкзафлопного масштаба (одна пятая экзафлопа). Поскольку в этом предэкзафлопном элементов будет пруд пруди, то и вопрос надежности и диагностики выходит на передний план.

> у каждой подсети немного свое смысловое пространство я предлагаю использовать несколько терминов (категории), которые имеют в полярной системе координат одинаковые стандартные реперные координаты (аналогично квазарам Вселенной). Тогда возможна координация смыслов сетей по принципу триангуляции с промежуточными смысловыми реперами. Интересно: TrueNorth = на истинный север = на Полярную звезду?

Анатолий Игоревич, не подскажите, где может быть описание параллели между выводом нейронной сети (с параметрами: нейронная сеть и пример) и операцией пересечения в (нечеткой) реляционной алгебре? В программировании для них, похоже, можно использовать одну систему записи

Аппроксимируем функцию и затем экстраполируем по аппроксимации будущее, вот вам и моделирование.

все хотел спросить, языки иностранные уже не учить ? ))

Английский учите, а на русский само будет переводится

Вы это. С эзотерикой заканчивайте. Какие волшебные гномики найдут эти реперные координаты? Если предсавить, что это инженеры, то им придется для этого задействовать нейронные сети своих голов. Если инженеры будут работать вместо нейросетки, то зачем такая сетка нужна вообще. Каким колдовством будет делаться триангуляция?! Каким колдовством будет определяться промежуточность смысла? Заканчивайте утоплять журнал своей изотерикой. Я и сам слабо на математических ногах стою, и графоманством страдаю, но не до такой же степени.

Какая эзотерика? Вы учебник философии открывали? Метод экспертных оценок относится к системному анализу. Только с экспертами и математическими методами усреднения на сфере пока жидковато. Для усреднения можно попробовать итерации с вычислением среднего арифметического по широте и среднего арифметического по долготе. Далее вычисленная точка переносится на экватор, определяются новые координаты отсчетов и усреднение повторяется. В качестве примера можно попробовать определение центра созвездия по координатам его звезд с учетом блеска звезд. И не забывайте, что у каждой звезды есть декартовы координаты.