Обсуждение

Всё-таки если говорить именно об эмбеддингах, то первые два итоговых утверждения не вполне верны: Эмбеддинг priors вполне себе дискретен, какие точки получились, такие и получились, никаких вероятностей. Конечно потом, при работе с неизвестными понятиями, например, можно предположить, что итоговое семантическое пространство непрерывно, и попытаться этим воспользоваться. И эмбеддед онтология дана не в символьном, конечно, представлении, но выражена в итоговом пространстве явно, как набор точек, в котором нет ничего распределённого или "голографического".

это не в качестве критики, чисто сочинение на заданную тему ) "Новые онтологии: 1. -- не выражаются на языке логики, они не дискретны, а непрерывны (помним про булеву логику, которая является частным случаем байесовских вероятностных построений: пункт 1, "логика науки" в http://ailev.livejournal.com/1311261.html) 2. -- даны в распределённом (коннекционистском), а не символьном представлении 3. -- понимаются как экономящая начальные рассуждения эвристика, "печка, от которой пляшут", priors. Рассуждения (вычисление актуальных вероятностей) вполне могут привести к признанию того, что мир устроен по-другому. 4. -- как-то выучиваются, а не моделируются-программируются на каком-то языке. Можно дальше обсуждать, насколько supervised, semi-supervised или unsupervised -- учитывая, что учитель оказывается тоже замаскированной онтологией и "совсем без учителя" не бывает, алгоритм обучения уже задаёт онтологические ограничения, уже учит чему-то!" 1. есть непрерывные логики 2. выдвину тезис - любые онтологии могут быть представлены в символьном виде "С коннекционистской точки зрения интуитивные знания не могут быть представлены в виде множества лингвистически формализованных правил, и должны быть привлечены совершенно иные стратегии." intuit.ru http://www.intuit.ru/studies/courses/61/61/lecture/20434?page=2 эта цитата из "Коннекционистская парадигма" очевидно неверна, любые текстовые цепочки (формальные системы можно представлять сетями/деревьями) и обратно сети представлять можно текстовыми цепочками подходящей структуры, добавлю имхо 3. тезис хорош, любые достаточно универсальные эвристики можно обобщать до некой универсальной алгебраической/формальной системы или логики 4. новые онтологии (знания, понятия) очень часто вначале не формализованы и расплывчаты, постепенно происходит уточнение понятий и соответствующая формаализация

Вот хитро: -- обсуждение в терминах "точек", в которых нет ничего голографического или -- принадлежностей точек к окрестностям других точек (нечёткие логики), в которых тоже нет ничего голографического -- но если затем спросить, а "на чём нарисованы эти точки" (там же векторы 500-мерные обычно!), то вскрывается новый слой реальности -- foundational ontology из что-то означающих 500 координатных осей (и связанных с ними коэффициентов, весов, отрезков с вероятностью принадлежности, координат, уж дальше неважно чего -- и inference там будет включать работу с векторами, а не самодостаточными "точками", координаты ведь относительны начала координат, они не заданы абсолютно как "символы"!) Замечание же про то, что ebmedded ontology в том числе и в чём-то символьна -- да, я о том же: при рассуждениях эти "символы" в их привязке к пространству служат начальным местом для inference, а сам inference не булев и даже не изводы нечёткой логики. Нет, там будет tensor product как типовая операция. Нет пока способов об этом внятно думать и внятно говорить, увы. Я просто фиксирую функциональное место для всех этих построений: они онтологичны по природе своей, отражают ответ на повторяющийся вопрос: что есть в мире, со всеми недостатками так поставленного вопроса (например, вопрос этот явно подразумевает ответ в статике, метафизичность).

А все ли пространства позволяют точкам в них назначить координаты? Обязательное ли это свойство мыслимых абстрактных пространств?

Для размышлений об этом рекомендую почитать работу https://arxiv.org/abs/1611.02854 (We argue that Lie groups provide a natural generalization of discrete memory structures, such as Turing machines, as they provide inverse and identity operators while maintain differentiability.)

//но если затем спросить, а "на чём нарисованы эти точки" (там же векторы 500-мерные обычно!), то вскрывается новый слой реальности так ведь это лишь наш способ говорить о "точках". Причем способ - жутко затратный по энергоресурсам. И в этом смысле он, возможно, тупиковый в далекой перспективе, хотя и дает сегодня некоторые шумные (для прессы в основном) результаты. И в то же время, любой "биологической машине" достаточно, грубо говоря, чтобы Солнце иногда выглядывало. Любой человек обитает в пространстве огромной размерности. И чтобы поднять указательный палец, требуется согласованная работа многих мышц, потому что между костями - подвижные соединения. Ну ладно, сделали мы сегодня машину с антропомофной клешней - но чтобы двигать клешню, нам нужно дизельный генератор к ней подключить, а человеку хватит и стакана кока-колы. Т.е. я про глобальную перспективу. Не являются ли наши подходы к описанию (любые вообще онтологии) ущербными хотя бы в том, что для их воплощения требуются огромные затраты сил? Не проще ли (энергетически даже выгоднее) родить, воспитать и образовать человека - чем создать "супер-машину", которую потом, чтобы прокормить, надо всему человечеству горбатиться, забросить свои семьи, друзей, стариков... на танцы перестать ходить? )) У меня такое чувство, что когда шумные разговоры о невероятных успехах утихнут, то очень сложные "машины" или дико умные "виртуальные ассистенты" (жутко энергозатратные) найдут свое применение лишь в тех областях, где люди готовы тратить деньги, причем много. Типа секс-долс для випов, очень дорогие игрушки, или локализованный заводик Маска - но не глобально. Потому что из многих возможных путей (даже если пространство этих путей - непрерывно, как пересеченный ландшафт) развитие пойдет наименее затратным.

Вы что-то очень странное рассказываете. Особенно в связи с современными достижениями по части снижения энергозатрат на вычисления в нейросетях.

Я же не рассказываю, а вопрос задаю)) Просто немного добавил своего контекста (к вопросу), иначе совсем непонятно было бы. Что затраты на вычисления снижаются, это ясно. Но к вычислениям периферия ведь нужна, которая будет что-то делать (двигать), что-то показывать (на "экран" выводить) и т.п. Если только сам человек не станет такой "периферией". Ведь периферия всегда рассматривается в парадигме действия - что сделать, что получить. Т.е. в вашей терминологии - в символьном представлении, если я правильно понял. Семантическое пр-во действия - дискретно.

Нет, разговор про действия и символьное представление -- это про разное. Вон, кошка или мышка символами не орудуют, а действуют очень даже лихо. И отнюдь не в дискретных представлениях. С другой стороны, квантовая механика говорит, что где-то там в маленьких масштабах всё дискретно, нарезано на ступеньки-"кванты". Все эти рассуждения условны. Что актуаторы становятся энергоэффективными, так прогресс не стоит на месте. Те же вентильные (бесщёточные) электродвигатели очень и очень неплохи в части КПД. А шагающие роботы на батарейках могут ходить очень даже далеко -- https://nplus1.ru/news/2015/11/09/i-would-walk-500-miles (и нужно учесть, что батарейки тоже непрерывно улучшаются). Я по прежнему не понимаю, в чём ваши опасения.

Просто поговорить хотел. Последнее время думаю про непрерывность, про пространство с непрерывной вероятностью, про действие, про принцип наименьшего действия (отсюда соображения про энергозатраты). Пытаюсь как-то разобраться со своей колокольни. А здесь среагировал на ваше замечание: «Я просто фиксирую функциональное место для всех этих построений: они онтологичны по природе своей, отражают ответ на повторяющийся вопрос: что есть в мире, со всеми недостатками так поставленного вопроса (например, вопрос этот явно подразумевает ответ в статике, метафизичность).» Это мне очень хорошо понятно. В вопросе про "что" мне видится языковая ловушка что ли. Как из нее выбраться, я пока не представляю.

Вот тут рядом я уже постил материал для размышлений о "непрерывности" и "дискретности" и отношениях их: https://arxiv.org/abs/1611.02854 (We argue that Lie groups provide a natural generalization of discrete memory structures, such as Turing machines, as they provide inverse and identity operators while maintain differentiability.)

А откуда нам известно, что пространство памяти (из статьи) не имеет дыр? Как я понимаю, это наше исходное предположение, которое имеет силу для какой-нибудь узкой задачи. Например, пространство картинок с изображением человеческого лица. Здесь да, можно предположить, что между двумя лицами всегда можно угадать еще одно, в разной степени похожее на первые два. Но если взять алфавит, то никакой непрерывности здесь нет. Не любое сочетание букв что-то значит.

Радикальным конструктивистам ничего не "известно", они всё постулируют. Могут иногда ещё и эксперименты ставить,чтобы проверить выполнение своих постулатов на практике -- и будут счастливы, если их постулаты выполняются не всегда, а по большей части (т.е. все эти постулирования -- эвристики, абсолютная верность никому не нужна, нужна работоспособность для решения интересных задач). Про буквы -- так распределённые представления даже на буквенном уровне вполне семантичны, даже не доходя до буквосочетаний. А для буквосочетаний можно цепочку пространств брать. Вспомните, например, классическую древнюю работу http://karpathy.github.io/2015/05/21/rnn-effectiveness/ Люди работают, программки пишут, гипотезы проверяют. Все статьи так и устроены: сказал мысль -- продемонстрируй её рабостоспособность программой. Вот вы сказали, что "пространство памяти имеет дыры", дальше по идее вам нужно продемонстрировать программкой и наборами данных, что вот они дыры, вот их границы, вот что нужно сделать, чтобы в дыры не попадать.

Да, я понимаю. Я даже ожидал примерно такой ваш ответ: про конструктивизм и экспериментальную проверку. Моя позиция плавает. Пожалуй, я близок к тому, что вы предлагаете (гипотеза, эксперимент и т.д.), но много сомнений. Например, эффективность должна быть измерена. Но это возможно, как я понимаю, только для некоторых задач - когда мы можем сравнить одну величину, характеризующую результат, с другой (напр. как расстояние в нек. пр-ве) - что не всегда возможно, а иногда и вредно, как в ситуации с оценкой эффективности сотрудников, когда работа выполняется не на результат, а для высокого балла. Я уж не говорю, что эффективность вообще не работает, когда дело касается этики (которая, по большому счету, и эстетика тоже). Про дыры надо подумать. Но вообще, на то они и дыры, чтобы оставаться незаметными )) Спасибо за ссылку на "древнюю работу")) Посмотрю обязательно. В каком смысле распределенные представления семантичны на буквенном уровне? Это не понял.

Распределённые представления семантичны на буквенном уровне в смысле, который разъясняется в материале по ссылке -- я для разъяснения этого высказывания и дал ссылку. Вообще, чтобы как-то рассуждать про распределённые представления, нужно про них почитать хотя бы сто страниц, и познакомиться с тамошними достижениями. ;-)

// познакомиться с тамошними достижениями. // Ну, про достижения я вас читаю. Вы вообще удивительный сетевой феномен. Так много пишете, по делу и с охотой. Так что читаю, да. А в общих чертах, идея-то понятна. Берем множество, задаем на нем структуру, которая позволяет нам вычислять расстояние между элементами: например, задаем функцию, которая каждому эл-ту ставит в соответствие действительное число или вектор. И получаем возможность сравнивать элементы численно. Размерность такого пространства, в общем-то, не принципиальна - сколько надо, столько и возьмем. В трех измерениях удобно рассматривать движение мат. точки. А человек живет в пр-ве многомерном, под влиянием множества "ортогональных" факторов. Дальше можем определить для полученного пространства какую-нибудь операцию, с удобными свойствами, чтобы ассоциативность была, обратный элемент был и т.п. - чтобы аккуратно всё считать можно было. Ну, и все, как я понимаю. Дальше уже начинаются хитрости применения такого подхода к различным типовым задачам. И если заданная операция симметрична, это очень хорошо. А если еще и дифференцируема, то совсем красота. Только нужно предварительно сказать, что вокруг каждого элемента исходного множества есть хорошая окрестность, где функция тоже определена. Может, я где и напутал, но общее направление мысли такое, как я понимаю. К формальной стороне дела у меня вопросов нет - это все интересно и красиво. А сомнения мои относятся к основаниям что ли. Неужели только "эффективность" заставляет нас выбирать то или иное решение? Сомнительно это. Нет, когда есть конкретная задача и дэдлайн - тут все понятно. Но большому-то счету?.. Я так понимаю, вы скажете, что "большой счет" - это фикция? ))

У меня сложилась такая гипотеза о возможной структуре языка: http://philosophystorm.org/prilozhenie-tunnelnogo-modelirovaniya-k-yazyku Соответственно, базовые элементы - пустота (пробел) и идея онтологии задаются аксиоматически, а более сложные образования эволюционируют с целью минимизации обучающих полных порций. Система обозначений для уровней устарела - в последней версии уголки сдвигаются на 1 в более простую сторону. Обозначения звуков соответствует существительным на приведенной схеме.

я простоял 20 минут в книжном магазине, где был один шкаф, наполненный учебником "Группы и алгебры Ли", и больше ни одной книги! И - не взял :) Хотя другие учебники по математике и физике до сих пор считаю важными, особенно - по геометрии Лобачевского, где через точку можно провести кучу прямых, не пересекающих заданную прямую.