Обсуждение

Хм. А Вы вот Эдуарда Веркина "Через сто лет", случайно, не читали?.. Где про уберменшей-упырей, которые судорожно пытались восстановить в себе человеческие чувства, эмоции и практики. Специально консультантов — настоящих оставшихся живых людей — приглашали, обещая не жрать, всячески холить и лелеять... Ну и так вот — грусть-горе, это когда плачешь, слезы из глаз льются. Ну для начала кислотою себе в глаза брызнуть, чтобы получить примерное представление... Игры спортивные — в футбол играть учились. Но в связи с особенностями физиологии играть приходилось чугунным шаром от грейдера, которым дома рушат (настоящие мячи рвались от удара к чертовой матери) — в результате полквартала оставшихся развалин былых времен разнесли...

С совместным участием в искусстве странно, что многие люди чётко отделяют творца от потребителя (и попытки ломать эту границу воспринимаются прямо таки агрессивно ``никогда такого не было, значит, так и не должно быть''), а также в том, что не всем нравится совместное творчество.

Мне кажется, что помимо байесианцев, Дойч еще и против system & complexity theorists, а также ML. Eго позиция: "Good explanations are hard to vary, so a mix of two is usually worse than both. Combining two explanations requires an additional act of creativity." На мой взгляд, это не совсем соотносится с принципом "больше точек зрения на сложную систему всегда лучше", причем консенсус или компромисс — нормальные стратегии учета этих разных точек зрения. Большинства ансамблевых методов машобучения (за исключением стекового) не создают никаких новых моделей. Они только комбинируют результаты разных моделей входящих в ансамбль по детерминированному алгоритму. Это никак не назвать "дополнительным актом креативности" (по Дойчу). Тем не менее, ансамлевые методы работают лучше индивидуальных моделей.

Нет, у Дойча уж точно признаются эмерджентные описания на разных системных уровнях, и рассказывается, что делать со стохастикой. Но сама теория конструкторов не стохастична, а точна — и дальше идут инструкции, как из неё путём многократных измерений делать стохастику и получать какие-то распределения. Насчёт ансамблевых описаний, так конечная цель — избавляться от них, получать более компактные универсальные. То есть описывается какая-то основа, разные надстройки и утверждается, что всё это должно развиваться от описаний похуже к описаниям получше (и даются критерии). Текущие описания, понятно, многие "похуже" — и говорится, куда их тащить. Вполне всё там системно.

Но вот хинты, что там делать с вероятностями — есть. Они занменяются избыточностью: If, in conventional, probabilistic, information theory, S is a discrete set and each instance of S has a probability p<1/2 of having been changed from the correct value x by uncorrelated perturbations, the probability that a plurality of the values stored in n instances will not instantiate x falls exponentially with n. Although probabilities are not allowed at the fundamental level in constructor theory, redundancy can still play effectively the same role, in following way. Denote by S(∞) an unlimited supply of instances of S. Suppose that they all have the same intrinsic, preparable attribute, either x or y, and let us call a sequence of experiments on S(n), as n increases without limit, an ‘experiment on an ensemble S(∞)’. Recall from §2 that a possible task is one for which the laws of nature impose no limit, short of perfection, on how well the task can be performed. Because our assumption VI implies that there is no limit on n, it follows that for any two intrinsic attributes x and y of a substrate S, x(∞) and y(∞) are either interchangeable in all experiments on S(∞) (using generic resources), or distinguishable. For given such a supply, performing all possible experiments on (instances of) S, infinitely often, is a possible task. So if that cannot tell the difference between x(∞) and y(∞), nothing (that uses only generic resources) can. If something can, we call x and y ensemble distinguishable. Thus, we propose the principle: IX. Any two disjoint, intrinsic attributes are ensemble distinguishable. Это из https://royalsocietypublishing.org/doi/10.1098/rspa.2014.0540 Разбираться нужно внимательно, все ж "на поверхности лежащие возражения" там наверняка разобраны в деталях!

> Насчёт ансамблевых описаний, так конечная цель — избавляться от них, получать более компактные универсальные. У меня есть смутные сомнения на этот счет. В "предельно-конечном" счете, может быть (если принять дойчевский эпистемологический реализм), но не на практике до скончания наших дней. Я слишком боюсь overfitting и trapped priors, даже в универсальных AGI моделях, которые, вроде бы, должны учитывать "все". Если продолжать аналогию, то получается, что Дойч за федеративное обучение, а не за assisted learning. Наверное constructor theory как-то отвечает и на эти сомнения тоже. Должен признаться что я пока не читал ее. Постараюсь больше не критиковать Дойча пока не прочту )

Просто два уровня теорий: одна про sharp значения переменных (базовая), а другой уровень — про накопление статистики, https://arxiv.org/abs/1507.03287