Обсуждение

Прошу прощения названная вами "теорема бесплатного обеда" является тезисом (или гипотезой, если хотите). И называют её теоремой для крастного словца. Насколько мне известно мода вышла из стен Чикагской школы экономики.

ПС Сам пост, конечно же безумно интересен, как и всегда!

Я согласен, что это не совсем теорема, но чикагская школа экономики совсем не при чём, речь идёт о https://en.wikipedia.org/wiki/No_free_lunch_theorem. Суть в том, что нет универсального алгоритма: если какой-то алгоритм хорош в одной задаче, всенепременно найдётся другая задача, в которой он плох -- а с другим алгоритмом будет наоборот.

По теореме. 1. Всё-таки она рассматривает а) некоторую генеральную совокупность (а нам не надо решать генеральную совокупность задач, одни будут востребованнее других). б) в оригинале говорит об оптимизации (а у нас задача классификации\регрессии) 2. Очень похоже, что она базируется на той же идее, что и отсутствие ниверсального архиватора (доказываемый аналогично теореме о несжимаемости пространства), что подтверждает беглый гуглёж. Всё-таки нам нужны не все-все-все возможные входные данные, а очень конкретные частные случаи. 3. Более того, на конкретных частных случаях как правило БУДУТ СУЩЕСТВОВАТЬ некоторые закономерности, позволяющие избирательно использовать разумные эвристики. ПС Ну и мода на фразу "бесплатных обедов не бывает" пошла из Чикагской школы экономики, изначально я об этом, но не суть.

Ну это вы по стандартной линии: "без знаний ничего не наразмышляешь" (должно быть знание, что у вас за задача, после чего можно выбрать что-то оптимальное именно для неё), у Педро Домингоса в The Master Algorithm эта теорема подробно рассматривается. И она именно так и называется, "теорема", невзирая на весь её "фольклорный" характер. Про "бесплатных обедов не бывает" -- это неважно откуда пошло, я думаю, что Чикагская школа появилась много позже распространения этой фразы, математики только добавили сюда слово "теорема". Вот подробности: https://en.wikipedia.org/wiki/There_ain't_no_such_thing_as_a_free_lunch

>> Ну это вы по стандартной линии: "без знаний ничего не наразмышляешь" По стандартной линии, это ведь и к Уолперту с Макрииди также относится (при всём уважении, ни на секунду не умаляю заслуг): рассмотрим генеральную совокупность..... таким образом сумма условных вероятностей посещения в пространстве решений каждой точки.... У меня же возникли вопросы, разумность которых и была подтверждена беглым гуглежом. NFL в столь широкой трактовке то и к аппаратуре можно применить: "NVIDIA предоставляет инструмент для работы с нейросетками и ускорителями, а значит (по NFL)..... и далее по тексту". ПС За ссылочку спасибо, возможно по Чикагской школе это ШРЗ, неизвестно попавшее в мою голову.

Я где-то в предыдущих постах именно это и писал: ускорители определённых алгоритмов при любых поворотах судьбы в области этих алгоритмов рискуют оказаться не у дел. В этом плане мне представляется интересным подход NVIDIA, в котором они сохраняют ядра не только (и даже не столько) специфически для deep learning, сколько общего вида для HPC -- CUDA cores содержат для каждой вычисляемой твари по хардверной паре сотен ячеек. С одной стороны, это крайне неоптимально (они ж, например, могли бы весь кристалл уделать tensor core, и deep learning был бы счастлив), но с другой стороны это бережёт их от поворотов судьбы при нахождении других интересных алгоритмов: у всех конкурентов их машинки вырубятся, а у них что-то будут продолжать считать, так же субоптимально.

Еще важный момент (может, конечно, это и очевидно) - появление даммисов это процесс с положительной обратной связью: стандартизация интерфейсов и концепций расширяет инфраструктуру, это снижает стоимость входа в технологический стэк (меньше надо делать самому, больше уже сделано "вот прямо как про тебя"), что приводит к расширению инфраструктуры, что опять привлекает больше участников и снижает стоимость готового продукта, что привлекает больше потребителей, и дальше по кругу.

Это цикл любой стандартизации. Поэтому стандарты обычно разрабатываются консорциумами -- объединениями конкурентов. Ибо в итоге становится лучше всем конкурентам (они конкурируют дальше не за интерфейс, а за лучшую реализацию функции на этом интерфейсе. Использование же при этом стандартизировано и потребители на это ориентируются, рынок становится массовым).

Не видел, знакома ли Вам эта информация https://www.osp.ru/os/2017/01/13051588/ Математики нашли способ сжимать Большие Данные 10.03.2017 Ученые Лаборатории искусственного интеллекта МТИ и Хайфского университета разработали метод поиска подмножеств, сохраняющих ключевые математические отношения своих источников — огромных срезов данных. Способ отличается универсальностью и применимостью в широком круге областей, включая анализ текстов на естественном языке, машинное зрение, обработку сигналов, системы выдачи рекомендаций, прогнозирование погоды, финансовую аналитику, нейробиологию и др. Метод основан на геометрической интерпретации данных — представлении их в виде гиперсферы и поиске средних значений в подмножествах. Репрезентативность выбранных подмножеств исследователи доказывают математически. Действуя по принципу понижения размерности, метод позволяет радикально уменьшить затраты на анализ разреженных данных с помощью широко применяемых методик, таких как латентно-семантический анализ, метод главных компонент и др. Ученые показали действенность своего метода на примере матрицы, устанавливающей соответствие между статьями англоязычной «Википедии» и используемыми в них словами.

Carlos E. Perez по мотивам статьи "Machine Teaching: A New Paradigm for Building Machine Learning Systems" [https://arxiv.org/abs/1707.06742v2] пишет [https://medium.com/intuitionmachine/why-teaching-will-be-the-sexiest-job-of-the-future-a-i-economy-b8e1c2ee413e], что "The second lesson from the history of programming that Microsoft Researchers allude to is the need for a universal machine that permits the easy porting of Deep Learning models to different servers or devices" and "final lesson from the Microsoft Research paper is the need for process methodology"

О да! Вот я писал в 2012 году -- http://ailev.livejournal.com/1011621.html

>>Так, в релизе TensorFlow 2.1 реализовано ускорение для процессоров Intel Xeon Phi Это случайно не об версию TensorFlow 1.2?

Да, конечно, сбой в пальцах! В релизе оно называется "Intel MKL Integration" -- https://github.com/tensorflow/tensorflow/blob/r1.2/RELEASE.md Спасибо, fixed.

Не проще ли разрабатывать одного большого болвана и раздавать его всем по примеру Google Search Engine? Это позволило бы эффективно использовать вычислительные мощности датацентров по аналогии с Amazon AWS. Да и код легче поддерживать.

Я, вроде, об этом и написал. Один большой болван для Гугля, другой для Амазона, третий для Микрософта, четвёртый для десктопов с карточками NVIDIA и т.д.. Ровно к этому быстро и идёт, конкуренция ровно на это нацеливает.