Обсуждение

«мир перестаёт представляться догматичным и однобоким как это было массово ещё в конце 20 века, сегодня он массово начинает представляться более адекватно: как многоплановый, вероятностный, непрерывный», — вашими бы устами да мед пить.

сходил по сцыле на edge.org там есть интересное наблюдение про функ программирование я некоторое время назад тоже осознал, что МЛ очень удобно апплаить (apply для ФП крайне актуальная функция, BTW :)) использую ФП подход, т.е. расписать функционал через примитивы ФП, а далее применить аналогичные МЛ конструкты все получается как по маслицу (ну со скидкой на то, что это все же МЛ, т.е. весьма сложно в целом) мне лично в этом смысле ФП+МЛ гораздо интереснее нежели полная дифференцируемость всего и вся. Хотя я тут согласен что МЛ меняет наше восприятие мира. И это даже наверное более интересная тема нежели сам МЛ. (может я просто старый слишком стал)

А вот Karpathy написал полную хрень. Я как софтверный инженер заявляю что написать код, с точки зрение софтверной инженерии, это вообще ниачьом. То же тестированние гораздо больше ресурсов жрет, а кодирование по затратам ресурсов где-то в хвосте. А вот с тестированием у МЛ, с точки зрения софтовой инженерии, все плохо. У софта один ноль хотя бы верифицировать можно (это даже нонче не так уж и затратно, только умников много надо). Остальное даже разбирать лень. Очевидно что Karpathy софтверной инженерией никогда не занимался (я так понимаю для датасайентистов это скорее норма). Такой бред несет.

Конечно, МЛ меняет картину мира! И это, понятно, гораздо интересней, ибо даёт дальше возможность менять методы МЛ -- но уже с новой картиной мира!

Вот там жизненный цикл может другой оказаться совсем. Мир меняется, никто не обещал, что Software 2.0 будет написанием программ на каком-нибудь условном питоне. Всё будет по-другому. И даже не всё будет на нейронных сетках: помним книжку про master algorithm товарища Педро Домингоса.

С точки зрения инженерии, мне кажется что перспективным является подход, когда (возможно частичная) верификация либо тестирование софта делается с помощью МЛ и прочих нейросеток. Т.е. "классический" подход к автоматизации с помощью МЛ - автоматизируем те задачи которые умеет делать (специально обученный) человек, но не всегда понятно как это формализовать. Ну типа берем тестовые примеры которые напридумывал тестер вручную. Скармливаем нейросети. Или делаем дифференцируемый язык тактик (которые ищут доказательство корректности прог), ну и тоже тренируем на примерах. Примерно в том же стиле как нейросетки играют в компьютерные игры. Можно и формальные спецификации генерить по документации попробовать. Ну и т.д. Хотя не уверен что это при моей жизни будет.

я вот потихоньку осознаю, что практика МЛ дает мне больше продвижения в тех сферах, которые мне ниочень давались, ну типа те, которые относятся к "правополушарной" активности. Например, мне нравится фотография, но скорее теоретически. Ибо я не знал что снимать, идей особо не было. Когда я начал скрещивать МЛ с интересными мне темами (фотография, фэшан, философия, невербальная коммуникция и проч подобное), то уже наплодил кучу идей. Реализация пока с трудом, но для меня уже и какие-то конкретные идеи есть прогресс. Я это объясняю тем, что наваять код или обучить нейросетку мне несопоставимо проще, нежели организовать фотосессию, к примеру (это ж с людьми надо общаццо или железяки двигать). Но хорошая идея хотя бы дает мотивацию отойти от компа и пойти с жывыми людьми пообщаццо. Или наваять 3Д хрень в Блендере. В целом, я как-то всегда считал себя "технарем", а не "гуманитарием", и проблемы в "творческой" сфере меня особо не беспокоили никогда (ну не получается, да и бог с ним). Однако, по мере практикования МЛ (именно практикование, а не теоретическое знакомство) говорит мне, что на самом деле, надо наращивать амбиции в творческой сфере. При этом сперва я "интуицию" придумал заменить МЛ (типа у самого не получается - научу нейросетку, пусть она "творит"). Но потом видимо моск изменилсо, и сейчас генерация творческих идей не есть проблема. Вот в реализации идей пока проблема есть. И я рассчитываю что это именно "пока", т.е. хотел бы это изменить (и на этот год в планы включил). И думаю, очевидно, что подобные трансформации будут происходить и с обществом в целом. И для массы в 7 млрд найдутся гораздо более интересные и впечатляющие трансформации. Jeremy Howard на своем курсе приводит примеры когда гуманитарии с помощью нейросеток (курса fastai и библиотеки fastai) становятся технарями в каком-то смысле - делают технические проекты. Т.е. компенсируют с помощью МЛ какие-то "слабости" своего моска. А я хочу наоборот - технарство дополнить гуманитарностью. Тут еще можно вспомнить Вашу концепцию экзокортекса :). Но МЛ кагбэ делает ее многократно более многомерной. При этом можно прямо сейчас этим заниматься, и получать всеразличные бенефиты от бабла, общения с единомышленниками, авторитета и прочей творческой самореализации (вобщем всю пирамиду Масклоу)

Я вот думаю, что нейросетки+эволюционные алгоритмы+символические пруверы (никуда они не денутся)+... и так далее по Педро нашему Домингосу дадут такой экзокортекс, что само понятие жизни придётся переформулировать )))

Мне очень нравится как упражнение, попытаться сконструировать мастер алгоритм из предложенных Педро кусочков. В контексте этого топика, можно еще вспомнить что лямбда-исчисление возникло как попытка обоснования математики. И есть прямая связь между интуиционисткой логикой и лямбда-исчислением. А чистое функ программирование (основанное на лямбда исчислении) есть удобный компонент как для некоторых генетических алгоритмов (граф комбинаторов удобно мутировать), так и как форма, поверх которой можно прикручивать веса, чтобы апдейтить их бэкпропагейшеном и градиентным спуском. По сему мне думается тут не так и сложно будет сделать мутацию, которая будет "осмысленно" ре-юзать веса от предыдущих поколений. Тут в качестве аналогии можно вспомнить residual блоки, которые можно включать выключать (stochastic depth) или учиться пропускать (highway networks). Ну и дропаут с дропконнектами - как способ получить устойчивые к мутациям компоненты.

"Я это объясняю тем, что наваять код или обучить нейросетку мне несопоставимо проще, нежели организовать фотосессию, к примеру" А если пойти следующим путём: посмотреть, как фотосессия получилась у другого фотографа. И попытаться сделать не хуже, при этом обучаясь (как обучаются ученики у мастеров дзен и даосизма)? Александр Киценко http://kicik.35photo.ru/

Я правильно понял, что под "дифференцируемостью" подразумевается старый добрый model fit? В том смысле, что выбраная вычислительная модель обладает возможностью постчитать любой аналог производной, который открывает дальнейшую дорогу для всех оптимизирующих матметодов общего назначения?

Термин model fit имеет множество значений (чаще всего https://docs.aws.amazon.com/machine-learning/latest/dg/model-fit-underfitting-vs-overfitting.html). Но да, дифференцируемость -- это переход к модели/функции, для которой можно посчитать производную, и поэтому можно предпринять какую-нибудь мат. оптимизацию (найти минимум функции).