Обсуждение

Гомеостаз круче всех описал А.И.Мирер в "У меня девять жизней", 1969. Там даже цивилизация называлась Равновесие...

Но люди из AI всё чётче и чётче говорят свои хотелки: языковые модели с триллионом/тера параметров. Помним, что GPT-3 это 175млрд. параметров (175Гигапараметров, чтобы было проще сравнивать). С этими людьми все понятно. А традиционные потребители вычислительной мощности (какой-нибудь план производства внутри мегакорпорации рассчитать или расписания/маршруты транспортировки) от всего этого улучшения железа сильно выигрывают?

Даже неинтересно обсуждать этот технологический предел: дело там не в конкретных нанометрах одного только параметра техпроцесса, а в том, что растёт плотность упаковки и падает энергопотребление. А нанометры "официальные" просто считайте символьными обозначениями очередных поколений техпроцессов.

Вообще-то при падении стоимости чего-то понятие "традиционные потребители" меняется. План производства мегакорпорации или расписания сейчас получают новые алгоритмы на новой математике (этим занимаются мультиагентщики в Самаре), и там жизнь будет чуток попроще и на старых мощностях. Мой пойнт в том, что алгоритмы тоже участвуют в этом "разгоне", они ж тоже меняются. Я в посте недаром библиотеку привёл DeepSpeed. Меня ещё много десятков лет назад учили, что аппаратура и софт -- это неразрывное целое, и граница между ними расплывчата (часто -- намеренно расплывчата).

Новый ГлавныйКонструкторТМ, на этот раз "я отлит в металлекремнии"??? Но "порочна" ведь была сама "концепция в целом"? PS Человечеству не хватает "устойчивости" в тех социальных конструктах которыми оно пытается двигаться "по пути прогресса". Уже сейчас хватит ресурсов (в виде "готовых зарядов" для Ориона ) даже на запуск зонда к ближайшей звезде. Нет пути к созданию из этого "копроэкономического муравейника" некого "храма прогресса". Даже при наличии бесконечных вычислительных ресурсов есть принципиально (в математическом смысле слова) "неуправляемые" системы. И их "неуправляемость" лежит в самих принципах делающих (экзистенциально) собственно их именно этими системами. И боюсь "весь вот этот прогресс" именно такая социальная система и есть.

Не мощностью единой - и вроде как обстоятельно излагают: https://m.habr.com/ru/company/selectel/blog/518062/ Что скажете?

Это не проблема, "аппаратно реализованные" нейросети со всякими мемисторами ещё быстрее.

Да, очень напоминает тексты про "закон Мура закончится на 15нм, ибо ещё нет устойчиво работающей ультрафиолетовой литографии!" ))) В области квантовых "простых алгоритмов", задействующих вычислительные возможности мириадов вселенных (эвереттовская трактовка квантовой механики) ещё конь не валялся. Но алгоритмы обучения на квантовом субстрате уже есть, опробованы. И на оптическом субстрате тоже. Там ускорение сразу на три порядка. Опять же, человек с его мозгом и на следующем системном уровне человечество с его мозгами показывают ограниченность всех этих "метаобзоров" )))