Обсуждение

Слушая легкий подкаст NVidia AI Podcast с Ian Goodfellow про GANы подумал что если в обычной конволюционной сетке каждый "нейрон" заменить на простейшие элементарные GANы. Связи у "нейрона" есть со всем предыдущим слоем, но их концентрация различается: ближе к нейрону гуще, дальше от нейрона жиже. Концентрация снижается экспоненциально. Слои получатся значительно более связные, чем обычно, но время обучения из-за этого не возрастет благодаря GANам. Зато сетки получатся значительно "сообразительнее". Генерацию-дискриминацию такая система могла бы производить онлайн, одновременно с фунционированием. Или вот еще более труднопредставимый вариант (но потенциально очень мощный) сделать большущий GAN состоящий из примитивных GANов и в качестве дискриминатора использовать реальный мир (да, это трудно предтавить). Как вам эти идеи?

Если честно, то я их не очень понимаю: как это в нейросетке нейроны заменять сеткой, да ещё и как-то "экспоненциально менять связность" по мере "близости к нейрону" (который заменён сеткой?). В современной литературе принято делать так: породить идею, поэкспериментировать с ней (дома или на работе), если идея работает, то писать статью -- и приводить там идею и эксперимент. А просто идея сегодня как-то не работает, их друг с другом не обсуждают. Ибо инструментарий сегодня такой, что предлагающий идею вполне обычно может вечерком её опробовать. Ну ровно как Ian Goodfellow опробовал GAN после знаменитого разговора в пабе (как я понимаю, вы слушаете https://blogs.nvidia.com/blog/2017/06/08/ai-podcast-an-argument-in-a-bar-led-to-the-generative-adversarial-networks-revolutionizing-deep-learning/).

Ваша правда, надо поработать. Правда и в том, что в этом подкасте они сначала обсудили прежде чем он пошел пробовать