Теоретически нейронные сети могут писать программы для компьютера. Практически на сегодня они пишут программы буквально в несколько строчек и часто в этих строчках ошибаются. См., например, почти годовой давности эксперименты (но с тех пор не слишком много было в этом направлении наработано):
Learning to Execute: http://arxiv.org/abs/1410.4615
Neural Turing Machines: http://arxiv.org/abs/1410.5401