Обсуждение

Хм, я думаю, надо начать не с Маяковского, а с Баркова.

У Баркова текстов мало. Для хорошего обучения нужно некоторое изобилие исходного материала. Вот Толстой Лев Николаевич был бы в самый раз, но у него проза, это не так интересно. Я бы сам этим занялся, но learning curve для меня большая (для начала там нужно разобраться с очередным языком программирования, lua. Но я знаю многих людей, которые уже работали с lua, для них время разбирательства ноль. И у меня на машине не стоит карты с хорошим GPU. И так дальше по мелочи: весь мой пар уйдёт не в решение задачи, а в разборки с инфраструктурой. А для многих других людей тут дел на один вечер. Ну, почему бы им не заняться?).

Какой-то фантастический роман в качестве исходника, результат: Оже в: снова обладовал только были слышать сиходе, изал слюдая магнитокских перегляны, клубка, - соякий лемя в поле. Послодилось докца. А что он он как "постокили". И молько ней партинголец. Я нашего не понимал это полни Смайли оцидвался на заерщику, а из по-амнойски или подумалиом. А подсмотрел на-поимули, и электронах. Тебе если вместе же вывасливала или создати прикомы бармы, от составники толкнула уже объяснялся в концо к оценивающегровлой дорвог его, когда она в Смайли Гибниахта он два. А мне человеческой втофы старогу. Я что, но хвойная была по пернизнация, что на объясавшего научно слышать от созданных ивсейках этого в и одномороруливая колландона, соргае, если тамя и тот и внизучи к Англию-капист пед слова контактов Смайли от происходне ознавались этон объягнуловыв сорок а-доглах авакой-нидеку. Да Больки - знакомош, память не основи герзадом рычавшие и деларях глазу же печет глюды в Гамильтон рицовность связь. В чьемации все же поличник. - Зная это был? - сам яличные, человека проглосы один интересности, хотя не возмучился, вы в Янины, и все-какий синовами. - Смайли ус я что обротил не спятил Ты человечку выбрасны все-те. - Где свои сохочение а Или субием. В неемеческом. В каких прибывшим, но лично выбед измания коннет. - Паниастические на откликнулся их прочимостеем? Чень посмелся. Рослов глаза: сталлеми? - А я то? - смушненно отвяз парком сторость их капертолектов: и считый либику горази Шпагин из забыли времен людой. - Чкак сокранелить, мно-то отвоит новея с часы, не холические руку. - С пушаеть обмен, Яна своих солидность или губерно. В куровической разнокребно, барпрон, как эксприил размором Жийлос Крагланы. Но Хилав Юдной с бутоя в Сайрусу, верно вниздному" полице, но на биолейские с шек, а выдя инспечка летики-тоже на упочти в мину с человека.

Восхитительно! 1. Видно, что материала довольно мало (англоязычные тексты, натренированные на малом количестве материала за мало времени выглядят так же -- много слов, которых в языке нет). 2. Фантастический роман тут не лучший материал, ибо "сокранелить" -- это слово из фантастического мира, например, или самостоятельно придуманное сеткой "почти русское" слово? 3. Флексии работают! Всё спрягается-склоняется! Хотя часто как-то ээээ... по-болгарски (славянские инварианты? ;-) Спасибо! Лиха беда начало!

А роман -- "Селеста-7000" Сергея Абрамова ;-)

А это наш Лев: Андрей, и возвышала его и поднимая голову. На другой день в белыми лицами, в котором он видел, что не смел совершенно возможность высоким солдатами, в котором он видел необычайность воли и полковника, не понимала его вопроса, он продолжал одним из передних настоящей войны, которое она не могла понять, как будто она не могла поднять в полной жизни на нее в поля своей жизни, которое он не мог не видеть его, и что надо было видеть его войны, подобное не может быть известием, в котором он подошел к нему в глаза и поднялся в первый раз в комнату. Пьер подошел к нему, он не мог понимать его возможность его под полководцем и позволили положение в белыми настроением и подошел к нему, он подошел к нему, и следующий, солдаты, направлявшихся в Москву, наполненный волосах и подошел к нему на него на положение и не понимая его из него в первый раз поднялся к ней своей жизни перед ней и не показывали его взгляда, который видел на нее необходимости и прислушиваясь к нему, и он подошел к ней, он не понимал ее в полной комнате, в особенности полковников в первый раз поднялся в колеблющемся в одной из полк и подошел к нему, видимо, не понимал его в полках и на полуспешной деревенском кабинете, подошел к нему на возвышение обеда, подошел к нему, он оглянулся на нее. Он подошел к ней. Наташа все в Москве, и в котором он пробыл все воспитанную дверь, в котором он подошел к нему, в котором он подошел к нему, в котором он подошел к нему, и в котором она смотрела на него. Князь Андрей выпустил его в своем образом, в котором он подошел к нему, в чем не понимая его вопрос обращаясь к нему, во время войска, которое он подошел к ней и подошел к нему, он видел в нем подле него в поле, на котором он не мог понять того, что он не мог понимать его волнения, которое он не мог понимать его о своей деятельности, которое он не мог не надобно, не понимал его под подушки и подняли его в первый раз приглашал его в глаза и на передних колени. В первый раз подошел к нему, и показался неприятеля и весело подошел к нему, он видел, что он видел своей жизни войска его возможности и неподвижность подвигается в голову и поднялся в Москву, сидевший под подробности движения в Москве, в котором он сказал, но не видал ее, в котором он не мог понимать его возможность воли в действительным и возможность воли высокий мальчик, все воздерживали его вопрос обещали его в голову, но в последней привлекательностью, которое он видел и что не надолго не могла понять воль неподвижно поднялся в десяти мере и не понимал его в полковой комната и весело смотрел на нее. Они поднималось подле нее и возможно было выразить волю батареи и в особенности в первый раз подошел к нему, в котором он женится в особенности от него подносили его под гору и приняло его видеть своего маленького.

Надо сетку подкормить, она детям моим сочинения писать будет в школу. Пусть учителя мучаются и решают, кто это написал. Следующими на очереди будут поисковые системы, им придется хуже. Отделить информационный шум от контента будет нереально.

Понимал и поднимал, поднимал и понимал, а также часто подходил ))) Как-то там всё не очень разнообразно получилось ))) 1. Нужно таки грузить текста побольше, качество от этого существенно зависит. Может, грузить все тома, а не один роман. Шекспира-то всего грузанули, а не одну пьесу! 2. Флексии на этом объеме материала таки не выучиваются. Гипотеза: обучение русскому и немецкому языку по сравнению с английским и испанским -- это примерно двойной объём по времени (и, понятное дело, за это время проходится-прочитывается вдвое больше текстов). Вероятно, для сравнимого качества в сетках нужно всё увеличить вдвое (их мегабайты умножать на два, а вот время обучения от такого увеличения на современных технологиях может и более чем вдвое увеличиться). Но, дьявол, оно ж генерит на русском! По крайней мере все слова и окончания правильны -- только согласования не работают!

О да, традиционным (что бы это слово ни значило) поисковым системам, похоже, каюк -- и быстро. Все эти "дорвеи" получат второе дыхание.

Про поисковые системы, я, конечно же, пошутил. У них способов отделять реальный контент (имеющий отношение к реальному миру) больше, чем у человека уже сейчас. Хуже будет людям, которые не смогут отделить сигнал от шума. Однажды мы начнем общаться с людьми, которым сценарии к фильмам писали роботы, романы написаны также роботами, и половина их представления о реальности фиктивна, обильна удобрена ошибками слабого AI. Вопрос только в том, когда наступит чудный новый мир?

Да и сейчас сигнал от шума 86% не отделяет :) Дальше будет только то, что люди - генераторы шума (пропагандисты), потеряют связь с реальностью окончательно. Сейчас у них есть какие-то цели, возможно.

Ошибки слабого естественного интеллекта уже имеются в изобилии. Так что чудный новый мир -- уже.

Ах, когда писал предыдущий коммент, этого не видел. Ну, наши мнения совпадают. Только генераторов шума много, там не только пропагандисты, ибо "параллельные интернеты" и в каждом из них желающих попропагандировать -- легион.

английский - читеры, у них и по родам нет склонений и по именам (а в испанском - есть), а число и времена очень просто образовываются (испанский - только число .. хехе ...) Так что нужно наверно добавить пару этапов : обрабатываем исходный текст, чтобы всё привести к инфинитиву мужского рода, потому обучить, получить текст и привести к нужным склонениям обратно %)

Ну ведь не будет работать так, это ж очевидно. Без понимания смысла это ж как расставлять запятые в "казнить нельзя помиловать".

Я правильно понимаю что все отличие результатов текстов от таких же текстов сформированных цепями Маркова, только в способе производства?

Неправильно. Вот тут описывается отличие: http://nbviewer.ipython.org/gist/yoavg/d76121dfde2618422139 (и вообще, поглядите подробней материалы в http://ailev.livejournal.com/1191576.html).

Может быть и будет работать http://kelijah.livejournal.com/133895.html

Там еть параметр для генерации - temperature. У меня получалось так, что если указывать маленькое значение (генерировать близко к исходному тексту), генерируемый текст начинает сходиться к одному слову или фразе, а если большое - начинают появляться слова, которых нет в языке. Пробовал учить на большом файле с русским языком - не дождался окончания (но текст генерировался, тоже бессмысленный). Нужна видеокарта. Фреймворк, на котором написано, с недавнего вемени частично поддерживает помимо CUDA еще OpenCL, у кого есть карта от AMD - тоже можно попробовать.

Цепи маркова -- конкретной длины, точно считают и имеют вид Sample [ A_n | A_n-1, A_n-2, ..A_n-k)] , а LSTM способна на дальние связи и всё же немного обобщает, т.к. при попытке сделать марковскую цепь нужного размера из-за проклятья размерности большинство комбинаций при k>3 будут отсутствовать. Можно записать LSTM по аналогии как Sample Approx [ A_n | A_n-1, A_n-2, ..A_n-k, ... A_1)] -- она моделирует приближённую вероятность, но на большие расстояния.