Обсуждение

Dropout я как раз сейчас реализовую. Справедливости ради, хочу заметить, что он касается не только и не столько deep learning, сколько high bias/variance tradeoff. Он здорово помогает при небольших размерах датасета и тех случаев, когда стандартаня кросс-валидация показывает себя плохо (deep learning).

Да там всё касается отнюдь не только deep learning. Это такой кисель сильно перевязанных друг с другом методов, что только диву даёшься. Рад узнать, что мою писанину не только зеваки читают, но и те, кто в теме. Я вот мечтаю приспособить обучалку к нашей онтологической питонной софтине dot15926 -- может ударная весчь получиться. Deep learning уже прикручивали к semantic role labeling и похожим задачам, так что и тут может неплохо получиться. Онтология даст возможность reasoning, а стандарт её представления -- входной билет в инженерные (CAD/PLM) и организационные (BPM, ACM и т.д.) системы.

Спасибо, подписался. Я неплохо знаком как с Питоном, так и с ИИ, и всегда рад возможности поучаствовать в интересной инициативе.

Спасибо, что обратили внимание. Такая неожиданно простая мысль с этими отключающимися нейронами.

Параллельность — костыль же. Не шмогла повышать частоту, поэтому жрите-ка десять ядер и не подавитесь.

До одноядерности были SMP и массивно-паралельные архитекутры. Тоже костыли? Не шмогла сделать однопроцессорный проц на 1000 ТераГерц - на те подавитесь миллионом ядер по гигагерцу.

Собственно, в движке поддерживается онтологическая семантическая сетка с самыми разными прибамбасами (ISO 15926 много более кучеряв, нежели OWL, а его выходные RDF/OWL файлы используются только как транспортные контейнеры для реальной сетки. Хотя это и не CYC по объёму, но зато там представление инженерной системы и её жизненного цикла есть прямо "из коробки", ну и 4D экстенсионализм в части онтологии). Питон там вполне полноценный, REPL торчит на передней панели, средства расширения плагинами есть. Питонные пакеты вполне подключаются, я для пробы подключал NLTK -- всё работает. Поэтому отдокументированный многооконный фреймворк для hybrid reasoning, в котором можно объединить работу с семантическими сетями (не логическую, а прямо на Питоне -- ежели нужно, то можно цеплять логические/прологовские библиотеки к Питону, но и просто на Питоне не так плохо получается простые вещи делать), и разные machine learning и NLP штудии -- он есть. Хотя мы нигде эту софтину пока не светили, кроме собственно ISO 15926 комьюнити. Из текущих задач, которые мы щупаем, это парсинг инженерных текстов (стандарты, требования) в формальное представление для CAD/PLM систем. Парсеры пока берём внешние (реальные эксперименты идут с ABBYY Compreno). Но ничто не мешает цеплянуть какой-нибудь парсер с deep learning -- по типу http://www.socher.org/uploads/Main/HuangSocherManning_ACL2012.pdf -- было бы кому в этом всём разобраться, искусственный интеллект оказался такой обширной областью, что в нём все очень узкие специалисты. Ну, мы потихоньку.

Под параллельностью я понимаю не десять ядер, а десять тысяч ядер -- для самого начала. Насчёт повышения частоты -- там ещё не вечер, над этим люди потихоньку работают. Конечно, последовательные алгоритмы тоже важны, и они тоже развиваются. Но мозги, насколько мне известно, не на гигагерцах работают, и ничего, думают неплохо и на своих сверхмалых частотах.

Парсинг требований - это перспективно, как бизнес-аналитик, отлично понимаю. Более того, даже автоматические преобразование их из одного стандарта в другой (use case scenario -> user story, например) - это уже огромный шаг в плане прогресса системного инжиниринга. Не говоря уже о преобразовании их в формат CAD систем.

Ну так присоединяйтесь. Вон, John Sowa в VivoMind прочёл программно тексты документации и организационных инструкций в какой-то лавке, а потом прочёл программно тексты кобольных программ -- и задал машине вопрос про соответствие их друг другу. Нашлось много интересного. Вот за такими системами будущее (в том числе за системами, которые могут читать полнотекстовые документы и программные языки унылого прошлого -- legacy ведь по-другому это "культура" ;).

Буду рад поучаствовать в работе. Записался в сообщество по Вашей ссылке. Я неплохо знаком с machine learning и требованиями как таковыми, но natural language processing - мое слабое место. Пока буду изучать то, что вы уже описали там. Если будут какие-то задачи по моему профилю - включайте в процесс :-)

Собственно, вот тут много интересных ссылок про пересечение deep learning и NLP (включая тьюториалы): http://ailev.livejournal.com/1044735.html Что же касается пути на работу с symbolic reasoning и онтологии ISO 15926, то ссылки на материалы здесь: http://dot15926.livejournal.com/27293.html Там есть ещё одно направление работы: это обработка результатов лазерного сканирования объекта и сопоставления его с чертежами (получение документации as build из документации as designed), а то и просто построение чертежей "по правилам" из сосканированного состояния (т.е. распознавание паттернов, используемых чертёжниками в растровом изображении). Но мы сами далеки от этого пока. С другой стороны, в ISO 15926 есть богатая онтология 3D геометрии, а неограниченность только геометрией позволяет богато аннотировать распознанные shapes всякой сопутствующей информацией. Наш софт с этим работать вполне позволяет, но мы сами не геометры :-)

Нужны приложения - к чему? Приложения они же к чему-то прикладываются. Будет навороченное что?

Кому нужны приложения, те и определяют, к чему они. Описываемые подходы достаточно универсальны (не универсальны в смысле универсальности человека и его способностей к разным работам, а универсальны в смысле универсальности калькулятора в его приложении к разным расчётам). Мне казалось, что я в тексте дал не только ссылки на инструментарий, но и ссылки на примеры приложений. Слово "навороченное" в тексте не нашёл, не понимаю, о чём вы.

Ну начинается. Нужно быть осторожнее со слабым интеллектом. А то ведь с кем поведёшься...

ОК, будьте осторожней. Выкиньте смартфон, выключите компьютер. Приятных вам удовольствий.

Я слабый ИИ так не называю. Это просто методы. В терминологии, которая позволяет конструктивно ставить задачу создания ИИ, они определяются как воровство и вымогательство. Либо ищут чего бы из данных выхватить, потеряв и разрушив все вокруг, либо десятилетиями выжимают злосчастные процентики. Это печально и смешно.

Ну, тогда читайте первый абзац моего поста. Вам не ко мне.

Перечитал. Вопросы остаются. Почему процессы вроде фильтрации и перекодировки Вы называете интеллектом. Кто, к чему и каким местом их должен прикладывать чтобы они стали интеллектом, хотя бы слабым. В обычном понимании приложениями называют дополнительную информацию. в Например в основном тексте идет описание, а в приложениях фотографии и чертежи. Или скажем директор пишет распоряжение "Утверждаю план праздничных мероприятий на Новый год", а в приложении излагается весь распорядок инструкций, то есть некая программа. Вот и спрашивается, к чему этот балаган переложить вместо распоряжения, чтобы он вдруг стал хотя бы слабым интеллектом.

Вы чего это так с языком? Приложение не appendix или addendum к тексту, а application component (софтина). Про "интеллект" вы продолжаете гнуть линию на "что такое интеллект". Это гнилая линия. Меня не волнует, что такое "интеллект", что такое "правильный интеллект". Я же ясно написал: вам с такими вопросами не ко мне.