Обсуждение

а вы не могли бы написать небольшой пост, как приобщиться к машинному обучению? для чайников что нужно уже знать, что сначала почитать, что потом чтобы войти в тему и начать использовать

облачное машинное обучение еще в microsoft azure есть, довольно давно

А Ваше увлечение отнологиями и семантик-вебом уже прошло? Связанное с ними будущее отменяется или тоже ждёт своего часа? (как ждали его нейросетки с далёких 80-ых).

Это не те дроиды, которых мы ищем :) В смысле не было там state-of-art deep learning

Мне кажется, онтологии скоро вернутся: когда нужно будет сохранять знания, полученные нейросетями -- выполняя ту же функцию, что и человеческие книги, словари, энциклопедии, рисунки, графы UML. Надёжность нейросетей оставляет желать лучшего, и простого способа с этим справиться неизвестно.

Пожалуйста, после выступления выложите текст. Очень интересно. Буду крайне благодарен.

Анатолий, это очень интересно. Очень. Если позволите: чтобы в будущем клиенты не игнорировали то, что Вы пишете о глубоком обучении, делайте в рекомендациях упор не на "What", а на "Why". Большинству людей в объяснении важных вещей надо разжевывать ЗАЧЕМ нужна эта вещь. Тогда они станут шелковые и Ваши навеки.

Не автор, но отвечу :) Это заход на онтологии с боку, от машин. Проблема с онтологиями в том, что для их построения не хватает мозгов, т.е. людей обладающей онтологией и, самое сложное, людей которые эту онтологию могут формализовать до машинного вида. Поэтому, наблюдается дефицит онтологий. Deep Learning - позволяет выявлять скрытые концепты (элементы онтологий), которые должны образовывать онтологию, ранее известную или чаще просто новую. И позволяет выявлять настолько эффективно, что мы не будем успевать именовать эти концепты. Т.е. через некоторое время будем получать готовые онтологии поименованные идентификаторами (т.е. для машинного чтения) и будем их использовать для работы (получения результата, извлечения прибыли, ...). А чуть позже, посредником, переводчиком с нашего языка на язык машинно-полученные онтологий будут программы переводчики, использующие эти онтологии (и в том числе онтологию картины мира собеседника, отчасти полученную парсингом википедии).

а что там было? shallow learning? я просто не в теме

> Надёжность нейросетей оставляет желать лучшего, и простого способа с этим справиться неизвестно Вы это о поведении людей говорите?

SVM, Random forest. Сетки-то тоже были, но, например, не конволюционные, не рекуррентные и прочие которые рулят.

Для обучения нужны дикие объёмы примеров. Все места, где я до сих пор примеривался с этим подходом обладали двумя особенностями: 1. количество доступного материала недостаточно 2. в доступном материале содержатся ошибки, которые может распознать не каждый эксперт. То есть, всё то же самое, что и с онтологиями: Пока мы в мире тривиальных примеров, всё прекрасно. Как только нужно копать что-то серьёзное, выясняется, что дефицит во времени крутых спецов и никакой студент с модными тулами их не заменит.

По поводу обнуляющих всё студентов вспомнились Good Will Hunting и Суворов: Шла бурная дискуссия. Кто-то попробовал подсчитать стоимость одного килограмма краски, получалась фантастическая цифра, кто-то предлагал строить специальные ангары для стратегических бомбардировщиков – предлагались проекты гигантских сооружений высотой 25 метров, предлагались специальные пленки для защиты краски от непогоды. Кто-то предложил не красить самолеты после каждого дождя, а красить только перед началом боевых действий. Генеральный штаб резко отклонил такое предложение, ибо существуют сотни признаков, по которым иностранная разведка определяет начало настоящей подготовки к войне от простой демонстрации мощи. Если они получат данные, что все стратегические бомбардировщики на всех аэродромах одновременно начали перекрашиваться, это может навести на некоторые выводы. В общем, было много шума, много споров, аргументов и контраргументов, дельных и не совсем дельных предложений, но совещание явно заходило в тупик. Вот тогда-то в президиум и поступила записка: «Имею кардинальные решения по ряду принципиальных вопросов. Прошу слова. Студент четвертого курса М. Касатонов» Устинов поморщился, откуда в зале студенты взялись? Ему объяснили, что присутствует только один студент, который, изучая спецкрасители, увлекся ими всерьез и внес ряд ценных технических новшеств в технологию СК. Студент в поношенной клетчатой ковбойке и в старомодных круглых очках на остром носу поднялся на трибуну. На его появление зал не реагировал. Каждый продолжал доказывать соседу свое единственно верное решение. Но студент был настойчив, постучал пальцем по микрофону и дождался, пока зал обратит на него внимание. Удостоверившись, что его слушают, он начал: – Задача: бомбардировщик «М-4» над Соединенными Штатами. Краситель абсолютный – совершенно не пропускает радиацию. Допустим, нам удалось такой разработать. Высота 15 000 метров. В километре от самолета происходит подрыв стандартного ЯЗУ ракеты «Найк Геркулес», тротиловый эквивалент 10 килотонн. Вопрос: что произойдет с бомбардировщиком? Ответ: его сомнет ударной волной. Вывод: спецкраситель нужен стратегическому бомбардировщику, как мертвому припарки! Зал взревел. Спецкраситель давно для многих тысяч людей стал изумительной кормушкой. Главное управление не успело еще организоваться, а уж обросло сетью закрытых спецмагазинов и столовых, зонами отдыха, санаториями и персональными дачами (вредное производство!) Сколько народу успело защитить диссертации, сколько премий и орденов получено и обмыто! Как жилось-то привольно! С особыми льготами, ядерные исследования как-никак! Приятно, живешь за зеленым забором, а тысячи охранников со сторожевыми псами тебя охраняют! Красота! Какой городок отстроили! Чистота, порядок, кругом сосновый бор, ни хулиганства, ни очередей в магазинах. Для детей спецшкол понастроили с особо отобранными преподавателями, бассейны, пруды, стадионы. И вот на тебе! Все прахом! Но доводы студента были железными, незачем защищать самолет от одного поражающего фактора, пока от других нет самолету в воздухе никакой защиты, ни от ударной волны, ни от светового излучения, ни от электромагнитного импульса, который начисто выводит всю электронику из строя. В тот же день в 21.00 полное содержание речи студента Касатонова было доложено Центральному Комитету, а в 21.03 Главное управление специальных красителей прекратило свое существование.

Недавно кино смотрел "Теорема Зеро" на тему, как мне показалось, "элементов онтологий". И забавна визуализация как мега мозг их складывал, а они разваливались. А объяснение шло фоном-сюжетом, что все сложить в единую онтологию не возможно, хотя 97-98% можно получить.

Глубокое обучение до сих пор является котом в мешке для слишком многих, и это понятно почему. Заказчики не знают точно, что ожидать, разработчики не знают точно, что обещать. Такая ситуация всегда грозит разочарованиями, конфликтами и убытками. Сейчас мяч на стороне разработчиков - что конкретно полезного они предложат? Заказчиков можно только побудить интересоваться этой темой, мне так кажется.

С человеческой стороны речь идет уже о построении "онтологии онтологии". Мы, люди, устанавливаем только эффективные правила формирования онтологий, а Deep Learning создает их самостоятельно и, в основном, для себя.

А как глубокое обучение можно использовать в случае, скажем, информационно-аналитического сайта? И с чего его начать прикручивать?

Онтологии онтологий - это Upper ontology, а пока речь идет прежде всего о Domain ontology, т.е. об автоматическом выявлении неких общих черт присущих экземплярам выборки. Например, школа Хомского ищет универсальные онтологии заложенные во всех языках и, в том числе, на генетическом уровне.

Вот и у меня весьма похожие впечатления.

Чтобы научить автоматически выявлять общие черты экземпляров выборки, нам необходимо указать автомату, как именно это делать. Онтология, использованная для программирования таких указаний, как раз и будет тем, что я назвал "онтологией онтологии". Это не вполне Upper ontology, которая является просто наиболее общеприменимой онтологией, а нечто более конкретное: она содержит содержит описание "сенсоров", которые считывает обучающие примеры и задачи; "память"; алгоритмы и механизмы взаимодействия между элементами "сенсоров" и "памяти". Это скорее "архитектура нейронной сети". Впрочем, не уверен в полном тождестве этих понятий. "Например, школа Хомского ищет универсальные онтологии заложенные во всех языках и, в том числе, на генетическом уровне." Мне кажется это бессмысленным с тех пор, как человек начал изобретать искусственные приборы наблюдения. Генетические и прочие ограничения к настоящему времени с человека уже сняты.