Обсуждение
Читать и комментировать в ЖЖ ↗
http://www.xilinx.com/products/silicon-devices/fpga.html -- интересно, какая у них потребляемая мощность, сходу не нашёл.
Пишут про скорость FPGA до 20 TFlops (у одной самой крутой видюшки текущего поколения -- около 7 TFlops). А значит, скорость должна быть сравнимая с видюшкой -- или даже в несколько раз выше. Техпроцесс 20нм, энергопотребление по грубым прикидкам должно быть порядка 100 ватт. (У видюшки -- 250 вт). Есть желающие носить с собой аккумуляторы в рюкзаке?
Но вот ЭЭГ вообще научная фантастика, потому что мозговые потенциалы меняются порядка 100 раз в секунду, а электродов обычно от 3 до 100.
В результате когнитивная способность полученной системы -- как у дождевого червя: продвинутая система может обрабатывать несколько килобайт в секунду. Добавьте ещё огромную избыточность (до 99% от всех данных -- мусор) из-за того, что мы не можем воткнуть электроды только в нужные места мозга, и из-за накладывающихся мозговых волн.
В результате, если вы успеете больше 10 внутренних состояний различить с помощью такой системы с точностью порядка 50% -- это уже будет прорыв.
Это как над процессором разместить 10 проводов и считывать, где он больше греется, а по этой информации определять, что процессор делает.
Комментарий
Очень хорошо про процессор сказали! Именно так ведь большинство криптографических хаков и работает. Отдельные нажатия клавиш и конкретные пиксели на экране не распознаются, но в обмороке процессор или занять веб-серфингом -- это получается определить ;-)
Комментарий
про нейроинтерфейс:
давно думаю мысль(tm) -
- сделать оптический детектор, "снимающий" верхнюю часть коры, неинвазивно, при чем есть несколько вариантов:
общее у них одно - массив фотодатчиков расположен непосредственно на коже (матрица, без фокусирующей оптики) (варианты?),
IR (например, SWIR) импульсами "подсвечивается" исследуемая область (источники тоже можно размещать матрицей, с некоторым шагом).
Дальше - комбинация методов Time of Flight Camera, и (тут как раз место для сомнений, можно ли) - некоего отдаленного аналога (знаю, знаю, там "немного" иначе) восстановления изображения при томографии.
Вариант - использовать когерентный источник, и еще информацию из информации о фазе (интерференционная картинка), etc извлекать.
О! В культуре (гугл животворящий!) сие известно как:
https://ru.wikipedia.org/wiki/Оптическая_томография
(en: https://en.wikipedia.org/wiki/Optical_tomography)
https://ru.wikipedia.org/wiki/Оптическая_когерентная_томография
(en: https://en.wikipedia.org/wiki/Optical_coherence_tomography )
(ее развитие - оптическая доплеровская томография (ОДТ)).
Изображение — открыть источник
(Optical coherence tomography of fingertip)
(продолжение следует)
Комментарий
(продолжение)
https://ru.wikipedia.org/wiki/Диффузионная_оптическая_визуализация
(en: https://en.wikipedia.org/wiki/Diffuse_optical_imaging)
"Термин ДОВ может упоминаться и как «диффузионная оптическая томография» (ДОТ) (en: diffuse optical tomography), «ближняя инфракрасная оптическая томография» или «флуоресцентная диффузионная оптическая томография», в зависимости от области применения". "В неврологии, где исследования функционального состояния мозга производятся, используя длины волн ближнего ИК диапазона (800 нм — 2500 нм), метод ДОВ можно назвать — функциональный метод спектроскопии ближнего ИК диапазона".Отсюда "функциональный метод спектроскопии ближнего ИК диапазона" - functional near infrared spectroscopy fNIRS, - https://en.wikipedia.org/wiki/Functional_near-infrared_spectroscopy Оттуда:
"fNIR is a non-invasive imaging method involving the quantification of chromophore concentration resolved from the measurement of near infrared (NIR) light attenuation, temporal or phasic changes. NIR spectrum light takes advantage of the optical window in which skin, tissue, and bone are mostly transparent to NIR light in the spectrum of 700-900 nm, while hemoglobin (Hb) and deoxygenated-hemoglobin (deoxy-Hb) are stronger absorbers of light. Differences in the absorption spectra of deoxy-Hb and oxy-Hb allow the measurement of relative changes in hemoglobin concentration through the use of light attenuation at multiple wavelengths. Two or more wavelengths are selected, with one wavelength above and one below the isosbestic point of 810 nm at which deoxy-Hb and oxy-Hb have identical absorption coefficients. Using the modified Beer-Lambert law (mBLL), relative concentration can be calculated as a function of total photon path length. Typically the light emitter and detector are placed ipsilaterally on the subjects skull so recorded measurements are due to back-scattered (reflected) light following elliptical pathways. The use of fNIR as a functional imaging method relies on the principle of neuro-vascular coupling also known as the Haemodynamic response or BOLD (Blood-Oxygenation-Level-Dependent) response. This principle also forms the core of fMRI techniques. Through neuro-vascular coupling, neuronal activity is linked to related changes in localized cerebral blood flow. fNIR and fMRI are sensitive to similar physiologic changes and are often comparative methods. Studies relating fMRI and fNIR show highly correlated results in cognitive tasks.[1] fNIR has several advantages in cost and portability over fMRI, but cannot be used to measure cortical activity more than 4 cm deep due to limitations in light emitter power and has more limited spatial resolution. fNIR includes the use of Diffuse Optical Tomography (DOT/NIRDOT) for functional purposes".Отступая чуть назад, иллюстрация к ДОВ (en: Diffuse optical imaging (DOI), а лучше, - diffuse optical tomography (DOT)): Изображение — открыть источник ( где-то рядом валяются: https://en.wikipedia.org/wiki/Angle-resolved_low-coherence_interferometry чуть дальше - валяется всякая конкретика: https://en.wikipedia.org/wiki/Novacam_Technologies ) ________________________________________________ (продолжение следует)
Комментарий
(продолжение)
Т.е. - так или иначе, такими способами можно получать либо картину (томограмму) на глубину около 4 см, либо - напрямую haemodynamic response ( https://en.wikipedia.org/wiki/Haemodynamic_response ) по результатам измерения изменения концентрации гемоглобина посредством functional near infrared spectroscopy fNIRS.
(При том - никто не запрещает при этом таким "шлемом" регистрировать и ЭЭГ).
Идея - "сделать такую систему если не компактной, удобной, носимой, здесь и сейчас", то хотя бы сделать такую систему с перспективой сделать ее "компактной, удобной, носимой".
Для начала, конечно, сфокусироваться на детекторе (обслуживающую часть и в рюкзачке поносить можно, или в чемоданчике покатать, на поре тестирования/ доводки).
Менее амбициозная тема - просто сделать, хоть каким-нибудь, для того, чтобы был инструмент для детекции "а что там происходит" (применять можно для настройки других систем детекции, либо для определения "а каким минимумом мы можем обойтись", да вообще - тысячи применений у такой системы, сделай ее более-менее доступной.
Из интересных (возможных) свойств таких систем - систему, а точнее, именно шлем, теоретически можно сделать из диэлектриков (одни волноводы (но - не такой ужас-ужас, как на картинке - иллюстрации к ДОВ выше, конечно же!)), при чем слой именно шлема может быть очень небольшим.
Это позволит сочетать его, с, например такими системами воздействия на мозг, как шлем для Deep transcranial magnetic stimulation (Deep TMS) https://en.wikipedia.org/wiki/Deep_transcranial_magnetic_stimulation
Речь о шлеме, позволяющем стимулировать произвольную область мозга (не производя механических передвижений катушек!) на глубине большей (до 6 см!), чем позволяют стандартные катушки TMS.
(UPD: погуглил, все может быть не настолько идеально, но общая идея есть - можно двигать прогресс в том области).
Это, ЕМНИП, изначально изобретение израильской фирмы
Изображение — открыть источник
https://en.wikipedia.org/wiki/Brainsway
Выигрыш, если такое получится, очевиден.
Haemodynamic response, при том отслеживаемый с таким разрешением - это таки побольше (ну или "побольше в объемах, и захватывающая то, что не захватывает ЭЭГ" (верно и обратное, кстати)), чем только ЭЭГ.
Кроме того - вещь обещает быть в применимом форм-факторе.
Возможно, "покатав" такую "полнообъемную" штуку, станет ясно, что для каких-то щелей достаточно будет снимать куда меньший объем областей - там, моторную кору, например, etc.
Ну и вообще - очень большое подспорье для исследователей будет.
Не говоря уже о применениях типа тех, что опять же израилетяне делали - неинвазивные методы воздействия на глубинные структуры мозга (там используя шлем со множеством ультразвуковых излучателей "выжигали" определенные участки мозга, чтобы избавиться от тремора при паркинсоне, ЕМНИП).
И да, у меня таки есть надежда/ ощущение, что простые, но достаточно полезные (дающие достаточное разрешение по требуемым параметрам) такие вот оптические детекторы можно сделать достаточно простыми и достаточно дешевыми.
Комментарий
P.S. - а таки идея "сетки на FPGA" вас зацепила, зацепила!
Я это к разговору про "сейчас модно сетки на FPGA ускорять", к вашим рассказам про графические ускорители, и перспективы ускорения глубоких сеток в этой связи.
Ваш ответ был (близко к смыслу текста): "возьмут числом, ибо графускорителей больше, чем FPGA". Но, надеюсь, Intel не просто так FPGA-шников покупает. Есть тенденция монстрячить FPGA решения для серверов, может таки FPGA - это новое, "расчуханое" ("расчухиваемое" прямо сейчас) "направление прорыва", место для роста.
Тогда есть надежды именно на FPGA, в плане "кто поднимет/ускорит/поддержит сетки".
Комментарий
Идея FPGA меня всегда цепляла, но нужно не забывать, что FPGA дорогое удовольствие -- в самых разных смыслах этого слова. И рынок будет тщательно проверять, стоит ли овчинка выделки. Поэтому массово будут сейчас юзать пактированные GPU, а FPGA как ардуино -- пока это удел мейкеров. Но мейкеров уже ой-ой сколько, там полноценный по всем характеристикам рынок может оказаться.
И не забывайте, что нейронные сетки вдохнут новую жизнь в архитектуры мейнфреймов и суперкомпьютеров. Ибо впервые там на горизонте забрезжило бытовое (не для военных и не для учёных) применение.
Так что не будем гадать, посмотрим. Ну, или даже не посмотрим, а поучаствуем ;)
Комментарий
Да, это всё вплоне мейкинг, а томография (и прочая 3D локация) сейчас тоже всё больше и больше с алгоритмами deep learning увязывается. По мере роста вычислительной мощи и понимания тех архитектур (например, нейронных многослойных), которые могут эту мощь задействовать, перспективы открываются просто фантастические. И открываются прямо сейчас!
Комментарий
Ну вот, а теперь представьте, что у вас нет алгоритма действий этого компьютера, и вычислительное ядро не одно, а миллион маленьких ядрышек. Для криптохаков нужно знать алгоритм и найти в алгоритме подобные уязвимости, зависящие от времени.
Комментарий
В нейроинтерфейсах важно не только обучить компьютер распознавать смысл сигнала, но и научить мозг вырабатывать распознаваемый сигнал. Сопоставляьт сигнал и действия далеко не самое инетересное.
Комментарий
У всех людей разные интересы, каждый может выбрать задачу по душе.
Комментарий
А ещё чаще всего задача при ЭЭГ состоит в определении однотипных образов мозга типа "влево-вправо-вверх-вниз" или цифр. А они-то все в одних и тех же участках мозга обрабатываются.
Но есть успех в управлении давлением, пульсом -- пенсионерам полезно, говорят, есть в некоторых больницах даже тренажёры такие. Правда, тут без ЭЭГ, на основе традиционных измерительных приборов, точность гораздо выше...
Комментарий
Пришлите мне ваш емейл на yuri.panchul@imgtec.com , у нас тут планируется крутая FPGA тусовка в октябре в Москве и Питере, с поддержкой от Imagination Technologies и Xilinx
Комментарий
Ежели чего, мой email: ailev@asmp.msk.su
Комментарий
Для полноты картины: там оказались весьма специальные FPGA -- http://ailev.livejournal.com/1207933.html
Комментарий
Был опять в хэкспейсе "Сталь", видел живьём закупленные в разных странах комплектующие для functional near infrared spectroscopy -- они пойдут в мультимодальный шлем (в паре с ЭЭГ). Сначала быстрый отклик ЭЭГ, потом к правильным участкам кровь приливает, это уже fNIRS отлавливает -- идея в этом.
Пример комплектующего: 32-разрядный АЦП от TI, хотя я так и не понял, зачем такая точность ))))
Так что всё уже пытаются делать, прямо у нас, прямо в Москве, прямо мейкеры, прямо "на коленке"!
Комментарий
FPGA для серверных приложений (точнее - для задачи "снижаем "ватт на флопс"" - вполне себе мейнстрим перспективных исследований по данной задаче (и вообще в ЦОД-строительстве)). В связи с чем вижу основания не продолжать опираться на "FPGA - дороги" в прогнозах, как на что-то незыблемое.
Комментарий
я выше про то, что прогресс разработке, и эффект массового производства сыграет свою роль, как и играл всегда в таких случаях, если это решение "выстрелит" в ЦОД-строительстве. Потому я интерес IBM и упомянул выше, в первом комменте данного треда.
Комментарий
про это решение я в курсе.
Комментарий
(ну вот, можно порадоваться, не прошло и... сколько, три года? а.. не прошло и восемь лет, ага. Но что это я о своем и о своем, ворчу и ворчу. Впрочем, идея лежит на поверхности, конечно же).
Дело хорошее! Ну и "брать что есть" - тоже подход.
Я много раз писал тут про FPGA для машинного обучения (последний раз в http://ailev.livejournal.com/1207520.html), меня много раз не понимали и говорили, что GPU проще и дешевле.
Мне лень себя сейчас перечитывать - в данном здесь описании я упоминал то, что вы называете мультимодальностью ("оптика электродам не помеха"), иль нет, но такая идея тоже была, да.
P.S. можно попробовать предложить им совместить это с deep TMS шлемом, кстати. Но это уже совсем другой заход, конечно, пусть сперва с первым разберутся.