Универсальный открытый фреймворк для устройств естественного взаимодействия, таких как MS Kinect

13.12.2010 11:54

Израильская компания PrimeSense, технологии которой были использованы при создании устройства Microsoft Kinect, представила новый открытый проект - OpenNI, код которого открыт под лицензиями GPLv3/LGPLv3. Дополнительно открыт пакет драйверов и сопутствующих компонентов для работы с сенсорами на базе платформы PrimeSense и устройствами MS Kinect. Бинарные сборки OpenNI и драйверов доступны для Windows и Ubuntu.

Цель проекта OpenNI - создание универсального фреймворка для обеспечения совместимости и переносимости приложений, промежуточного ПО и устройств, базирующихся на естественном взаимодействии с пользователем. В частности, OpenNI предоставляет универсальный API для организации управления приложениями через движения пользователя и голосовые команды. Из областей применения интерфейсов естественного взаимодействия можно отметить не только игровые программы, в которых движения пользователя отражаются на течении игрового процесса, но и создание интуитивных форм управления бытовой электроникой через язык жестов (например, условное движение руки может включить определенный бытовой прибор или переключить канал телевизора).

Примеры базовых возможностей, которые можно реализовать при помощи OpenNI:

Распознавание управляющих речевых команд;
Распознавание движения руки и выявление предопределенных жестов, которые затем интерпретируются в управляющие команды;
Отслеживание и анализ движения тела, что может быть использовано для управления игровым процессом.

Состав OpenNI API:

Сенсоры для приема визуальной и аудио информации, позволяющие видеть и слышать людей и их окружение.
Поддерживаемые сенсоры:
- 3D-сенсор, позволяющий определить расстояние до объекта с учетом глубины помещения;
- RGB-камера;
- Инфракрасная камера;
- Аудиоустройство (микрофон или группа микрофонов).
Промежуточное ПО (middleware) для восприятия визуальной и звуковой информации, предназначенное для анализа содержимого сцены и осмысления происходящего. Например, middleware-компонент получая на вхоже изображение может выявить позицию кисти руки.
Компоненты промежуточного ПО:
- Анализатор положения тела, обрабатывающий полученные от сенсоров данные и генерирующий информацию, связанную с позицией тела человека (например, предоставление данных о позиции суставов в пространстве, смещении центра масс и т.п.);
- Анализатор положения кисти руки, выявляющий позицию кистей рук у присутствующих в области видимости людей;
- Компонент для определения появления управляющих жестов на основании потока данных от анализатора положения кистей рук и уведомление приложений в случае выявления жеста (например, жест рукой в виде волны);
- Анализатор состояния сцены, оценивающий изменение заднего плана, координирующий плоскость пола, выявляющий новые фигуры и объекты.

исправить +8 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/28976-openhi

Ключевые слова: openhi, 3d, analyzer, Kinect

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (36)

1.1, sndev (ok), 12:23, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Интересно, а если вот с такими "жестами" в жизни, взял и очипятался. И что тогда?- вместо того что бы открылась дверь холодильника он разморозится ? :)

2.3, Аноним (-), 12:29, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+6 +/–
Это новый уровень ответственности. Раз. Закрепить очень разные жесты. Два. (Как в управлении мозгом - думать о движении правой руки, левой ноги). ;) P.S. Вот теперь компы и видят. :( Что люди только не сделают, чтобы не изучать Emacs.

3.13, sndev (ok), 12:42, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+1 +/–

Вы думаете мозгом с какой ноги встать ? :O или может все таки, это
настолько "автоматизировано", что вы даже не задумываетесь об этом.
Даже идя по канату, вы не думаете "как поставить ногу".

Простите, 90% народа не могут внятно клавиатурой пользоваться,
и слепо, хотя бы, набирать текст. А это всего лишь 30 с лишним клавишь.

Вот и приравняйте каждую клавишу к жесту.

А с этими "жестами" вообще неограниченное количество "клавишь" получается.

Аля, подрыгал правой ногой, попрыгал на левой, помахал кадилом (причем
кадило обязательно должно быть в правой руке) - тогда дверь холодильника
открылась. А если ну чуть-чуть не так ногой подрыгал, тогда вместо холодильника,
на балконе дверь откроется ?

Это только о жестах.

А как быть с "авторизацией" жестов ? Вот вы сидите дома на диване, пьете пивко, наслаждаетесь любимым, ну скажем, футболом. А на кухне холодильник начинает хлопать дверью. И все лишь потому, что соседка в окне напротив решила занятся вечерней гимнастикой, и, блин бывает же, идентично дрыгает ногой, прыгает на другой и машет кадилом :):)

Так что мое, лично мое, мнение, что в обычной жизни это не приживется. И одно из лучших применений этого будет разработка игр, кино, и им же подобных.

4.16, ананим (?), 12:50, 13/12/2010 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+3 +/–
говорят продажи кенекта минимальные. он слил как и вендафон. пойду пивка попью, рабочая неделя началась

5.35, ананим (?), 18:00, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
сходи-сходи :D

6.38, DmitryINdig0 (ok), 22:37, 14/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
"ананим" сам с собой разговаривает =) гыгы ))

4.17, Аноним (-), 12:55, 13/12/2010 [^] [^^] [^^^] [ответить] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Прошу прощения, не уточнил. Имеется ввиду управление компом мозгом. Есть приборчики, за определённой "мозговой волной" :) закрепляется действие. Google в помощь. :) И да, сомнительно всё вешать на жесты, особенно управление техникой, на первое время. Тачскрины тоже не сразу пришли к текущему состоянию, как на iPhone, Android. P.S. Имхо, поначалу самым популярным действием будет "Отмена". :)

5.18, Аноним (-), 12:57, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Двояко как-то получилось - кто кого тут управляет. :) Мозг управляет компьютером. :)

6.37, Af. (?), 21:13, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Камень лежащий на дороге управляет повозкой.

4.19, Аноним (-), 13:00, 13/12/2010 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Кстати, чего бы разу не повесить управление мозгом?.... Наверно, в камеры вложены деньги на разработку, надо окупать?... :) Интересно, как ведут себя мозговые "девайсы", как распозновалки речи в 2000-м?

1.2, andy (??), 12:27, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
А люди, которые реверсили драйверы от Майкрософт, успели приз получить?

1.4, анон (?), 12:31, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
>таких как MS Kinect Аналогов Kinect вроде бы нет. О каких таких устройствах во множественном числе говорят сыны народа Израилева?

2.6, Alex Ott (?), 12:36, 13/12/2010 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
вроде сони планировала что-то подобное выпустить (а может уже и выпустило)

3.9, ананим (?), 12:39, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
выпустило и гораздо круче кинекта http://us.playstation.com/ps3/playstation-move/

4.14, ананим (?), 12:43, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
http://www.youtube.com/watch?v=KywklJJoJ5s

5.24, анон (?), 15:02, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> http://www.youtube.com/watch?v=KywklJJoJ5s А что это за дилда у него в руках? Kinect работает без всяких вспомогательных девайсов.

6.26, анонимыч (?), 15:43, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
>> http://www.youtube.com/watch?v=KywklJJoJ5s > А что это за дилда у него в руках? > Kinect работает без всяких вспомогательных девайсов. дилда работает, а кенект тормозит и глюччит

7.29, filosofem (ok), 16:10, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+5 +/–
Значит скоро Мелкософт выдаст Кинект SP1 с дилдой. Только держать ее нужно будет не в руках. Это же Мелкософт.

8.30, Школьный учитель села (?), 16:15, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
мертвого могила исправит ... текст свёрнут, показать

2.7, ананим (?), 12:36, 13/12/2010 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
просто это никому не нужно. иначе опенсорс давно бы сделал кенект лучше. идеи то у проекта kde уперли, как всегда

2.8, Аноним (-), 12:38, 13/12/2010 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Насколько я знаю Kinect - это усложненный клон более простых устройств PrimeSense. http://www.primesense.com/?p=514

3.11, ананим (?), 12:40, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Насколько я знаю Kinect - это усложненный клон более простых устройств PrimeSense. > http://www.primesense.com/?p=514 уперли идею http://www.microsoft.com/presspass/press/2010/mar10/03-31primesensepr.mspx

2.10, Casufi (ok), 12:39, 13/12/2010 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Разве для этого не достаточно двух вебкамер ?

3.12, ананим (?), 12:40, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> Разве для этого не достаточно двух вебкамер ?

более чем достаточно, просто мекрософт не осилил, проще было стащить уже готовую чужую идею

1.5, анончик (?), 12:36, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
а что там с патентами? я чувствую здесь троянского коня.

2.15, ананим (?), 12:45, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> а что там с патентами? я чувствую здесь троянского коня.

за патенты еще засудят, так всегда. по-другому не могут

2.28, Аноним (-), 15:55, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> а что там с патентами? я чувствую здесь троянского коня. код под GPLv3, значит переданы и права на патенты.

1.20, Аноним (-), 13:16, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
продам кинект, оно не работает, глючит и никого не узнает. отслеживает как обычная веб камера, часто не видит тебя вообще. для работы нужен яркий свет

2.21, Anonus (?), 13:35, 13/12/2010 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Тоже потратился на это г... и сильно недоволен фиговым распознаванием, хотя с освещением как раз все нормально. :(

3.31, Школьный учитель села (?), 16:15, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+2 +/–

> Тоже потратился на это г... и сильно недоволен фиговым распознаванием, хотя с
> освещением как раз все нормально. :(

зачем покупал и платил врагу? лучше бы у альт линукса поддержку купил - помог отечеству

2.39, DmitryINdig0 (ok), 22:42, 14/12/2010 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> продам кинект, оно не работает, глючит и никого не узнает. отслеживает как > обычная веб камера, часто не видит тебя вообще. для работы нужен > яркий свет Продам прожектор (шутка) =)

1.22, Аноним (-), 13:55, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
(А)зонды эта штука поддерживает? Для некоторых товарищей пишущих на моно в самый раз будет...

2.32, Школьный учитель села (?), 16:16, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> (А)зонды эта штука поддерживает? Для некоторых товарищей пишущих на моно в самый
> раз будет...

в нем говорят встроена штука, которая передает что видит в офис компании. идеальный шпеонский механизм.

1.27, Аноним (-), 15:52, 13/12/2010 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+4 +/–
Теперь пляски с шаманским бубном для системного администратора уже не бородатая шутка. Для успешлого администрирования новых ОС нужно будет владеть гимнастикой и знать несколько сотен па.

2.34, hhg (ok), 17:54, 13/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
тогда уже не па, а ката.

2.41, Аноним (-), 12:42, 28/12/2010 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Зато не будет толстых сисадминов :)

игнорирование участников | лог модерирования

Добавить комментарий

Имя:

E-Mail:

Текст: