'

Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления ее силуэта

Понравилась презентация – покажи это...





Слайд 0

Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления ее силуэта Куракин Алексей Владимирович Московский Физико-Технический Институт alekseyvk@yandex.ru Местецкий Леонид Моисеевич Московский Государственный Университет им. Ломоносова l.mest@ru.net Техническое зрение в системах управления, 2011


Слайд 1

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление 3д модели трубчатых объектов Трекинг 3д положения руки


Слайд 2

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Слайд 3

Скелет фигуры Скелет (или серединные оси) фигуры – множество центров и радиусов вписанных в фигуру кругов.


Слайд 4

Скелет фигуры Скелет = центры и радиусы максимальных вписанных кругов


Слайд 5

Скелет фигуры Рассматриваем только скелеты многоугольников Эффективный алгоритм имеет вычислительную сложностью O(N log N), где N – число вершин


Слайд 6

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Слайд 7

Анализ формы руки Бинаризация исходной картинки Построение скелета Анализ скелета и выделение пальцев


Слайд 8

Анализ скелета Цель: выделить пальцы и центр руки


Слайд 9

Ветвь скелета Ветвь скелета – часть скелета составляющая непрерывную кривую Ветвь AB -> палец Ветвь CD -> не палец


Слайд 10

Функция радиуса вдоль ветви Функция радиуса вдоль ветви – зависимость радиуса вписанного круга от расстояния до конца ветви RAB(|BX|) = r - значение функции радиуса вдоль AB в точке X


Слайд 11

Функция радиуса вдоль ветви Функция радиуса для ветви-пальца


Слайд 12

Функция радиуса вдоль ветви Функция радиуса для ветви не пальца


Слайд 13

Анализа формы на основе скелета Инструменты анализа формы: Структура и топология скелета Значение функции радиуса


Слайд 14

Анализ формы руки Для каждой терминальной ветви скелета: Поиск наиболее вероятной точки C – соединения пальца и пясти Проверка условий на геометрические параметры ветви


Слайд 15

Пример результата анализа Найдены все 3 пальца


Слайд 16

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Слайд 17

2Д жесты руки С помощью скелета легко определить: Количество видимых пальцев Положения кончиков пальцев Наличие кольца


Слайд 18

Экспериментальная установка Веб-камера над однородной темной поверхностью Однородная поверхность для упрощения бинарзации Алгоритм обработки: Бинаризация картинки Анализ формы ладони Распознавание жестов


Слайд 19

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Слайд 20

Трубчатый (локально симметричный) объект Пространственный граф Круговое сечение Жирные кривые


Слайд 21

Проекции трубчатого объекта Камера 2 Камера 1 Пространствен- ные оси Скелеты силуэтов


Слайд 22

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стерео триангуляция и восстановление 3д модели


Слайд 23

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Слайд 24

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Слайд 25

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели OA <-> O’A’


Слайд 26

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Слайд 27

Пример реконструкции


Слайд 28

Восстановление проволочной модели Не требуется построение карты глубины Скелет позволяет образовывать стереопары из невидимых точек Применимо для картинок низкого качества, где невозможно точное сопоставление по текстуре


Слайд 29

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Слайд 30

Экспериментальная установка 2 откалиброванных веб-камеры над однородной темной поверхностью Однородная поверхность для упрощения бинарзации Алгоритм обработки: Бинаризация картинки Анализ формы ладони Стерео сопоставление Распознавание жестов


Слайд 31

Слежение за рукой в 3Д Стереопара изображений Бинаризация, построение и анализ скелета Определение 3д координат


Слайд 32

Заключение Скелет – богатый дескриптор формы Легкий анализ 2Д формы руки Распознавание жестов руки Анализ скелета на стереопаре Восстановление 3д проволочной модели объекта, даже в тех случая когда обычное стерео сопоставление затруднительно Распознавание 3д жестов Все алгоритмы работают в реальном времени


Слайд 33

Спасибо за внимание! Вопросы?


×

HTML:





Ссылка: