Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления ее силуэта


The Presentation inside:

Slide 0

Распознавание двух- и трехмерных жестов ладони на основе анализа скелетного представления ее силуэта Куракин Алексей Владимирович Московский Физико-Технический Институт [email protected] Местецкий Леонид Моисеевич Московский Государственный Университет им. Ломоносова [email protected] Техническое зрение в системах управления, 2011


Slide 1

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление 3д модели трубчатых объектов Трекинг 3д положения руки


Slide 2

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Slide 3

Скелет фигуры Скелет (или серединные оси) фигуры – множество центров и радиусов вписанных в фигуру кругов.


Slide 4

Скелет фигуры Скелет = центры и радиусы максимальных вписанных кругов


Slide 5

Скелет фигуры Рассматриваем только скелеты многоугольников Эффективный алгоритм имеет вычислительную сложностью O(N log N), где N – число вершин


Slide 6

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Slide 7

Анализ формы руки Бинаризация исходной картинки Построение скелета Анализ скелета и выделение пальцев


Slide 8

Анализ скелета Цель: выделить пальцы и центр руки


Slide 9

Ветвь скелета Ветвь скелета – часть скелета составляющая непрерывную кривую Ветвь AB -> палец Ветвь CD -> не палец


Slide 10

Функция радиуса вдоль ветви Функция радиуса вдоль ветви – зависимость радиуса вписанного круга от расстояния до конца ветви RAB(|BX|) = r - значение функции радиуса вдоль AB в точке X


Slide 11

Функция радиуса вдоль ветви Функция радиуса для ветви-пальца


Slide 12

Функция радиуса вдоль ветви Функция радиуса для ветви не пальца


Slide 13

Анализа формы на основе скелета Инструменты анализа формы: Структура и топология скелета Значение функции радиуса


Slide 14

Анализ формы руки Для каждой терминальной ветви скелета: Поиск наиболее вероятной точки C – соединения пальца и пясти Проверка условий на геометрические параметры ветви


Slide 15

Пример результата анализа Найдены все 3 пальца


Slide 16

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Slide 17

2Д жесты руки С помощью скелета легко определить: Количество видимых пальцев Положения кончиков пальцев Наличие кольца


Slide 18

Экспериментальная установка Веб-камера над однородной темной поверхностью Однородная поверхность для упрощения бинарзации Алгоритм обработки: Бинаризация картинки Анализ формы ладони Распознавание жестов


Slide 19

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Slide 20

Трубчатый (локально симметричный) объект Пространственный граф Круговое сечение Жирные кривые


Slide 21

Проекции трубчатого объекта Камера 2 Камера 1 Пространствен- ные оси Скелеты силуэтов


Slide 22

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стерео триангуляция и восстановление 3д модели


Slide 23

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Slide 24

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Slide 25

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели OA <-> O’A’


Slide 26

Восстановление проволочной модели Получение стереопары силуэтов Построение скелетов для каждого силуэта Сопоставление ветвей скелетов Стереотриангуляция и восстановление 3д модели


Slide 27

Пример реконструкции


Slide 28

Восстановление проволочной модели Не требуется построение карты глубины Скелет позволяет образовывать стереопары из невидимых точек Применимо для картинок низкого качества, где невозможно точное сопоставление по текстуре


Slide 29

План презентации Понятие скелета Анализ формы руки посредством скелета Выделение пальцев Распознавание жестов Анализ формы в 3д Восстановление трубчатых объектов Трекинг 3д положения руки


Slide 30

Экспериментальная установка 2 откалиброванных веб-камеры над однородной темной поверхностью Однородная поверхность для упрощения бинарзации Алгоритм обработки: Бинаризация картинки Анализ формы ладони Стерео сопоставление Распознавание жестов


Slide 31

Слежение за рукой в 3Д Стереопара изображений Бинаризация, построение и анализ скелета Определение 3д координат


Slide 32

Заключение Скелет – богатый дескриптор формы Легкий анализ 2Д формы руки Распознавание жестов руки Анализ скелета на стереопаре Восстановление 3д проволочной модели объекта, даже в тех случая когда обычное стерео сопоставление затруднительно Распознавание 3д жестов Все алгоритмы работают в реальном времени


Slide 33

Спасибо за внимание! Вопросы?


×

HTML:





Ссылка: