Диссертации

Кривцов Олег Александрович

МЕТОДЫ, АЛГОРИТМЫ И ПРОГРАММНАЯ СИСТЕМА ТРЕКИНГА ГОЛОВЫ ЧЕЛОВЕКА НА ВИДЕОКАДРАХ, ОСНОВАННЫЕ НА ГЕОМЕТРИЧЕСКИХ ТЕКСТУРНЫХ МОДЕЛЯХ

Диссертация на соискание ученой степени
кандидата технических наук
(специальность 05.13.11 - Математическое и программное обеспечение
вычислительных машин, комплексов и компьютерных сетей)

Работа выполнена в ГОУ ВПО «Томский государственный университет систем управления и радиоэлектроники» и ГОУ ВПО «Национальный исследовательский Томский политехнический университет».

Научный руководитель: заслуженный деятель науки РФ, доктор технических наук, профессор Кориков Анатолий Михайлович.

Официальные оппоненты: доктор технических наук, профессор Спицын Владимир Григорьевич и доктор технических наук, профессор Сущенко Сергей Петрович.

Ведущая организация: Новосибирский государственный технический университет.

Защита диссертации состоялась 1 декабря 2010 г. Автореферат диссертации можно взять здесь.

Актуальность темы

Отслеживание головы человека (англ. head tracking, трекинг головы) – это решение задачи последовательного определения положения головы на видеокадрах, независимо от того, движется голова или камера. Трекинг головы на видеокадрах применяется или обладает потенциалом применения при создании систем трехмерной компьютерной анимации, разработке интерфейсов взаимодействия человек-компьютер, проведении видеоконференций в сети Интернет, стабилизации изображения лица с целью облегчения распознавания эмоций либо персональной идентификации и др.

Значительный вклад в развитие теории и практики трекинга головы внесли зарубежные ученые Брюс Д. Лукас (Bruce D. Lucas), Такео Канаде (Takeo Kanade), Цзин Сяо (Jing Xiao), Саймон Бэкер (Simon Baker), Иэн Мэтьюз (Iain Matthews), Тсуеши Морияма (Tsuyoshi Moriyama), Марко Ла Каскиа (Marco La Cascia), Стэн Склароф (Stan Sclaroff), Пол Виола (Paul Viola), Майкл Дж. Джонс (Michael J. Jones), Ричард Зелиски (Richard Szeliski), Грегори Д. Хэгер (Gregory D. Hager), Петер Н. Белюмье (Peter N. Belhumeur). Из работ отечественных ученых по этой теме отметим труды A.П. Вежневца и Р.C. Шоргина.

Несмотря на обилие научных трудов, опубликованных по теме трекинга головы за последние тридцать лет, в настоящее время проблему трекинга головы нельзя назвать решенной в объеме, позволяющем осуществлять выбор методов, алгоритмов и программных средств трекинга головы человека на видеокадрах в интересах разнообразных применений и, в частности, для человеко-машинных интерфейсов, расширяющих интеллектуальные возможности компьютеров и компьютерных систем. Это обусловлено многими факторами, усложняющими анализ изображения головы человека на видеокадрах, такими как неравномерность освещения сцены, непредсказуемость траектории и скорости движения головы, непостоянность (нестабильность) формы и текстуры головы за счет изменения мимики лица и т.д.

В наши дни большой популярностью пользуются недорогие веб-камеры, которые со времени их изобретения в начале 1990-х годов превратились во вполне сформировавшийся класс устройств, без которых невозможно представить себе общение в сети Интернет. Поэтому актуальным представляется исследование трекинга головы на видеоизображении с веб-камеры.

Среди существующих подходов к отслеживанию положения головы человека на видеокадрах, таких как методы, основанные на детектировании лица в разных ракурсах (англ. tracking-by-detection), методы, основанные на отслеживании «характерных точек» лица (англ. feature points) и методы, основанные на построении геометрической текстурной модели головы, автору представляется наиболее выгодным использование последних (модельных методов). Это обусловлено тем, что данный подход в отличие от других обеспечивает более высокую точность и имеет сравнительно малую вычислительную сложность. Однако данный подход обладает такими недостатками, как необходимость: выбора модели головы (у каждого человека своя (оригинальная) форма головы); ее первоначального позиционирования (на практике использование веб-камеры не обеспечивает возможность физического измерения расстояния до объекта и точного определения его первоначального положения); учета изменения освещенности и обновления текстуры модели (т. е. обновление шаблона, с которым сравнивается текущий видеокадр).

Изложенное выше доказывает актуальность и научную значимость решения проблемы инициализации модели головы при использовании веб-камеры, сравнительное исследование известных геометрических недеформируемых моделей головы и разработка на их основе методов, алгоритмов и программных средств трекинга головы человека на видеокадрах для расширения интеллектуальных возможностей вычислительных машин и систем.

Цель данной работы

Целью данной работы является исследование и разработка методов и алгоритмов отслеживания положения головы человека на поступающих с монокулярной веб-камеры видеокадрах, основанных на построении недеформируемых геометрических текстурных моделей головы, и разработка на их основе программных средств трекинга головы.

Для достижения поставленной цели необходимо решить следующие задачи:

выполнить анализ состояния проблемы отслеживания положения головы на видеокадрах в целом и методов, основанных на построении геометрической текстурной модели головы в частности, определить возможные пути ее успешного решения;
выполнить формализацию задачи инициализации модели головы и получить ее решение для первоначального позиционирования модели головы при использовании некалиброванной монокулярной веб-камеры;
выделить основные сущности бизнес-логики, проведя декомпозицию задачи трекинга головы; реализовать алгоритм, основанный на построении модели головы, в составе программной системы (ПС);
провести анализ производительности и точности разработанной системы; вывести критерии для сравнения моделей головы и провести сравнительный анализ различных моделей головы на основе ПС отслеживания головы.

Объект исследования

Объектом исследования является проблема создания человеко-машинных интерфейсов и программных средств, расширяющих интеллектуальные возможности компьютерных систем на основе решения задач отслеживания положения головы человека по ее видеоизображению.

Предмет исследования

Предметом исследования являются методы отслеживания головы человека на поступающих с веб-камеры видеокадрах, основанные на применении геометрических текстурных моделей головы; методы построения жесткой модели головы и ее первоначального пространственного позиционирования; сравнительный анализ различных моделей головы.

Методы исследования

Методы исследования, применяемые в данной работе, базируются на аппарате дифференциального исчисления, численных методах, методах оптимизации, компьютерной графике, математическом (имитационном) моделировании. Для сравнительного анализа моделей головы человека проводились модельные эксперименты с помощью ПС, созданной средствами языка программирования C++. В процессе программной реализации полученных результатов использовались методы теории алгоритмов, теории структур данных, объектно- ориентированного программирования. Для количественной обработки данных эксперимента применялись методы теории вероятностей и математической статистики.

Информационная база

Информационная база данной работы включает в себя доклады, представленные на конференциях по компьютерному зрению (главным образом это зарубежные источники), квалификационные работы, опубликованные по аналогичным темам, а также экспериментальные данные и системы, опубликованные в печати либо представленные в Интернет-ресурсах.

Новизна данной работы

Проведен анализ проблемы отслеживания головы человека на видеокадрах, определены факторы, усложняющие трекинг головы, классифицированы методы трекинга головы и разработаны рекомендации по выбору метода трекинга для реализации в ПС. Проведенный анализ отличается от известных аналогов указанными факторами, выделенными классами методов трекинга и рекомендациями по выбору методов для программной реализации.
Разработан оригинальный приближенный алгоритм автоматического пространственного позиционирования модели головы человека на первом видеокадре для некалиброванной видеокамеры, основанный на данных о приближенном положении области лица, получаемых от детектора лица, что отличает разработанный алгоритм от известных, предполагающих ручное задание положения головы.
Впервые применен инверсно-композиционный (ИК) алгоритм регистрации изображений для задачи трекинга головы как твердого тела, обладающего шестью степенями свободы движения.
Создана и зарегистрирована в Роспатенте программная система, реализующая модельный метод отслеживания головы человека и отличающаяся от известных аналогов реализованным в ней способом записи информации о положении головы человека на каждом видеокадре.
Предложены новые критерии для сравнительного анализа известных моделей головы (цилиндрической, эллипсоидальной, плоской, Candide-3), обеспечивающие выработку рекомендаций по областям применения сравниваемых моделей головы.

Защищаемые положения

На основе анализа проблемы трекинга головы человека на видеокадрах определено ее современное состояние и выполнена классификация методов трекинга головы.
Приближенный алгоритм позиционирования модели головы при использовании веб-камеры позволяет инициализировать процесс отслеживания головы в автоматическом режиме, т.е. без ручной разметки области лица на первом кадре, что является важным этапом создания полностью автоматических систем трекинга головы.
Выбранный ИК алгоритм регистрации изображений является более эффективным в вычислительном плане по сравнению с другими известными алгоритмами регистрации изображений.
Созданная программная система обеспечивает проведение экспериментальных исследований методов и алгоритмов отслеживания положения головы человека на видеокадрах, необходимых для их тестирования и сравнения, в частности, для сопоставления по точности алгоритмов трекинга головы и обоснования рекомендаций по их реализации для расширения интеллектуальных возможностей компьютерных систем.
Экспериментальный сравнительный анализ четырех моделей головы позволяет сформулировать рекомендации по выбору методов трекинга головы человека для математического и программного обеспечения систем трекинга головы человека.

Практическая ценность полученных результатов

Основные результаты диссертации реализованы (внедрены) в программном продукте ManyCam, разрабатываемым в компании ТомскСофт. Созданный программный модуль используется для отслеживания головы пользователя компьютера в трехмерном пространстве в режиме реального времени и наложения специальных трехмерных эффектов на видеоизображение лица пользователя.
Разработана ПС «Head Tracking Demo», которая использовалась автором для оценки производительности и точности метода трекинга головы. Отметим возможность использования реализованной ПС с целью сравнения с аналогичными системами.

Внедрение

Полученные результаты реализованы (внедрены) в продукте ManyCam компании ТомскСофт, что подтверждается соответствующим актом о внедрении.
Результаты диссертации использовались при выполнении госбюджетной НИР «Исследование методов и алгоритмов анализа изображений для задач идентификации личности» (рег. № 01200854086, инв. № 02201052300), выполнявшейся в Томском государственном университете систем управления и радиоэлектроники (ТУСУР) в 2005-2009 гг.
Результаты исследований использованы в учебном процессе на кафедре АСУ ТУСУРа.

Апробация работы

Результаты работы докладывались и обсуждались на международных, всероссийских и региональных научно-практических конференциях, в том числе конференции «Современная техника и технологии», г. Томск, 2008 г. (доклад отмечен дипломом), 2009 г. (доклад отмечен дипломом I степени), 2010 г. (доклад участвовал в отборе на конкурс У.М.Н.И.К), «Научная сессия ТУСУР», г. Томск, 2008 г., 2009 г. (доклад отмечен дипломом II степени), 2010 г. (доклад отмечен дипломом III степени), «Электронные средства и системы управления: итоги реализации программы развития электроники и IT-технологий в Томской области», г. Томск, 2008 г. (доклад участвовал в конкурсе У.М.Н.И.К), «Молодежь и современные информационные технологии», г. Томск, 2009 г., «Студент и научно-технический прогресс», г. Новосибирск, 2010 г, «СИБРЕСУРС-2010», г. Абакан, 2010 г.

Публикации

По теме диссертации было опубликовано 16 работ, в том числе пять статей в журналах, входящих в перечень ВАК («RSDN Magazine», «Информационные технологии» и «Доклады Томского государственного университета систем управления и радиоэлектроники») и 11 публикаций в сборниках трудов региональных, всероссийских и международных конференций. Публикации в электронном виде доступны по адресу http://headtracking.googlepages.com. Имеется свидетельство о регистрации разработанной ПС «Head Tracking Demo» в реестре федерального агентства по интеллектуальной собственности Роспатент.