Нейросетевые методы идентификации человека по походке

Конактное лицо: Конушин А. С. (ktosh@graphics.cs.msu.ru)
Проект направлен на решение задачи распознавания человека в видео по его манере движения с помощью искусственных нейронных сетей. По имеющейся последовательности кадров с изображением двигающегося человека необходимо определить, кем из данной базы людей является человек в видео. Для того, чтобы распознавание происходило именно по движению, в качестве основного источника информации берутся карты оптического потока между парами последовательных кадров. Метод, использующий оптический поток в окрестности всей фигуры показывает достаточно высокую точность распознавания, однако дополнительное использование данных о позе человека может повысить качество алгоритма. Нахождение ключевых точек фигуры человека и рассмотрение оптического потока в окрестности этих ключевых точек позволяет достичь качества, превышающего state-of-the-art результаты. Предлагаемый алгоритм распознавания состоит из 3 шагов:
  1. Нахождение позы человека в каждом кадре и вычисление карт оптического потока в окрестностях ключевых точек фигуры..
  2. Обучение глубокой сверточной нейронной сети, предсказывающей человека по картам оптического потока..
  3. Использование обученной сети для извлечения признаков походки. Классификация по полученным признакам.
Метод был опробован на популярных базах походки: TUM-GAID Dataset и многоракурсной базы OU-ISIR. Результаты экспериментов приведены ниже. 

Результаты экспериментов на базе TUM-GAID:
Архитектура, классификатор, метрика Rank-1 Rank-5
VGG + blocks, kNN, L1 97,52 99,89
VGG + pose, kNN, L1 98,81 100,00
Wide ResNet + pose, kNN, L2 98,81 99,78
Wide ResNet + pose, kNN, L1 99,78 99,89
Результаты экспериментов на базе OU-ISIR при построении индекса для угла 85° и тестировании для углов 55°, 65°, 75°:
Архитектура, классификатор, метрика 55° 65° 75°
Wide ResNet, kNN, L1 92,8 96,2 97,8
Кроме того, исследуется зависимость качества распознавания от набора используемых ключевых точек и длительности видео, а также переносимость алгоритма с одной базы на другую.

Участники

  • Анна Соколова

Публикации

Благодарности

Работа выполняется при поддержке гранта РФФИ №16-29-09612 офи-м "Исследование и разработка методов биометрической идентификации человека по походке, жестам и комплекции в данных видеонаблюдения" на 2016-2018 год.