Ontology of human identification by face and body motions in video surveillance systems

Full Text

Введение

Согласно статистике в Российской Федерации в 2022 г. зарегистрировано 2233 преступления террористического характера и 1566 – экстремистской направленности [1]. С увеличением преступлений террористического характера на стратегических объектах, в учебных заведениях, в различных организациях с массовым скоплением людей главная роль отводится сотрудникам, обеспечивающим внутриобъектовый и пропускной режим [2, 3].

С развитием информационных технологий обеспечение надёжной защиты объектов невозможно без применения систем контроля безопасности (СКБ), основанных на биометрии. СКБ основываются на уникальных характеристиках человека, которые сложно фальсифицировать, и позволяют однозначно распознать конкретного человека. В СКБ существенными биометрическими признаками являются движения тела (походка, жестикуляция, осанка) и мимика (лицо), поскольку их можно наблюдать издалека по видео без прямого контакта с человеком.

Целью настоящей статьи является анализ подходов к распознаванию человека по движениям тела и лицу при выявлении потенциального нарушителя из общей массы людей, а также предложить рекомендации разработчикам систем распознавания нарушителя по видеонаблюдению.

1. Онтология предметной области

Онтология (онтологическая модель) предметной области (ПрО) представляет собой систему, состоящую из набора понятий и отношений между ними. Формальную модель онтологии ПрО можно представить в виде кортежа:

O = <X, A, R, F>,

где X – конечное множество понятий ПрО; A – конечное множество атрибутов понятий X; R – конечное множество отношений между понятиями, заданной ПрО; F – конечное множество функций интерпретации, заданных отношениями онтологии.

Фрагмент онтологии процесса идентификации нарушителя в виде семантической сети представлен на рисунке 1.

Рисунок 1. Фрагмент онтологии процесса идентификации нарушителя

Figure 1. Fragment of the ontology of the intruder identification process

ПрО «процесса идентификации нарушителя» включает список понятий, для которых определены атрибуты и отношения. Фрагмент спецификации понятий онтологии идентификации нарушителя представлен в таблице 1. Онтологии позволяют структурировать знания при идентификации нарушителя, а также обеспечить формальное представление системы понятий ПрО и поддержку требуемой функциональности.

Таблица 1. Фрагмент спецификации понятий онтологии процесса идентификации нарушителя

2. Классификация биометрических признаков при идентификации

Существует множество определений понятия и типологии нарушителя [4-6]. В работе под потенциальным нарушителем понимается человек, который совершает или может совершить преступление, направленное на устрашение и насилие, добивается своих целей путём захвата заложников с угрозой их уничтожения (террорист). Для выработки эффективных мер, направленных на предотвращение преступлений террористического характера, необходимо иметь представление о личности потенциального нарушителя, что невозможно без изучения её особенностей (структуры, биометрических признаков, психологического портрета и др.) [7-10].

Признаки человеческого тела, поведенческие (походка, голос и др.), либо физиологические (лицо, отпечаток пальца, ДНК и др.) могут быть использованы в качестве биометрических признаков для распознавания личности. Данные признаки должны удовлетворять следующим свойствам: уникальность, универсальность (биометрические данные могут быть получены у любого человека независимо от их пола, возраста, местоположения), постоянство (например, рукописная подпись лица, выполненная в документе, должна визуально соответствовать подписи этого лица, содержащейся в иных документах), неуязвимость, собираемость [11].

В литературе рассматривается большое количество психологических портретов террористов. Личность нарушителя, совершившего преступление террористического характера, отличается от других категорий преступников (убийцы, воры, наркоманы и др.), во-первых, устойчивыми психологическими и психическими нарушениями, нарушениями социальной адаптации; во-вторых, преступлениями против человечества больше, чем против отдельных лиц (обычные преступники делают это больше для собственной выгоды) [12].

Деятельность террористов сложно распознать. Основными признаками поведения террориста являются: отрешённый взгляд, отсутствие визуального контакта с окружающими (жёсткий и сфокусированный взгляд вперёд), подчинённая поза, тяжёлая и скованная походка, определённая заторможенность реакций, внешне имеет вид собранного и умиротворенного человека [13-15]. Возможен и другой вариант их поведения, например, когда террорист может быть заметно возбуждён, агрессивен. Тогда у него может проявляться обильное выделение пота; он резко двигается, постоянно оглядывается, боясь слежки [14].

В работах [16-18] описаны основные черты лица террориста: неестественная бледность; скованное, каменное лицо, которое не выражает никаких эмоций; крупные и блестящие глаза; губы могут быть сильно сжаты либо чуть заметно двигаться (возможно чтение молитвы); возможные шрамы; и многие др.

Составить и выделить универсальный тип террориста невозможно, а можно лишь условно выделить некоторые биометрические признаки, характеризующие его [12, 13]. Сложность задачи обусловлена многоаспектностью такого явления как терроризм, а также многогранностью личности человека.

Основные типы биометрических признаков для выявления потенциального нарушителя изображены на рисунке 2 (адаптирован по материалам [19-21]).

Рисунок 2. Типы биометрических признаков для выявления потенциального нарушителя

Figure 2. Types of biometric features to identify a potential intruder

Физиологическими признаками для криминологии, сотрудников полиции и охраны являются движение тела и лицо [22, 23].

Физиологические (статические) биометрические признаки – признаки, присутствующие с рождением человека. Их получают в результате измерения части человеческого тела. Достоинства данных признаков в относительно ограниченной возможности их изменить и быстроте процесса распознавания с использованием компьютеров. Недостатки физиологических признаков: дороговизна биометрических сканеров; возможность повреждения биометрических идентификаторов; использование лицевых аксессуаров (кепки, очки, платки, маски и т.п.); необходимость определённых условий окружающей среды (освещение и т.п.).

Поведенческие (динамические) биометрические признаки – признаки, основанные на определенном шаблоне поведения (действия), выполняемого человеком (косвенно измеряют признаки облика человека). Главной особенностью данных признаков является использование времени в качестве метрики. Достоинствами поведенческих признаков являются: присутствие индивидуального набора анализируемых признаков; повышение точности распознавания в СКБ многофакторной идентификации. Недостатками являются: отсутствие метода и модели для оценки точности распознавания человека по движению тела; необходимость большого количества личных данных для верного определения поведения нарушителя, поскольку оно может меняться (усталость, опьянение, плохое самочувствие и т.п.).

Биометрические признаки имеют следующие общие достоинства: уникальные особенности для каждого человека; неизменные черты с течением времени [24]. Существуют ограничения, к которым биометрия уязвима, например, компьютерные атаки, изменение БД [25, 26].

Выявление потенциального нарушителя осуществляется в условиях множества биометрических признаков. Предлагается следующая классификация основных биометрических признаков, характеризующих потенциального нарушителя (рисунок 3, адаптирован по материалам [23, 27-29]).

Рисунок 3. Классификация основных биометрических признаков, характеризующих потенциального нарушителя

Figure 3. Classification of the main biometric features characterizing a potential offender

Поведение человека может быть «нормальным» и «аномальным (девиантным)». В настоящей работе под аномальным поведением понимается последовательность действий человека, которые не соответствуют модели типичного поведения в конкретной ситуации, имеют отклонение от нормы поведения, склонность к нарушениям, агрессии [28-30].

Описание внешности человека. Общефизическое описание – элементы внешности; анатомическое – описание всей фигуры в целом либо отдельных областей тела; функциональное – особенности, которые проявляются в движении. Каждый из анатомических признаков характеризуется по форме, размеру, положению, цвету [29]. При этом некоторые параметры могут быть представлены в виде словесного (нечёткого) описания, например, телосложение – слабое, очень слабое, среднее, коренастое, атлетическое; упитанность человека – худой, худощавый, средней упитанности, полный. Функциональное описание: мимика – движение мышц и элементов лица, которые могут меняться в зависимости от эмоционального состояния человека; походка – совокупность индивидуальных телодвижений при ходьбе; жестикуляция – комплекс движений рук, плеч, головы человека, которыми он сопровождает свою речь; речь – данные речевого механизма.

3. Виды систем распознавания

В настоящее время системы распознавания человека подразделяются на несколько видов (рисунок 4, адаптирован по материалам [24, 31-33]).

Рисунок 4. Виды систем распознавания человека

Figure 4. Types of human recognition systems

Мультисенсорная система позволяет объединять полученные данные с различных датчиков (сканеров) для одного и того же биометрического признака для извлечения разнообразной информации (несколько датчиков – один биометрический признак). Например, данная система может использовать 2D, 3D или тепловое изображение лица для распознавания.

Мультимодальная система позволяет объединять более одного биометрического признака, что повышает точность распознавания человека. Например, данная система может использовать одновременно лицо и голос для распознавания человека. Такие системы являются дорогостоящими, поскольку для их работы требуется несколько датчиков, каждый из которых воспринимает различные биометрические признаки.

Система с несколькими алгоритмами позволяет обрабатывать один биометрический признак, полученный с одного датчика с использованием различных подходов к извлечению признаков и различных алгоритмов сопоставления (несколько алгоритмов – один биометрический признак). Например, система распознавания отпечатков пальцев, походки может использовать как детали, так и особенности текстуры для сопоставления отпечатков пальцев и походки.

Гибридная система позволяет объединять более одной из вышеупомянутых биометрических систем для надёжного распознавания. Например, если два алгоритма распознавания лица будут объединены с двумя алгоритмами распознавания отпечатков пальцев, то такая система будет мультимодальной с несколькими алгоритмами.

Система с несколькими шаблонами позволяет использовать несколько шаблонов одного и того же биометрического признака, полученных с помощью одного датчика (несколько образцов с одним датчиком – один биометрический признак). Например, при распознавании человека по снимкам лица, которые сделаны при разных точках доступа и освещении.

Система с несколькими экземплярами позволяет фиксировать несколько экземпляров одного и того же биометрического признака (несколько экземпляров – один биометрический признак). Например, изображения левой и правой частей тела, отпечатки двух или более пальцев или ладоней человека могут быть объединены по одному изображению одного и того же человека.

При распознавании человека встречаются унимодальные системы, позволяющие использовать один биометрический признак человека для распознавания и проверки. Данные системы предлагают надёжное решение для приложений идентификации и верификации, однако необходимо учитывать ограничения их использования, которые могут привести к ошибкам распознавания.

• Шумы в измеряемых данных (изображение отпечатка пальца со шрамом; образец голоса, изменённый холодом; плохая освещённость лица и др.).
• Неуниверсальность – отсутствие получения значимых биометрических данных (система распознавания радужной оболочки не может получить информацию потенциального нарушителя с длинными ресницами, опущенными веками, патологией глаз).
• Поддельные атаки, которые встречаются при использовании поведенческих признаков (подпись, голос, походка и др.). В этом случае система, основанная только на анализе одного признака, может привести к неверному распознаванию. Если система включает дополнительный признак, то это приведёт к увеличению вероятности распознавания (маловероятно, что у двух разных людей одинаковая походка и лицо).

При распознавании человека СКБ, основанные на слиянии многих биометрических признаков, способны эффективно обрабатывать зашумлённые или некачественные данные (характерно для систем, основанных на распознавании лица и голоса) [33].

Интеграция разнородной информации, поступающей из разных источников, является одним из основных приёмов проектирования СКБ по распознаванию человека, основанных на слиянии множества биометрических признаков [33-36].

СКБ должны соответствовать следующим критериям [31, 32, 37-39].

• Универсальность – каждый нарушитель обладает своими уникальными биологическими признаками. Люди без рук, пальцев, с нарушением походки, осанки или с повреждёнными глазами также должны быть зарегистрированы и учтены.
• Уникальность, отличительность – никакие два любых нарушителя не могут быть одинаковыми с точки зрения биометрических признаков. Уникальность может измеряться частотой ложного сопоставления.
• Надёжность – биометрические признаки должны быть неизменными в течение определённого периода времени. Радужная оболочка глаза обычно остаётся неизменной на протяжении десятилетий, лицо человека со временем значительно меняется, палец часто подвергается травмам, подпись и её динамика также может измениться. Надежность может измеряться частотой ложных несоответствий.
• Представление – достижение точности и скорости распознавания с учетом задействованных эксплуатационных факторов и факторов окружающей среды, необходимых для достижения приемлемой точности.
• Приемлемость – у пользователей и общественности не должно быть возражений против измерения/сбора биометрических признаков.
• Доступность, собираемость – биометрический признак может быть измерен количественно с помощью какого-либо сенсорного устройства и легко визуализирован. Доступность может быть количественно оценена по пропускной способности системы.
• Устойчивость к обходу – тесты и доказательства того, что разработанная система противостоит мошенническим методам.

Сравнение биометрических признаков для выявления потенциального нарушителя с использованием рассмотренных критериев СКБ представлено в таблице 2, адаптированной по материалам [32, 38].

Таблица 2 . Сравнение биометрических признаков

Какой биометрический признак является наилучшим, однозначно ответить нельзя, поскольку каждый признак имеет свои сильные и слабые стороны, и выбор обычно зависит от постановки задачи.

4. Слияние биометрических данных

Схема слияния биометрических данных и распознавания нарушителя по движениям тела и лицу, которая может лежать в основе разработки СКБ, представлена на рисунке 5.

Рисунок 5. Структурная схема слияния биометрических данных и распознавания нарушителя по движениям тела и лицу

Figure 5. Block diagram of merging biometric data and recognizing an intruder by body movements and face

СКБ, работающие с множеством биометрических признаков, состоят из модулей [31, 40, 41]:

• модуль датчика собирает биометрические данные человека (например, датчик отпечатков пальцев), которые задаются в качестве входных данных и служат входом для модуля извлечения признаков;
• модуль извлечения (выделения) признаков извлекает значения признаков после предобработки (например, положение и ориентация мелких точек на изображении отпечатка пальца), которые дают компактное представление этих признаков;
• модуль сопоставления (соответствия) сравнивает значения признаков со значениями в шаблоне, которые хранятся в БД, путём создания соответствующей оценки (степень сходства или расхождения между двумя биометрическими векторами признаков), которая передаётся в модуль принятия решений;
• модуль принятия решений устанавливает (выявляет) нарушителя, который либо подтверждается, либо отклоняется на основе оценки соответствия, сгенерированной в модуле сопоставления, либо распознаёт личность человека.

Важный вопрос, возникающий при слиянии биометрических признаков, - определение типа данных, которые должны быть объединены и выбор метода слияния [31]. Классификация уровней слияния в СКБ, работающих с множеством биометрических данных, которые могут быть объединены на различных уровнях показана на рисунок 6 (адаптирован по материалам [31, 40-42]).

Рисунок 6. Классификация уровней слияния в СКБ

Figure 6. Classification of fusion levels in SKB

Согласно категории до сопоставления признаков слияние осуществляется на уровне датчиков, на уровне признаков до того, как будет выполнено сопоставление биометрических данных [37, 38, 40-43].

Слияние на уровне датчиков – объединение необработанных данных, полученных с различных биометрических датчиков, в один вектор. Информация одного и того же биометрического признака, полученного с различных датчиков, объединяется для получения единого биометрического признака. Т.е. дополнительная информация, соответствующая, например, отпечаткам пальцев, которая может быть получена с использованием различных типов датчиков, интегрируется с использованием метода слияния на уровне датчиков. Другой пример – изображения лиц, полученные с нескольких камер, могут быть объединены для формирования единого изображения лица.

Структура слияния на уровне датчиков представлена на рисунке 7. Данные поступают с разных датчиков, которые должны быть совместимы, что не всегда возможно (например, может оказаться невозможным объединить изображения лиц, полученные с камер с разным разрешением); все методы должны быть совместимы с исходными данными и известны заранее [44]; один датчик или различные совместимые датчики (отпечаток пальца, сканер радужной оболочки глаза и т.д.) представляют шаблоны (образцы) одного обнаруженного биометрического признака. Данное слияние рекомендуется для систем с множеством датчиков и несколькими выборками, которые делают несколько снимков одной и той же биометрической информации [45]. Предполагается, что это повысит точность распознавания.

Слияние на уровне признаков – слияние векторов признаков, которые получены либо с использованием нескольких датчиков, либо с использованием нескольких алгоритмов извлечения признаков из одних и тех же датчиков (векторы признаков одного биометрического признака, полученные от разных датчиков; векторы признаков одного биометрического признака, полученные от разных объектов (векторы признаков отпечатков пальцев левой и правой руки); векторы признаков, сгенерированные из нескольких биометрических признаков) (рисунок 8).

Рисунок 7. Слияние данных на уровне датчиков

Figure 7. Data fusion at the sensor level

Рисунок 8. Слияние данных на уровне признаков

Figure 8. Data fusion at the feature level

Если признаки, извлечённые из одного биометрического признака, не зависят от признаков, извлечённых из другого, можно объединить два вектора в один новый вектор, который может быть как однородным, так и гетерогенным. Когда векторы признаков однородны (например, множественные отпечатки пальцев нарушителя), один результирующий вектор признаков может быть вычислен как средневзвешенное значение отдельных векторов. Когда векторы признаков неоднородны (например, векторы признаков, полученные с использованием различных методов извлечения признаков, или векторы признаков различных биометрических признаков), то происходит объединение с целью формирования единого вектора признаков. Объединение невозможно, когда наборы признаков несовместимы (например, признаки пальцев и лица). Новый вектор признаков имеет более высокую размерность и представляет личность человека в подробном виде, который сравнивается с шаблоном регистрации (объединённым вектором признаков, хранящимся в БД).

При слиянии векторов признаков необходимо учитывать трудности, возникающие по следующим причинам [37, 40]:

• объединение двух векторов признаков может привести к получению вектора признаков с очень большой размерностью;
• большая размерность вектора признаков приводит к увеличению вычислительных ресурсов и ресурсов хранения;
• большинство коммерческих биометрических систем не предоставляют доступ к векторам признаков, которые они используют в своих продуктах.

Сдерживающим фактором при распознавании нарушителя является отсутствие единой общедоступной БД биометрических образцов преступников.

Согласно категории после сопоставления признаков слияние осуществляется на уровнях оценки сопоставления, ранга и принятия решений (см. рисунок 6) [32, 40, 45].

Слияние на уровне оценки сопоставления (достоверности) – векторы признаков, создаваемые независимо для каждого датчика, сравниваются с шаблонами, которые хранятся в БД отдельно для каждого биометрического признака, и объединяются для оценки соответствия в виде одиночного скалярного балла (показателя). Данные оценки могут быть объединены для подтверждения подлинности заявленной личности. Структура слияния на уровне оценки сопоставления представлена на рисунке 9.

Рисунок 9. Слияние данных на уровне оценки сопоставления

Figure 9. Data merging at the mapping assessment level

Соответствующий балл указывает на близость входного вектора признаков к вектору шаблона. Совпадающие баллы не могут напрямую быть использованы или объединены, поскольку оценки получены из разных датчиков и основаны на разных методах масштабирования. Для решения данной задачи введены три варианта схемы слияния: на основе плотности, преобразования, классификатора [46, 47].

Схема на основе плотности основана на оценке распределения баллов. Данная схема включает фильтр Калмана, расширенный фильтр Калмана и методы слияния фильтров частиц. Схема обеспечивает точную оценку, но требует большого количества тренировочных образцов, а также больше времени и усилий для настройки работы по сравнению с другими схемами.

Схема на основе преобразования обычно применяется для нормализации баллов. Этот процесс необходим для изменения масштаба параметров с целью обеспечения совместимости между несколькими переменными оценки [48]. Эта схема может быть применена с использованием различных методов (правило суммы, правило произведения, минимальное правило и максимальное правило).

В схеме на основе классификатора оценки соответствия, полученные с помощью нескольких сопоставителей, объединяются для построения единого вектора признаков, который затем передаётся в подходящий классификатор с целью получения заключительной метки: является ли пользователь законным или самозванцем. Для классификации вектора соответствия в этой схеме применяются: метод опорных векторов, байесовский вывод, теория Демпстера-Шефера, модель максимальной энтропии, нейронная сеть.

Слияние на уровне ранга – объединение рангов, полученных каждым отдельным биометрическим сопоставлением, и определение нового ранга, который будет использоваться при принятии окончательного решения. Высокий ранг указывает на хорошее соответствие. Слияние на уровне ранга используется для идентификации, а не для верификации [49].

Слияние на уровне принятия решений – формирование окончательного решения из полученных индивидуально отдельных решений о личности нарушителя по различным биометрическим признакам (рисунок 10) с использованием различных методов, например, метода голосования большинством.

Рисунок 10. Слияние данных на уровне принятия решения

Figure 10. Data fusion at the decision level

Главное преимущество метода голосования большинством заключается в том, что он не требует предварительных знаний о сопоставителе, а также подготовки для принятия окончательного решения.

СКБ могут работать либо в режиме верификации, либо в режиме идентификации (см. рисунок 5). Процесс биометрической аутентификации (процесс проверки подлинности личности) разделен на три основных этапа (рисунок 11 адаптирован по материалам [37, 38]).

Регистрация – процесс регистрации нового человека в системе. На данном шаге сначала биометрический признак личности фиксируется датчиком для генерирования цифрового представления признака. Датчик должен получать всю важную информацию о личности, которая обычно представлена в виде изображения. Затем осуществляется предварительная обработка биометрических данных X (улучшение, нормализация, сегментация и удаление шума). Целью нормализации элемента является изменение местоположения (среднего) и масштаба (дисперсии) значения элемента с помощью функции преобразования, чтобы отобразить их в общую область. Далее происходит извлечение набора признаков из обработанных биометрических данных Xꞌ для создания эталонного шаблона Z_X. Этот шаг является решающим, поскольку для успешного распознавания потенциального нарушителя необходимо извлечь и выбрать правильные признаки. Шаблон Z_X, представляющий личность потенциального нарушителя, который будет использоваться для последующего сравнения, сохраняется в БД. Как видно из рисунка 5 этап регистрация является общим, как для этапа верификации, так и для этапа идентификации.

Верификация – процесс проверки подлинности личности потенциального нарушителя путём сравнения (1:1 соответствие) предоставленной биометрическим признаком Z_Q (биометрический признак запроса, полученный на этапах распознавания) с хранимым в БД шаблоном, который соответствуют заявленному нарушителю Z_X. Т.е. необходимо определить, является ли заявленная личность действительной? (является ли этот человек тем, за кого он себя выдаёт?). Результирующая оценка соответствия S (балл) сравнивается с сохранённым пороговым значением, вычисленным для заявленного потенциального нарушителя, или общим пороговым значением. Оценка соответствия определяется в диапазоне от 0 до 100 %.

Идентификация – процесс распознавания личности потенциального нарушителя путём сравнения биометрического признака Z_Q со всей БД (Z_X ={X₁, X₂,…, X_m}, где m – количество нарушителей, зарегистрированных в БД) путём «один ко многим», (1:N) с заданной степенью сходства. Т.е. требуется ответить на вопрос: «Кто этот человек?». Далее неизвестному лицу может быть присвоен идентификатор, соответствующий наиболее похожему профилю, найденному в БД, либо отклоняется это лицо. Если совпадение не найдено, это означает, что данное лицо не зарегистрировано в БД. Решение о принятии или отклонении человека принимается путём сравнения ответа системы с пороговым значением (называемым порогом принятия решения). В результате будет выбрана наиболее похожая личность по используемой геометрии лица искомого человека, а не идентичная, как в процессе верификации. В этом случае будет идентификация или ответ, что данное лицо есть в БД. Если лицо отсутствует в БД, или степень сходства является меньше заданной для всех сравнений, то результата не будет. Ошибка системы возрастает за счёт сравнения «один ко многим», и этап идентификации становится критическим для системы распознавания.

Рисунок 11. Схемы процесса биометрической аутентификации: а) этап регистрации; б) этап верификации; в) этап идентификации X – признак, полученный во время регистрации; Z_X – набор признаков шаблона; Z_Q – набор признаков запроса; Q – биометрический признак запроса (выборка), полученный на этапах распознавания; S – оценка соответствия; M – количество нарушителей, зарегистрированных в БД

Figure 11. Schemes of the biometric authentication process: a) registration stage; b) verification stage; c) identification stage X – sign obtained during registration; Z_X – set of template features; Z_Q – set of request characteristics; Q – biometric feature of the request (sample) obtained at the recognition stages; S – conformity assessment; M – number of violators registered in the database

5. Методы и технологии распознавания человека по движению тела и лицу

Для решения задачи распознавания личности на видео по движению тела и лицу разработано большое количество различных методов. Классификация методов и технологий, которые используются при распознавании человека по движениям тела и лицу в видеонаблюдениях, показана на рисунке 12 (адаптирован по материалам [50-59]).

Рисунок 12 – Классификация методов и технологий распознавания человека по движению тела и лицу

Figure 12 – Classification of methods and technologies for human recognition by body movement and face

Приведённое разделение методов и технологий, применяющихся при распознавании личности, носит условный характер, поскольку на практике они пересекаются и взаимодействуют между собой. В этом случае применяются гибридные подходы, сочетающие в себе различные методы и технологии распознавания человека. Ключевым моментом при их разработке является то, что они не должны конфликтовать между собой.

Наиболее применяемыми являются следующие методы:

Свёрточные нейронные сети (Convolutional Neural Networks, CNN) – это класс искусственных нейронных сетей, чаще всего применяемых для задач классификации, обнаружения и анализа объектов на изображении, сконцентрированных на небольших участках изображения, и выделении в них важных особенностей. В работе [50] представлена модифицированная архитектура CNN для извлечения отличительных черт лица путём добавления двух операций нормализации к двум слоям. Операция нормализации представляет собой пакетную нормализацию, которая обеспечивает ускорение работы CNN. Для классификации лиц использовался классификатор Softmax.

В работе [51] предложен подход, основанный на идее многоклассовой классификации на видеопоследовательностях. Оценка качества предлагаемого подхода проводилась на основе набора данных, который включает более 15000 видеопоследовательностей. В качестве классификаторов были апробированы пять архитектур нейронных сетей. Результаты исследований показали, что предлагаемый подход может осуществлять идентификацию человека в режиме реального времени без использования специализированного оборудования с точностью около 80 %.

В работе [52] предложена новая модель CNN для распознавания походки на основе позы. Данная модель учитывает движение точек в областях вокруг суставов человека. Для извлечения информации о движении оценивается оптический поток между последовательными кадрами.

Метод опорных векторов (Support Vector Machines, SVM) – один из самых известных алгоритмов обучения с учителем, применяемый для задачи классификации и регрессии в машинном обучении. В работе [53] предложен метод распознавания лиц на основе комбинирования анализа основных компонентов ядра (Kernel Principal Component Analysis, KPCA) и метода опорных векторов. Сначала используется метод KPCA для извлечения признаков из входных изображений, а затем применяется метод SVM к извлечённым признакам для классификации входных изображений.

В работе [54] описан прототип системы реального времени, способной распознавать четыре жеста, которые соотносятся с человеческими эмоциями на основе движений рук. Предложена структура для использования датчика походки Kinect для идентификации жеста. Объекты, извлечённые из 3D-скелета с помощью датчика Kinect v2, классифицируются с использованием метода SVM.

В работе [55] предложен метод распознавания поз человека с использованием классификатора SVM. Для одновременной съёмки двух наборов последовательностей изображений используются две камеры. После захвата последовательностей изображений используется алгоритм сегментации движущихся объектов, чтобы отличить человеческое тело от фона. Экспериментальные результаты показали, что предложенный метод обеспечивает высокую скорость и уровень распознавания.

Недостатками метода опорных векторов являются существенные временные затраты при настройке и необходимость большого объема памяти.

Метод главных компонент (Principal Components Method, PCA) обеспечивает уменьшение размерности пространства биологических признаков с наименьшими потерями информации. Например, в работе [56] рассмотрены некоторые аспекты применения метода главных компонент для решения задачи распознавания изображений. Предложен алгоритм многоуровневой линейной конденсации для вычисления главных компонент больших наборов изображений. Данный алгоритм использует аппроксимацию, которая позволяет сократить порядок матриц с сохранением собственных значений в заданном диапазоне.

В работе [57] предлагается метод распознавания личности по походке, регистрируемой с использованием видеосъемки в оптическом диапазоне, состоящий в выделении движущегося человека на видеоряде с последующей нормализацией размера и снижением размерности с использованием метода главных компонент и классификацией с использованием метода опорных векторов. Экспериментальные исследования показали высокую точность распознавания личности (не менее 90 %).

Недостатками метода главных компонент являются: потеря некоторой информации, стандартизация данных по единичной шкале; ковариационную матрицу трудно оценить точным образом, даже простейшая инвариантность не может быть зафиксирована PCA [58], чувствительность к входным данным.

Скрытые марковские модели (Hidden Markov Models, HMM) учитывают пространственно-временные характеристики сигналов, поэтому получили широкое применение в распознавании изображений лиц. Например, в работе [59] предлагается метод распознавания лиц на основе скрытой марковской модели. Предложенный метод снижает вычислительную сложность распознавания лиц на основе HMM, при этом немного повышая скорость распознавания.

Недостатками HMM являются: ограниченные применения при не очень большом объёме БД; необходимость подбирать параметры модели для каждой конкретной БД.

Метод гибкого сравнения на графах (Elastic Bunch Graph Matching) – метод компьютерного зрения для распознавания объектов или классов объектов в изображении на основе графического представления, извлечённого из других изображений. Данный метод использовался для распознавания и анализа лиц, а также для жестов и других классов объектов.

Недостатками метода гибкого сравнения на графах являются: вычислительная сложность процесса распознавания, а также низкая технологичность при запоминании новых эталонов.

Заключение

Распознавание человека по движениям тела и лицу в видеонаблюдениях играет важную роль в обеспечении безопасности на объектах с массовым скоплением людей, т.к. позволяет раскрыть личность потенциального нарушителя, совершающего преступления, а также предупредить преступления.

Рассмотрены структурные схемы слияния биометрических признаков и принципы их работы, приведено сравнение методов и технологий распознавания человека по движению тела и лицу, показаны их достоинства и недостатки.

На основании проведённого анализа могут быть сформулированы общие рекомендации для разработчиков СКБ по видеонаблюдению:

• СКБ необходимо проектировать как систему поддержки принятия решений;
• необходимо разработать базовую архитектуру СКБ и процесс аутентификации по движению тела и лицу (при комбинировании технологически отработанных методов);
• информационной основой проектируемой СКБ должны быть значения различных биометрических признаков;
• рекомендуется применять мультимодальные системы, которые позволяют объединять несколько биометрических признаков;
• необходимо определить, как будет осуществляться распознавание нарушителя - по одному или по нескольким признакам, как они получены (с одного или нескольких датчиков), и выбрать уровень слияния биометрических признаков.

About the authors

Anna E. Kolodenkova

Author for correspondence.
Email: anna82_42@mail.ru
ORCID iD: 0000-0002-9784-1871
Scopus Author ID: 57190670136
ResearcherId: F-1341-2018

D. Sc. Eng. ,  Associate Professor,  Head of «Information technologies» Department,  member of Russian Association of Artificial Intelligence

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Figure 1 – Fragment of the ontology of the intruder identification process

Download (356KB)

Indexing metadata

3. Figure 2 – Types of biometric features to identify a potential intruder

Download (639KB)

Indexing metadata

4. Figure 3 – Classification of the main biometric features characterizing a potential offender

Download (372KB)

Indexing metadata

5. Figure 4 – Types of human recognition systems

Download (723KB)

Indexing metadata

6. Figure 5 – Block diagram of merging biometric data and recognizing an intruder by body movements and face

Download (467KB)

Indexing metadata

7. Figure 6 – Classification of fusion levels in SKB

Download (345KB)

Indexing metadata

8. Figure 7 – Data fusion at the sensor level

Download (186KB)

Indexing metadata

9. Figure 8 – Data fusion at the feature level

Download (193KB)

Indexing metadata

10. Figure 9 – Data merging at the mapping assessment level

Download (181KB)

Indexing metadata

11. Figure 10 – Data fusion at the decision level

Download (176KB)

Indexing metadata

12. Figure 11 – Schemes of the biometric authentication process: a) registration stage; b) verification stage; c) identification stage X – sign obtained during registration; ZX – set of template features; ZQ – set of request characteristics; Q – biometric feature of the request (sample) obtained at the recognition stages; S – conformity assessment; M – number of violators registered in the database

Download (583KB)

Indexing metadata

13. Figure 12 – Classification of methods and technologies for human recognition by body movement and face

Download (308KB)

Indexing metadata