Improving noise immunity of homography superposition for television signals

Full Text

Введение

Задача проективного совмещения изображений решается при детектировании и распознавании объектов, трехмерной реконструкции, получении единого изображения в многокамерных системах видеонаблюдения, уменьшении объема сохраняемых данных и т. д. [7; 8].

Повышение помехоустойчивости при проективном совмещении телевизионных сигналов является актуальной задачей в системах технического зрения.

Основными источниками помех, приводящих к неверной оценке параметров и, соответственно, к неверному совмещению, являются:

• неверное сопоставление особых точек;
• погрешности оценки координат особых точек из-за шумов и из-за динамических воздействий, приводящих к вибрации и «дрожанию» изображений.

В ряде случаев ситуация осложняется самими изображениями, содержащими периодически повторяющиеся (текстурные) фрагменты. По этой причине одной особой точке могут соответствовать несколько точек на втором изображении.

В статье описан разработанный алгоритм проективного совмещения телевизионных сигналов. Основная процедура алгоритма – это сопоставление особых точек. Для этой цели используется сравнение по коэффициенту корреляции фрагментов изображений в логарифмически полярной системе координат. Для корректного совмещения областей изображения с периодически повторяющимися (текстурными) фрагментами разработана процедура, удаляющая особые точки на подобных областях.

1. Обзор существующих работ

Проблемой оценки параметров проективного совмещения занималось много исследователей.

В работах [2; 4] был предложен способ сопоставления точек с одновременной оценкой параметров по методу RANSAC [3].

Рассматриваются различные сочетания между особыми точками, после чего рассчитываются параметры совмещения.

Преобразовывая точки в соответствии с вычисленным совмещением, оценивают количество совпавших точек (примечание: совпавшими считаются такие точки, между которыми расстояние меньше заданного порога). Сочетание с наибольшим количеством совпавших точек определяет действительное совмещение.

Авторами отмечается, что количество сочетаний равно $C_N^4$ где N – количество особых точек. Данное обстоятельство приводит к значительным временным затратам, что ограничивает применение данного способа.

В работе [1] предполагается двухэтапная процедура обработки совмещений изображений. Однако смещения между опорными точками на изображении не превышает 1 % от размера изображения, что в значительной степени ограничивает круг прикладного использования.

В многочисленных работах, использующих дескрипторы [5; 6] для сопоставления точек и дальнейшего вычисления параметров совмещения, авторами отмечается тот факт, что методы ограничены параметром масштабирования. Если масштаб отличается более чем в 2 раза, то эффективность сопоставления резко снижается.

Предлагаемый способ совмещения ближе всего к способам, использующим дескрипторы. За счет этого достигается более высокая скорость обработки, существенно меньше ограничений на возможные искажения изображений.

Для устранения недостатка, связанного со снижением эффективности из-за масштабных искажений, используется представление изображения в логарифмически полярной системе координат, которая обеспечивает инвариантность к масштабу и повороту при вычислении коэффициента корреляции между двумя фрагментами.

Проективное преобразование описывается следующими формулами:

$\begin{array}{l}x=\frac{h_{11}{x}^{\text{'}}+h_{12}{y}^{\text{'}}+h_{13}}{h_{31}{x}^{\text{'}}+h_{32}{y}^{\text{'}}+1},\\ y=\frac{h_{21}{x}^{\text{'}}+h_{22}{y}^{\text{'}}+h_{23}}{h_{31}{x}^{\text{'}}+h_{32}{y}^{\text{'}}+1}.\end{array}$ (1)

В матричной форме:

$\left(\begin{array}{c}{\lambda }_x\\ {\lambda }_y\\ \lambda \end{array}\right)=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right)\cdot \left(\begin{array}{c}{x}^{\text{'}}\\ y^{\text{'}}\\ 1\end{array}\right)$ (2)

Как можно видеть из формул (1), (2), проективное совмещение описывается 8 параметрами. Соответственно, для их оценки необходимо иметь 4 пары точек (каждая точка содержит по 2 координаты,  чисел для оценки 8 неизвестных).

В случае если количество точек больше четырех, то используется метод наименьших квадратов, который обеспечивает оценку параметров с минимальным среднеквадратичным отклонением между двумя наборами данных. Подробное описание и вывод формул по методу наименьших квадратов приведены в работе [4].

В качестве точек, по которым оцениваются параметры проективного совмещения, используются так называемые особые точки (другие названия: точки интереса, feature points, corners).

В этих точках, как правило, наблюдаются локальные максимумы или минимумы. Существует большое множество вычисления особых точек. В работе был использован так называемый Harris defector [9].

2. Преобразование из декартовой системы координат в логарифмически полярную систему

Одним из ключевых этапов в обработке телевизионных сигналов для предварительного сопоставления точек и дальнейшего вычисления параметров проективного преобразования является представление изображения в логарифмически полярной системе координат.

Идея сопоставления особых точек была заимствована из теории совмещения изображений при аффинном преобразовании, которые оперируют такими параметрами, как смещение вдоль координатных осей, угол поворота и масштаб [10].

Если рассматривать окрестность вокруг особой точки, то проективные искажения будут приводить приблизительно к тем же преобразованиям изображения, что и аффинные искажения. С практической точки зрения это означает, что для сопоставления точек при проективных искажениях можно использовать тот же механизм сопоставления, что и при аффинных искажениях.

Также следует отметить, что в данной задаче есть существенное упрощение. Так как известны координаты особой точки на обоих изображениях, то нет необходимости оценивать смещения. Единственными неизвестными параметрами являются поворот и масштаб.

Ниже представлена процедура представления фрагмента изображения, центром которого является особая точка, в логарифмически полярную систему координат.

Исходными данными являются:

1. img [1:h, 1:w] – изображение высотой h и шириной w;
2. (x₀, y₀) – координаты точки (как правило, особой точки), относительно которой проводится преобразование в логарифмически полярную систему координат;
3. r_beg – начало диапазона для радиуса;
4. r_end – конец диапазона для радиуса;
5. log_r_step – шаг дискретизации логарифма от радиуса;
6. fi_beg – начало диапазона для угла;
7. fi_end – конец диапазона для угла;
8. fi_step – шаг дискретизации для угла.

Выходными данными являются:

img_lp [1:h_lp, 1:w_lp] – представление изображения в логарифмически полярной системе координат, где h_lp – количество элементов вдоль оси «log₂ (радиус)» и w_lp – количество элементов вдоль оси «угол поворота».

h_lp – это количество элементов вектора [log₂ (r_beg); log₂(r_beg) + log_r_step; log₂(r_beg) + +  …; log₂(r_end)].

w_lp – это количество элементов вектора [fi_beg; fi_beg + fi_step; fi_beg +  …; fi_end].

Рассмотрим элемент изображения img_lp с номером N и M (N – номер элемента вдоль оси «log₂(радиус)», M – номер элемента вдоль оси «угол поворота»).

Этому элементу будет соответствовать значение:

• радиуса
• поворота

В исходном изображении этим параметрам будет соответствовать координата:

$$\begin{gathered} x=R\cos \left(\phi \right)+x_0, \\ y=R\sin \left(\phi \right)+y_0. \end{gathered}$$ (3)

Так как значения (x, y) являются в общем случае вещественными числами, а координаты изображения – целыми числами, то используется линейная аппроксимация по трем точкам:

x₁ = round(x);

y₁ = round(y);

z₁ – значение яркости img в точке (x₁, y₁);

x₂ = x₁ +1;

y₂ = y₁;

z₂ – значение яркости img в точке (x₂, y₂);

x₃ = x₁;

x₃ = y₁ + 1;

z₃ – значение яркости img в точке (x₃, y₃).

Вычисляется уравнение плоскости Ax + By + Cz + + D = 0, проходящей через три точки (x₁ y₁ z₁), (x₂ y₂ z₂), (x₃ y₃ z₃).

Значение яркости в точке (x, y) расчитывается как:

$z=\frac{\left(D-Ax-By\right)}{C}$ (4)

Таким образом, в изображении img_lp с номерами N и M будет поставлено значение яркости z, вычисленное по формуле (4).

Пример представления фрагмента изображения в логарифмически полярной системе координат показан на рис. 1.

Рис. 1. Изображение в декартовой (а) и логарифмически полярной системе координат (б)

Fig. 1. Image in Cartesian (a) and logarithmic-polar coordinate systems (b)

Используя данное представление, можно осуществить сопоставление особых точек на совмещаемых изображениях.

3. Сопоставление особых точек

На рис. 2 представлены два изображения: первое совмещаемое изображение, на котором отмечены особые точки, и фрагмент второго изображения в окрестности некоторой особой точки.

Рис. 2. Вычисление коэффициента корреляции между фрагментами изображений: изображение первой камеры в окрестности особой точки в декартовой (а) и логарифмически полярной системе координат (б), изображение второй камеры в окрестности особой точки в декартовой (в) и логарифмически полярной системе координат (г)

Fig. 2. Calculation of the correlation coefficient between image fragments: the image of the first camera in the vicinity of the singular point in the Cartesian (a) and logarithmically polar coordinate systems (b), the image of the second camera in the vicinity of the singular point in the Cartesian (c) and logarithmically polar coordinate systems (d)

На первом изображении этой особой точке соответствует точка, выделенная кружком.

Проводя представление фрагментов изображений в логарифмически полярную систему координат, можно видеть, что фрагмент № 2 является частью фрагмента № 1.

На рис. 2 выделена соответствующая область. Смещения вдоль осей координат «log₂(радиус)» и «угол поворота» соответствуют масштабу и повороту.

Однако для решаемой задачи сопоставления ключевым является тот факт, что коэффициент корреляции между фрагментами в окрестности особой точки близок к единице.

Это свойство и используется для сопоставления особых точек.

На первом изображении выбирается фрагмент вокруг одной точки, и путем сравнения со всеми другими фрагментами на втором изображении определяется сопоставление по максимуму коэффициента корреляции.

4. Повышение помехоустойчивости

Одной из проблем при сопоставлении является низкая помехозащищенность сопоставления особых точек, принадлежащих областям изображения с регулярно повторяющимся (текстурным) сигналом.

На рис. 3 показаны две особые точки на подобной области.

Рис. 3. Особые точки в области изображения с текстурным сигналом

Fig. 3. Special points in the image area with a texture signal

Фрагменты вокруг этих особых точек похожи друг на друга. Это означает, что при сопоставлении будет высока вероятность выбора не той точки (во всех случаях коэффициент корреляции будет близок к единице).

Чтобы избежать этого, в процессе сопоставления проводится контроль коэффициента корреляции. Если найдены два и более фрагмента с высоким коэффициентом корреляции (примечание: в работе использовалось пороговое значение 0,9), то такая точка не будет использоваться для оценки параметров проективного совмещения.

5. Алгоритм обработки и результаты совмещения

На рис. 4 представлены этапы обработки изображений.

Рис. 4. Этапы обработки изображений

Fig. 4. Stages of image processing

6. Результаты обработки изображений

На рис. 5 представлены телевизионные изображения многокамерной системы видеонаблюдения.

Рис. 5. Результат совмещения сигналов многокамерной системы наблюдения: а – изображение первой камеры; б – изображение второй камеры

Fig. 5. Result of combining signals from a multi-camera surveillance system: a – image of the first camera; b – image of the second camera

На рис. 6 показан один из примеров неверного сопоставления особых точек на изображениях. На рис. 6, а обозначены четыре особые точки, при этом точки, отмеченные номерами 1 и 2, соответствуют фрагментам изображения в областях с текстурным сигналом.

Рис. 6. Результат неверного совмещения сигналов многокамерной системы наблюдения: а – сопоставление опорных точек; б – результат совмещения

Fig. 6. Result of incorrect alignment of signals from a multi-camera surveillance system: a – comparison of reference points; b – result of combining

Если рассмотреть фрагмент изображения в окрестности особой точки № 1, то на втором изображении найдется сразу несколько похожих фрагментов. Процедура сопоставления привела к неверному совмещению фрагментов изображений.

Аналогичная ситуация произошла и с точкой № 2.

В результате вычисления параметров проективного преобразования изображения были совмещены неверно, что отчетливо видно на рис. 6, б.

Использование предложенной процедуры повышения помехоустойчивости позволило удалить особые точки, соответствующие фрагментам изображения в областях с текстурным сигналом. Эти точки не участвовали в расчете параметров проективного преобразования, что дало возможность верно совместить изображения.

На рис. 7 показан пример верного совмещения телевизионных изображений.

Рис. 7. Результат верного совмещения сигналов многокамерной системы

Fig. 7. Result of correct alignment of signals of a multi-camera system

В результате совмещения сигналы визуально сформировали единое изображение без каких-либо заметных проективных артефактов (искажений).

7. Численное моделирование

Для оценки помехоустойчивости совещания телевизионных изображений использовался параметр среднеквадратичной величины (SKV):

$SKV=\sqrt{\frac{{\displaystyle \sum _{i=1}^N{\left({x^{\text{'}}}_i-{x^{\text{'}\text{'}}}_i\right)}^2+{\left({y^{\text{'}}}_i-{y^{\text{'}\text{'}}}_i\right)}^2}}{N}},$ (5)

где (x_i, y_i) – координаты опорных точек первого телевизионного изображения; $\left(x_i^{\text{'}}; y_i^{\text{'}}\right)$ – координаты опорных точек второго телевизионного изображения; $\left(x_i^{\text{'}\text{'}}; y_i^{\text{'}\text{'}}\right)$ – координаты опорных точек, пересчитанные с учетом вычисленных параметров проективного совмещения; N – количество опорных точек.

Координаты (x_i, y_i), $\left(x_i^{\text{'}}; y_i^{\text{'}}\right)$, $\left(x_i^{\text{'}\text{'}}; y_i^{\text{'}\text{'}}\right)$ связаны между собой:

${x^{\text{'}}}_i=\frac{x_i{h}_{11}+y_i{h}_{12}+h_{13}}{x_i{h}_{31}+y_i{h}_{32}+1},$ ${y^{\text{'}}}_i=\frac{x_i{h}_{21}+y_i{h}_{22}+h_{23}}{x_i{h}_{31}+y_i{h}_{32}+1},$ (6)

${x^{\text{'}\text{'}}}_i=\frac{x_i{h^{\text{'}}}_{11}+y_i{h^{\text{'}}}_{12}+{h^{\text{'}}}_{13}}{x_i{h^{\text{'}}}_{31}+y_i{h^{\text{'}}}_{32}+1},$ ${y^{\text{'}\text{'}}}_i=\frac{x_i{h^{\text{'}}}_{21}+y_i{h^{\text{'}}}_{22}+{h^{\text{'}}}_{23}}{x_i{h^{\text{'}}}_{31}+y_i{h^{\text{'}}}_{32}+1},$ (7)

где h₁₁, h₁₂, ..., h₃₂ – действительные параметры преобразования; $h_{11}^{\text{'}}, h_{12}^{\text{'}}, ..., h_{32}^{\text{'}}$ – оценка параметров по алгоритму обработки.

На рис. 8 представлены результаты вычисленных погрешностей с использованием алгоритмов сопоставления опорных точек [1; 6] при различной мощности шума.

Рис. 8. Результаты численного моделирования

Fig. 8. Results of numerical simulation

Из рис. 8 видно, что наименьшее значение погрешностей обеспечивает разработанный алгоритм. Алгоритм [1] характеризуются более высокими погрешностями, что связано с наличием масштабных искажений, которые не могут быть скомпенсированы данным алгоритмом. Алгоритм [6] совпадает с разработанным алгоритмом при малых значениях мощности шума. Но дескрипторы [6] более чувствительны к мощности шума, что приводит к резкому увеличению погрешностей с ростом мощности шума.

Заключение

В статье представлен алгоритм проективного совмещения телевизионных сигналов и описана процедура, направленная на повышение помехоустойчивости при оценке параметров совмещения.

Наиболее близкими по способу обработки к предложенному алгоритму являются решения, использующие дескрипторы.

Однако существенным достоинством является снижение чувствительности к масштабным искажениям.

Разработанный алгоритм, в частности, можно использовать в многомерных системах видеонаблюдения для автоматического расчета параметров совмещения. Проблема совмещения текстурных областей решается путем контроля коэффициента корреляции на этапе сопоставления особых точек.

Статья может быть полезна разработчикам систем технического зрения и разработчикам алгоритмов обработки телевизионных сигналов.

About the authors

Alfiya A. Diyazitdinova

Author for correspondence.
Email: a.miftahova@psuti.ru
ORCID iD: 0000-0001-8940-4543

head of the Research Department, Povolzhskiy State University of Telecommunications and Informatics, Samara, Russia.

Research interests: computer signal processing, television signals superposition, television signals parameters estimation, object’s recognition at machine vision.

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Image in Cartesian (a) and logarithmic-polar coordinate systems (b)

Download (258KB)

Indexing metadata

3. Fig. 2. Calculation of the correlation coefficient between image fragments: the image of the first camera in the vicinity of the singular point in the Cartesian (a) and logarithmically polar coordinate systems (b), the image of the second camera in the vicinity of the singular point in the Cartesian (c) and logarithmically polar coordinate systems (d)

Download (365KB)

Indexing metadata

4. Fig. 3. Special points in the image area with a texture signal

Download (173KB)

Indexing metadata

5. Fig. 4. Stages of image processing

Download (153KB)

Indexing metadata

6. Fig. 5. Result of combining signals from a multi-camera surveillance system: a – image of the first camera; b – image of the second camera

Download (1MB)

Indexing metadata

7. Fig. 6. Result of incorrect alignment of signals from a multi-camera surveillance system: a – comparison of reference points; b – result of combining

Download (1MB)

Indexing metadata

8. Fig. 7. Result of correct alignment of signals of a multi-camera system

Download (456KB)

Indexing metadata

9. Fig. 8. Results of numerical simulation

Download (225KB)

Indexing metadata