Data credibility when populating ontologies and knowledge graphs

Full Text

Введение

Современное глобальное информационное пространство невозможно представить и проанализировать усилиями человека, даже если речь идёт об экспертах в конкретных предметных областях (ПрО). Одним из путей решения данной проблемы стало использование методов автоматического анализа данных, которые широко применяются во всех сферах человеческой деятельности, связанной с обработкой информации. В первую очередь это методы обработки неструктурированных источников, например текстов, изображений и веб-страниц, позволяющие извлекать определённую информацию и представлять её в структурированном виде — в базах данных, онтологиях и графах знаний. Последние являются основным, на данный момент, способом интеграции больших структурированных данных [1]. Для извлечения информации применяется множество различных методов и подходов: от конвейерных процессов на основе технологии Apache NiFi [2] до трансформерных нейросетей типа BERT [3]. Полученные графы затем применяются в интеллектуальных информационных системах (ИС) как источники знаний и основа логического вывода [4].

Обработка большого числа источников почти неизбежно приводит к появлению противоречивых знаний, т.е. нескольких альтернативных утверждений относительно одной и той же сущности. Это могут быть, к примеру, разные прогнозы погоды, цены акций, ожидаемое время прибытия авиарейсов, противоречивая информация о местах жительства или работы людей и т.д. Противоречия возникают как вследствие ошибок, так и потому, что информация, предоставленная источником, давно не обновлялась и устарела¹. Таким образом, требуется не просто извлечь знания из источника, но и оценить их надёжность или уровень доверия к ним. В данной работе предлагается метод оценки доверия к информации, извлекаемой из различных источников для пополнения базы знаний (БЗ) ИС, основанной на онтологии.

1. Обзор предшествующих работ

Проблема оценки надёжности знаний, особенно в тех случаях, когда знания, полученные из разных источников, противоречат друг другу, исследуется давно. В работах [5, 6] надёжность источников и извлекаемых данных оценивались по заранее заданным правилам. Информация зачастую предполагалась статичной, т.е. представленной в виде завершённой таблицы соответствия фактов и источников [7, 8], которая затем не изменяется. В работах [9, 10] рассматриваются ситуации, когда информация из источников поступает последовательно, а истинные знания изменяются со временем. Исследования проводились на численных данных, в качестве примеров были выбраны прогнозы среднесуточной температуры, прогнозы капитализаций на фондовых рынках и время прибытия авиарейсов. Проведённый анализ результатов показал эффективность предлагаемых решений.

Более сложной задачей является оценка текстовых данных. Предметом исследования в данном направлении являются социальные сети: с одной стороны как источник большого количества противоречивой информации, с другой — как средство, оказывающее значительное влияние на образ мыслей и мнение людей. В работах [11, 12] исследовались способы и пути распространения слухов внутри социальных сетей. В [11] рассмотрены механизмы распространения слухов, проанализированы их жизненные циклы и зависимость таких показателей, как уровень поддержки и обсуждаемость, от типов пользователей, вовлекаемых в их распространение. Исследование [12] сосредоточено на верификации слухов. В работе [13] собран набор данных и разработана мультимодальная модель машинного обучения для решения задачи обнаружения и верификации слухов, касающихся девяти различных событий. Каждый элемент набора данных был аннотирован одной из трёх меток в зависимости от степени надёжности: Правда (True), Неправда (False) и Не подтверждено (Unverified). Схожая задача оценки высказываний пользователей решалась в [14] при помощи серии известных методов машинного обучения: наивный байесовский классификатор, логистическая регрессия, метод опорных векторов, деревья решений и др.

Сложность задач исследования в области анализа надёжности информации возрастает с ростом объёмов доступной информации и стремительным распространением ложной информации. Методы глубокого обучения применяются как современное и мощное средство. Разработанный в [12, 13] набор данных применялся для анализа новостей в социальной сети Twitter [15]. В [16] использована нейросетевая модель на основе свёрточных и рекуррентных нейронных сетей для распознавания ложной информации.

2. Модель доверия

2.1 Факты в онтологии

Пусть БЗ ИС построена на основе онтологии $\mathcal{O}$ некоторой ПрО, где $\mathcal{O}=\left\{C_O,D_O,Da{t}_O,Re{l}_O\right\}$. Конечное непустое множество $C_O$ представляет совокупность концептов ПрО, конечные непустые множества $D_O$, $Da{t}_O$ и  $Re{l}_O$— соответственно доменов, атрибутов и отношений. Каждый атрибут из $Da{t}_O$ имеет область значений $d\in D_O$, а элементы множества  $Re{l}_O\subseteq C_O\times C_O$— это бинарные отношения между концептами из $C_O$. Объединение $Da{t}_O\cup Re{l}_O$ атрибутов и отношений называется множеством свойств онтологии $\mathcal{O}.$. Класс можно определить в виде тройки $(c,Da{t}_c,Re{l}_c)$, где через  обозначено имя класса,$Da{t}_c\subseteq Da{t}_O,$  $Re{l}_c\subseteq Re{l}_O$— его свойства. Каждый атрибут ${\alpha }^c\in Da{t}_c$ имеет область значений $d_{{\alpha }^c}\in D_O$, а каждое отношение ${\rho }^c\in Re{l}_c$ связывает класс с некоторым классом $c_{{\rho }^c}\in C_O$. Класс или множество классов $c_{{\rho }^c}$ образуют область значений отношения ${\rho }^c$.

Пусть $a\in c_a$, если a является экземпляром класса $c_a\in C_O$. Экземпляр представляется тройкой вида $a=\left(c_a,Da{t}_a,Re{l}_a\right)$ такой, что  $Da{t}_a=\left\{\left(\alpha ,V_{{\alpha }_a}\right)|\alpha \in Da{t}_{c_a},V_{{\alpha }_a}\subseteq d_{\alpha }\in D_O\right\}$— атрибуты экземпляра a, и  $Re{l}_a=(\rho ,V_{(}{\rho }_a)\left)\right|\rho \in Re{l}_{(}{c}_a\left)\right)$— его связи с другими экземплярами. Здесь $V_{{\rho }_a}$— множество экземпляров, с которыми a связан отношением p.

В данной работе задача пополнения БЗ ИС рассматривается как задача пополнения онтологии, т.е. как добавление, удаление и изменение экземпляров в соответствии с данными, полученными извне. При этом за областью рассмотрения остаётся редактирование ядра онтологии — множества $\mathcal{O}$. В терминах ИС, БЗ которой построена на основе онтологии, единицей информации считается минимальное знание об экземпляре ПрО — значение его атрибута или его связь с другим экземпляром. Можно называть такое знание единичным фактом или просто фактом. Автоматическая обработка текстовых источников позволяет извлекать факты и добавлять их в БЗ ИС. Информация, полученная из разных источников, может оказаться противоречивой, порождая множества конфликтных фактов. Требуется ранжировать эти множества по уровню доверия таким образом, чтобы предоставить пользователям ИС наиболее надёжную информацию.

При оценке доверия к фактам предлагаемая в данной работе модель основывается на доступной информации об источниках, из которых факты были получены. Под источниками здесь понимаются общедоступные электронные ресурсы, из которых извлекаются численные или текстовые данные. Предполагается, что в ИС используются некоторые качественные показатели источников, например рейтинг, если таковые доступны, или создаются собственные оценки, опираясь на всю информацию, доступную на текущий момент. Это означает, что модель доверия учитывает характеристики источников данных, но не включает описание методов их получения. Необходимо только, чтобы данные характеристики принимали значения из множества ${ℝ}^{+}$. В любой момент времени множество источников, из которых извлекаются факты для пополнения БЗ ИС, конечно. Пусть это будет множество S, а для любого источника $s\in S$ искомая качественная характеристика — ${\mu }^s$. В дальнейшем индекс s в обозначении ${\mu }^s$ будет опускаться в тех случаях, когда не имеет значения, из какого конкретного источника была получена информация.

2.2  Доверие как случайный процесс

В каждый момент времени для факта F, являющегося частью экземпляра $a$, должна быть определена величина, показывающая насколько надёжным является данный факт по сравнению с другими фактами в ИС,$T{r}^F$- трастовая метрика. БЗ не является статичной, и с появлением новых источников, содержащих другие факты об $a$, доверие к  может изменяться. История изменений $T{r}^F$ представляет собой последовательность, в которой каждый следующий член зависит только от предыдущего, а также от поступившего в обработку источника $s\in S$. ИС может считать или не считать факт F достоверным, т.е.  имеет два потенциальных состояния: Ненадёжный (Unreliable, U) и Надёжный (Reliable, R). Информация о том, в каком из состояний на данный момент находится F эквивалентна его $T{r}^F$. Последовательность значений $T{r}^F$ становится эквивалентной последовательности вида $\left(X_t,t=\mathrm{0,1,}\dots \right)$ дискретных случайных величин, принимающих значения из бинарного множества состояний $\left\{U,R\right\}$. Тогда для последовательности $\left(X_t\right)$ выполняется условие $P\left(X_k=x_k|X_{k_1}=x_{k_1},X_{k_2}=x_{k_2},\dots ,X_{k_r}=x_{k_r}\right)=P\left(X_k=x_k|X_{k_r}=x_{k_r}\right)$, для любых $k_1<k_2<k_3<\dots <k_r<k$, т.е. она удовлетворяет определению марковских случайных процессов.

Следующий член случайного процесса вычисляется всякий раз, когда в систему поступает новая информация об F. Пусть  T- множество моментов времени, соответствующих членам случайного процесса $X_t$, т.е. $t\in T$. Значение $T{r}^F$ в момент t оценивается как вероятность того, что факт F является надёжным, т.е. $T{r}^F=P\left(X_t^F=R\right)$.

Для любого t величина $X_t$ распределена как $\left({\pi }_U^t,{\pi }_R^t\right)$, где ${\pi }_x^t=P\left(X_t=x\right)$. Вектор распределения $\overline{\pi }=\left({\pi }_U,{\pi }_R\right)$ можно назвать вектором распределения доверия (Trust Distribution Vector, TDV). TDV показывает вероятность факта оказаться достоверным или недостоверным. Очевидно, что ${\pi }_U+{\pi }_R=1$. Распределение $\overline{\pi }=\left(\frac{1}{2},\frac{1}{2}\right)$ и близкие к нему соответствуют состоянию неопределённости, когда судить о достоверности F невозможно.

Согласно теории случайных процессов, вектор ${\overline{\pi }}^{t+1}=\left({\pi }_U^{t+1},{\pi }_R^{t+1}\right)$ получается умножением вектора предыдущего шага ${\overline{\pi }}^t$ на $2\times 2$ стохастическую матрицу перехода $P\left(t,t+1\right)$. Элементы $p_{ij}\left(t,t+1\right)$ матрицы  $P\left(t,t+1\right)$— это вероятности перехода из i-го состояния в j-e на шаге (t + 1), при этом $p_{i1}+p_{i2}=\mathrm{1,}$$i=\mathrm{1,}2$. Здесь и далее предполагается, что состояния 1 и 2 — это состояния U и R соответственно. В таких обозначениях ${\pi }_1={\pi }_U,$${\pi }_2={\pi }_R$.

2.3  Переходная матрица случайного процесса

В рамках модели матрица перехода $P\left(t,t+1\right)$ представляется как функция от $\mu$ и вектора ${\overline{\pi }}^t$.    

  $P\left(t,t+1\right)=softmax\left({\pi }^{\top }\left(\begin{array}{cc}\frac{{\pi }_1}{\mu }& \mu {\pi }_2\end{array}\right)\right) = \left(\begin{array}{c}softmax\left(\frac{{\pi }_1^2}{\mu }, \mu {\pi }_1{\pi }_2\right)\\ softmax\left(\frac{{\pi }_1{\pi }_2}{\mu }, \mu {\pi }_2^2\right)\end{array}\right)=$

 

$= \left(\begin{array}{cc}\frac{1}{1+e^{{\pi }_1\left(\mu {\pi }_2-\raisebox{1ex}{${\pi }_1$}\!\left/ \!\raisebox{-1ex}{$\mu $}\right.\right)}}& \frac{1}{1+e^{{\pi }_1\left(\raisebox{1ex}{${\pi }_1$}\!\left/ \!\raisebox{-1ex}{$\mu $}\right. -\mu {\pi }_2\right)}}\\ \frac{1}{1+e^{{\pi }_2\left(\mu {\pi }_2-\raisebox{1ex}{${\pi }_1$}\!\left/ \!\raisebox{-1ex}{$\mu $}\right.\right)}}& \frac{1}{1+e^{{\pi }_2\left(\raisebox{1ex}{${\pi }_1$}\!\left/ \!\raisebox{-1ex}{$\mu $}\right. -\mu {\pi }_2\right)}}\end{array}\right).$

Из формулы (1) следует, что увеличение рейтинга $\mu$ источника информации ведёт к росту вероятности перехода в состояние R и наборот — информация из источников с низким рейтингом способствует переходу в состояние U. Функция $softmax\left(\overline{x}\right)=$${\left(\frac{e^{x_i}}{{\displaystyle {\sum }_{j=1}^n{e}^{x_j}}}\right)}_i$ $\overline{x}=\left(x_1,x_2,\dots ,x_n\right)$ необходима для представления категориального распределения по строкам матрицы P.

Матрица P обладает несколькими полезными свойствами как функция $P\left(\mu ,{\overline{\pi }}^t\right)$. На основании формулы (1) можно заключить, что с уменьшением рейтинга источника доверие к получаемой из него информации также уменьшается вплоть до нуля. Заведомо ложный источник с $\mu =0$ приводит любой TDV, кроме (0, 1) , к вектору (1, 0)  за один шаг. Вектор(0, 1) , т.е. такой, где ${\pi }_1=0$, приводит к $P = \left(\begin{array}{cc}\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.& \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\\ \frac{1}{1+e^{\mu }}& \frac{1}{1+e^{-\mu }}\end{array}\right)$$\stackrel{\mu \to 0}{\to }\left(\begin{array}{cc}\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.& \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\\ \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.& \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\end{array}\right)$. Таким образом, заведомо ложный источник переводит идеальный TDV(0, 1)  в $\left(\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.,\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\right)$.

Аналогично, в случае заведомо надёжного источника, при $\mu \to \infty$, матрица P переводит любой TDV, кроме (1, 0), в идеальный вектор (0, 1). В случае ${\pi }_2=0$  $P \stackrel{\mu \to \infty }{\to }$$\left(\begin{array}{cc}\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.& \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\\ \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.& \raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\end{array}\right)$. Это означает, что заведомо надёжный источник переводит распределение (1, 0) в $\left(\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.,\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$2$}\right.\right)$.

Третьим полезным следствием формулы (1) является тот факт, что для любого распределения $\overline{\pi }$ ${\left(\overline{\pi }P\right)}_2\left({\mu }_1\right)<{\left(\overline{\pi }P\right)}_2\left({\mu }_2\right)$ при ${\mu }_1<{\mu }_2$, т.е. доверие $T{r}^F$ монотонно как функция от $\mu$.

3. Экспериментальные исследования

3.1 Параметры и обозначения

ИС, реализующая модель доверия для оценки поступающих данных, полагается на качественные показатели источников, из которых они получены. Модель не содержит описания методов оценки источников. При доступности достаточного количества альтернативных фактов существуют методы, позволяющие параллельно оцениванию доверия к информации, «взвесить» её источники. В данной работе предлагается метод параллельного оценивания, основанный на [9, 10]. В этих работах описанные модели использовались для численных данных, таких как прогнозы среднесуточной температуры, количество пешеходов на улице, капитализация компаний на фондовых рынках и т.п. Основная решаемая с использованием моделей задача состоит в вычислении по имеющейся альтернативной информации из источников единственного агрегированного значения, наиболее близкого к истинному. Предлагаемая в данной работе модель предназначена для ранжирования всех полученных альтернативных значений по степени доверия к ним.

Входными параметрами оригинальных моделей [9, 10] являются множество моментов времени T, источников S и множество O объектов, информация о которых извлекается из источников. Источник $s\in S$ имеет вес $w_s\in {ℝ}^{+}$, и в момент времени t из него извлекается информация об $c_t^s\ge 0$ объектах. Решение задачи заключается в минимизации потерь вида (2).

$L_t=\theta \underset{s=1}{\overset{S}{}}{w}_s\underset{o=1}{\overset{c_t^s}{}}{\left(v_{o,t}^s-v_{o,t}^{\text{*}}\right)}^2-\underset{s=1}{\overset{S}{}}{c}_t^{s}log\left(w_s\right).$          (2)

Здесь $v_{o,t}^s$ и  $v_{o,t}^{\text{*}}$— это, соответственно, значение, полученное для объекта o из источника s в момент времени t и агрегированное значение, вычисленное для o в момент t. Для минимизации потерь необходимо, с одной стороны, уменьшить вес источников, дающих информацию, сильно отличающуюся от агрегированного значения, с другой — избегать приближения весов к нулю. Значение параметра $\theta$ задаётся заранее.

В данном случае объектами выступают факты, т.е. единицы информации об экземплярах концептов онтологии ПрО. Количество источников заранее неизвестно, однако в любой момент времени оно конечно, поэтому, без ограничения общности, можно считать множество источников аналогичным таковому в оригинальной модели в ситуации, когда источник s может не содержать информации о конкретном объекте в момент времени t. Это означает, что в момент t учитываются только те источники, из которых удалось извлечь требуемую информацию. Множеством, аналогичным множеству объектов O, будет $\mathcal{F}=\left\{f|f=\left(a,\alpha \right),a\in c_a\in C_O,\alpha \in Da{t}_{c_a}\cup Re{l}_{c_a}\right\}$ — множество пар экземпляр/свойство, которое можно назвать множеством типов извлекаемых фактов. В этом случае $v_{f,t}^s$  дополняет пару $ƒ$ до законченного триплета, т.е. факта. Время T при этом соответствует определению, данному в разделе 2.2. Полный список обозначений приведён в таблице 1.

 

Таблица 1 – Принятые обозначения

Обозначение	Определение
S	Количество источников, из которых извлекается информация. $S<+\infty$.
$w_s$	Вес источника s.
$\mathcal{F}$	Множество типов извлекаемых фактов.
T	Множество моментов времени.
$v_{f,t}^s$	Факт типа , полученный из источника s в момент t.
$v_{f,t}^{\text{*}}$	Агрегированное значение f в момент t.
$c_t^s$	Количество фактов, полученных из источника s в момент t.
D	База данных ИС.
$D_{f,t}$	Количество альтернативных значений f в базе данных в момент t.

$v_f^j$	j-е альтернативное значение f в D.
$e_{f,t}^s$	Ошибка источника s в момент t на факте типа f.

 

В работе [9] рассмотрены ситуации, когда истинное знание постоянно меняется, то есть истинное значение факта зависит от . Это соответствует задачам оценки прогнозов погоды или количества товаров на складе. Существуют задачи, где истинное знание не изменяется длительное время, но могут появляться источники, распространяющие неточную информацию и порождающие новые альтернативные значения. В качестве примера можно привести количество сотрудников в организации, данные статистических исследований, место работы или жительства персоны и т.п. В подобных ситуациях альтернативных значений сравнительно немного, они распространяются разными источниками и поэтому могут быть извлечены ИС многократно. Для таких случаев предлагается использовать функцию потерь (3), которая, наряду с новой информацией, учитывает и ту, что уже содержится в БЗ ИС.

$L_t=\theta \left(\underset{s=1}{\overset{S}{}}{w}_s\underset{f=1}{\overset{c_t^s}{}}{\left(v_{f,t}^s-v_{f,t}^{*}\right)}^2+\lambda \underset{f\in \mathcal{F}}{}\underset{j=1}{\overset{D_{f,t}}{}}Tr\left(v_f^j\right){\left(v_f^j-v_{f,t}^{*}\right)}^2\right)-\underset{s=1}{\overset{S}{}}{c}_t^{s}log\left(w_s\right).$(3)

В формуле (3) гиперпараметры $\theta$ и $\left|\lambda \right|$ также должны быть заданы предварительно. Агрегированные значения в рамках построенной модели доверия носят вспомогательный характер и необходимы только для взвешивания источников и вычисления рейтинговых характеристик ${\mu }_{f,t}^s=\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$e_{f,t}^s$}\right.$, вычисляемых как величина, обратная ошибке $v_{f,t}^s$ по отношению к $v_{f,t}^{\text{*}}$. Величина ${\mu }_{f,t}^s$ используется при оценке доверия к $v_{f,t}^s$. В зависимости от вида функции потерь агрегированные значения $v_{f,t}^{\text{*}}$ вычисляются по одной из формул (4):

$v_{f,t}^{*}=$$\frac{{\displaystyle {\sum }_{s=1}^S{w}_s\cdot v_{f,t}^s}}{{\displaystyle {\sum }_{s=1}^S{w}_s}};$  $v_{f,t}^{*}=$  $\frac{{\sum }_{s=1}^S{w}_s\cdot v_{f,t}^s}{{\sum }_{s=1}^S{w}_s\cdot v_{f,t}^s}$$\frac{+\lambda {{\displaystyle \sum }}_{j=1}^{D_{f,t}}Tr\left(v_f^j\right)v_f^j}{+\lambda {{\displaystyle \sum }}_{j=1}^{D_{f,t}}Tr\left(v_f^j\right)}$.   (4)

Вид формулы для $v_{f,t}^{\text{*}}$ не влияет на способ взвешивания источников. Их веса вычисляются по формуле (5), применяемой в работе [9].

$w_s=\frac{2\alpha -2+{{\displaystyle \sum }}_{t=1}^T{c}_t^s}{2\beta +\theta {{\displaystyle \sum }}_{t=1}^T{{\displaystyle \sum }}_{f=1}^{c_t^s}{\left(e_{f,t}^s\right)}^2} .$ (5)

В [9] была доказана сходимость процесса взвешивания, т.е. веса источников при такой оценке сходятся к определённым значениям. Начальные веса определяются случайно и подчиняются гамма-распределению с параметрами $\alpha$ и $\beta$.

3.2 Результаты на наборах численных данных

Оригинальные модели предназначены для работы с численными данными, соответственно, все  $v_{f,t}^s$— это целые или вещественные числа. Предлагаемая модель оценки доверия, обозначенная Markov Trust Evaluation model (MarkTE), сравнивалась с моделью агрегации [9] DYNAmic Truth Discovery (DynaTD) на случайно сгенерированных массивах данных разных размеров, представленных в таблице 2.

 

Таблица 2 – Искусственные наборы данных

	S	T	$\mathcal{F}$
Small	10	15	50
Medium	65	45	250
Large	150	100	500

 

Приведены результаты решения двух задач, обозначенных как NF и FX. Задача NF (Not Fixed truth) соответствует ситуации, когда из каждого источника в каждый момент времени извлекается значение $v_{f,t}^s$, а истинные значения зависят от t. Это означает, что для каждого $f\in \mathcal{F}$ и каждого t существует отдельное истинное значение $v_{f,t}^a$. Условия задачи NF соответствуют таковым в экспериментах, приведённых в работах [9, 10]. Так как истинные значения постоянно меняются, то в функции (3) не имеет смысла учитывать информацию, полученную ранее, поэтому в задаче NF в формуле (4) принята $\lambda =0$. Задача FX (FiXed truth) соответствует ситуации, когда значение вида $v_{f,t}^s$ может быть извлечено из источника s не гарантированно, но с некоторой вероятностью, распределённой как $U_{\left(\mathrm{0.4,0.6}\right)}$, а истинные значения $v_f^a$ фиксированы и не зависят от времени. При этом количество альтернатив для $ƒ$ также фиксировано, а одни и те же значения могут встречаться в разных источниках в разное время. Данная ситуация схожа с теми, на которые ориентирована модель MarkTE, и при оценке учитывалась информация из БЗ с $\lambda >0$. Путём экспериментов в условиях задач NF и FX, предложенная модель доверия была протестирована в разных условиях.

Для каждой задачи были сгенерированы отдельные наборы данных. Каждый источник $s\in S$ получил истинный вес $w_s^a$, и для каждого $f\in \mathcal{F}$ были определены истинные значения. Вероятность того, что источник предоставил информацию, не соответствующую действительности, обратно пропорциональна его весу. Как показано на рисунке 1, максимальная, средняя и медианная ошибки источников тем больше, чем меньше назначенный им истинный вес. Ошибки вычислялись как $\left|v_{f,t}^s-v_{f,t}^a\right|$ в задаче NF и $\left|v_{f,t}^s-v_f^a\right|$ в задаче FX.

 

Рисунок 1 – Ошибки источников в зависимости от их истинного веса

Figure 1 – Source errors depending on their true weight

 

Характеристики ${\mu }_{f,t}^s$ для переходных матриц (1) вычислялись как ${\mu }_{f,t}^s=\raisebox{1ex}{$1$}\!\left/ \!\raisebox{-1ex}{$e_{f,t}^s$}\right.$, где $e_{f,t}^s=\left|v_{f,t}^s-v_{f,t}^{\text{*}}\right|$. Зная вектор распределения доверия ${\overline{\pi }}^{t-1}$ значения $v_{f,t}^s$, распределение на шаге t вычислялось как ${\overline{\pi }}^t={\overline{\pi }}^{t-1}\cdot P\left({\mu }_{f,t}^s\right)$. Веса источников последовательно пересчитывались по формуле (5). Зависимость весов, вычисленных на основе модели MarkTE, от ошибок источника на истинных значениях показана на рисунке 2.

 

Рисунок 2 – Ошибки источников в зависимости от их вычисляемого веса

Figure 2 – Errors of sources depending on their calculated weight

 

Сходство графиков на рисунках 1 и 2 говорит о том, что веса источников, предоставивших информацию, близкую к истинной, сходятся к величинам бо́льшим, нежели те, к которым сходятся веса источников, содержащих информацию, далекую от истины. Таким образом, источники были взвешены корректно, и более надёжные получили бо́льшие веса по сравнению с менее надёжными.

Модель оценки доверия служит для ранжирования полученных знаний, тогда как модель DynaTD выполняет агрегацию. Для сравнения полученных результатов была введена операция агрегации (6) для всех , таких что  существует, выполняемая на основе оценок доверия полученных знаний, а не их источников, как в (5).

$v_{f,t}^m=$$\frac{{\displaystyle {\sum }_{s=1}^S{v}_{f,t}^s Tr\left(v_{f,t}^s\right)}}{{\displaystyle {\sum }_{s=1}^{S}Tr\left(v_{f,t}^s\right)}}$                                                                             (6)

В качестве показателей эффективности были использованы результаты сравнения полученных агрегированных значений с истинными: средняя абсолютная ошибка (Mean Absolute Error, MAE) и средняя квадратичная ошибка (Root Mean Squared Error, RMSE

                                                    

$\begin{array}{rr}V& =\left\{\left(t,s,f\right)\in T\times S\times \mathcal{F}|\exists v_{f,t}^s\right\}\\ MAE& =\frac{{\displaystyle {\sum }_{\left(t,s,f\right)\in V}\left|v_{f,t}^s-v_{f,t}^a\right|}}{\left|V\right|}\\ RMSE& =\sqrt{\frac{{\displaystyle {\sum }_{\left(t,s,f\right)\in V}{\left(v_{f,t}^s-v_{f,t}^a\right)}^2}}{\left|V\right|}}.\end{array}$

Базисный уровень был реализован двумя дополнительными моделями Mean и Median. Агрегированные значения $v_{f,t}^{\text{*}}$ в модели Mean вычисляются как среднее по всем $v_{f,t}^s$, в модели Median агрегацию выполняет функция медианы.

Результаты оценки MAE и RMSE для всех моделей и наборов данных на каждой задаче приведены в таблице 3. Видно, что агрегированные значения, полученные по формуле (6) на основе оценок доверия в соответствии с моделью MarkTE, в большинстве случаев оказались ближе к истинным. Отсюда можно заключить, что эффективность модели MarkTE находится на конкурентном уровне по сравнению с моделью DynaTD и другими, сравнения с которыми были проведены в [9]. Полученные оценки доверия оказались более точными весовыми коэффициентами при агрегации.

 

Таблица 3 – Сравнение результатов моделей MarkTE, DynaTD, Mean и Median

Задача		Мера	MarkTE	DynaTD	Mean	Median
Small	NF	MAE	0,4367	0,5448	2,8096	0,5601
		RMSE	0,5765	0,9925	3,5978	0,7068
	FX	MAE	0,3841	0,5306	0,5449	0,6093
		RMSE	0,542	0,673	0,6888	0,8243
Medium	NF	MAE	0,2093	0,2087	1,2755	0,2507
		RMSE	0,2674	0,3603	1,5951	0,3155
	FX	MAE	0,3297	0,6205	0,6377	0,8149
		RMSE	0,4289	0,7759	0,7969	1,0263
Large	NF	MAE	0,1389	0,132	1,9844	0,1688
		RMSE	0,1814	0,2727	2,4887	0,2117
	FX	MAE	0,2791	0,582	0,6018	0,7967
		RMSE	0,3599	0,7325	0,757	1,0124

 

Рисунок 3 – Оценка доверия к фактам в зависимости от абсолютной ошибки

Figure 3 – Assessment of confidence in facts depending on the absolute error

 

Каждая единица информации, выраженная значением $v_{f,t}^s,$ получила оценку доверия $Tr\left(v_{f,t}^s\right)$. На рисунке 3 показана зависимость $Tr\left(v_{f,t}^s\right)$ от абсолютной ошибки $\left|v_{f,t}^s-v_{f,t}^a\right|$ на примере задачи Medium+NF.

 Набор данных Medium (см. таблицу 2) содержал 65 $\cdot 45\cdot 250=731250$ значений. В целях наглядности на рисунке 3 представлены результаты для случайной выборки из 100 значений. На графике видна очевидная тенденция уменьшения доверия с ростом ошибки, из чего можно заключить, что предлагаемая модель MarkTE корректно оценивает доверие к поступающим в ИС данным, назначая наибольшие показатели доверия значениям с минимальной ошибкой.

Заключение

Предлагаемая модель оценки доверия к информации, извлекаемой из внешних источников для пополнения БЗ ИС, построенной на основе онтологии некоторой ПрО, способна демонстрировать эффективные показатели по сравнению с другими моделями на задачах оценки численных данных. В качестве данных могут выступать показатели, например, стоимость акций и капитализация компаний, информация о наличии товаров на складе и др. В общем случае модель MarkTE способна оценить доверие к текстовым данным или данным, представленным в виде RDF-триплетов, что соответствует их представлению в онтологиях.

 

¹ В современном информационном пространстве особое значение приобретает проблема выявления заведомо ложной или умышленно искажённой информации. Прим. ред.

 

About the authors

Alexey S. Sery

A.P. Ershov Institute of Informatics Systems of Siberian Branch of RAS

Author for correspondence.
Email: alexey.seryj@iis.nsk.su
ORCID iD: 0000-0001-8275-4700
Scopus Author ID: 56403204900
ResearcherId: K-1557-2018

Junior Researcher

Russian Federation, Novosibirsk

References

Supplementary files