Показатели качества информационно-поисковых систем

Показатели качества информационно-поисковых систем. Полнота и точность выдачи

Существует много способов оценить насколько хорошо документы, найденные ИПС, соответствуют запросу. К сожалению, понятие степени соответствия запроса, или другими словами релевантности, является субъективным понятием, а степень соответствия зависит от конкретного человека, оценивающего результаты выполнения запроса.

Точность (precision)

Определяется как отношение числа релевантных документов, найденных ИПС, к общему числу документов:

$\mbox{Precision}=\frac{| D_{rel} \cap\ D_{retr} |}{| D_{retr} |}$ ,

где $D rel$ — это множество релевантных документов в базе, а $D retr$ — множество документов, найденных системой. По результатм исследований компании, оценивающей релевантность показателей основных русских и зарубежных поисковых систем.

Точность рамблера~ 0,756. яндекса~0.706, гугла~0.899 апорта~0.705 yahoo~0.689 altavista~0.698 Эти показатели были получены на основе анализа запроса на слово cat и по тому, как много релевантных ссылок выдаёт поисковик на 100 первых ответов.

Полнота (recall)

Отношение числа найденных релевантных документов, к общему числу релевантных документов в базе:

$\mbox{Recall}=\frac{| D_{rel} \cap\ D_{retr} |}{| D_{rel} |}$ ,

где $D rel$ — это множество релевантных документов в базе, а $D retr$ — множество документов, найденных системой.

Выпадение (fall-out)

Выпадение характеризует вероятность нахождения нерелевантного ресурса и определяется, как отношение числа найденных нерелевантных документов к общему числу нерелевантных документов в базе:

$\mbox{Fall-out}=\frac{| D_{nrel} \cap\ D_{retr} |}{| D_{nrel} |}$ ,

где $D nrel$ — это множество нерелевантных документов в базе, а $D retr$ — множество документов, найденных системой.

F-мера (F-measure, мера Ван Ризбергена)

Традиционно F-мера определяется, как гармоническое среднее точности и полноты:

$F = 2 \times \mathrm{Precision} \times \mathrm{Recall} / (\mathrm{Precision} + \mathrm{Recall}).\,$

Часто ее также называют $F 1$ мерой, потому что точность и полнота присутствуют в этой формуле с одинаковым весом.

Более общая формула для положительного вещественного α имеет вид:

$F_\alpha = (1 + \alpha) \times \mathrm{Precision} \times \mathrm{Recall} / (\alpha \times \mathrm{Precision} + \mathrm{Recall}).\,$