第1篇 信息检索的研究背景和相关基础
第4章 常见的检索性能评价方法
4.1 引言
检索评价作为信息检索领域的重要课题之一,已有多年的研究历史。但是,检索评价问题仍然没有彻底解决。本章将进一步讨论信息检索系统中的检索性能评价(retrieval performance evaluation)问题。*常用的系统性能度量方法是时间和空间方法。检索系统使用的时间越短,占用的空间越少,则系统的性能越好。当然在时间和空间复杂度之问有一个折衷问题。但对于信息检索系统,除了时问和空间方面的度量外,还需要其他方面的度量方法。事实上,由于用户的查询请求本质上具有一定的模糊性,检索到的文档并不是对用户查询的**应答,因此必须按照它们的相关度来排序。这样的相关排序是数据检索系统(data retrieval system,DRS)不具有的部分,而在信息检索中是非常重要的。因此,信息检索系统需要对应答集合的准确度进行评价。通过对信息检索系统的合理评价,可以知道该系统的优缺点,从而引导用户选择适合自己的系统,同时信息检索提供商进一步改进检索系统,更好地提高自己的服务质量。在继续讨论检索评价之前,先介绍“相关性”的概念。
“相关性”是一个多维的认知概念,它的涵义依赖于检索系统和检索者对信息需求的感知和理解。它又是一个动态概念,依赖于检索者或*终用户在某一时空上对信息集合与信息需求之间关系的实质判断。很早一些检索系统已把用户相关性判断作为自身机制的一部分,如相关反馈机制,使用户成为系统的有机组成部分。相关反馈技术就是使用户的判断参与检索过程,但往往用户的主观因素在判断过程中起很大作用,所以与系统设计者的期望有一定距离,虽然相关反馈技术在信息检索系统中已成为一个重要部分,但也不能夸大其有效性。
关于信息检索评价方面的研究已经很多,但是很多信息检索领域的研究者仍然认为达到*好的评价距离我们的研究还很远。相关的评价研究详见参考文献。
……