资讯检索系统的评估

《资讯检索系统的评估》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、資訊檢索系統的評估–NTCIR會議陳光華國立台灣大學圖書資訊學系khchen@ccms.ntu.edu.tw摘要第二屆NTCIR資訊檢索評估會議由日本國立情報學研究所與國立台灣大學合作主辦，國立台灣大學負責中文文件檢索（CHTR）的評比。CHTR的評比分為二大部份：中文問題檢索中文文件（CHIR）與英文問題檢索中文文件（ECIR），本文說明CHIR與ECIR的意義、時程、測試集（CIRB010）、檢索結果、評估標準，以及檢索結果的最後分析。AbstractTheNTCIRWorkshop2isheldbyNationalInst

2、ituteofInformatics(NII)andNationalTaiwanUniversity(NTU).NTUisinchargeoftheChineseTextRetrieval(CHTR)tasks.CHTRtasksfallintotwocategories:Chinese-ChineseIR(CHIR)andEnglish-ChineseIR(ECIR).Thedefinitions,schedules,testcollection(CIRB010),searchresults,evaluation,andini

3、tialanalysesofsearchresultsofCHIRandECIRarediscussedinthispaper.關鍵詞：資訊檢索評估、測試集、文件集、主題Keywords:InformationRetrievalEvaluation,TestCollection,DocumentSet,Topic一、緒論人類對於資訊的需求從來不會因時代的更迭而消失，只是每個時代有其主要取得資訊的方式、滿足資訊需求的方法。我們所處的時代是資訊爆炸的時代，取用資訊的管道暨多元又複雜，學者與專家不斷地發展各種不同的資訊技術，其目的希望

4、能夠滿足使用者內心真正的資訊需求。資訊檢索系統是目前我們對於運用電腦資訊科技，建置供使用者查詢、取用資訊的自動化系統的通用名稱，簡單的資訊檢索系統運用於網際網路則成為「搜67尋引擎」，這也是一般人最熟知的資訊檢索的面貌。由於搜尋引擎的運用幾乎成為網際網路上必要的服務，搜尋引擎的功能與效益日益受到眾人廣泛的重視，對於搜尋引擎的評比亦受到眾人的關注，也有眾多的一般報導以及學術論文探討這個議題。事實上，自從1954年第一個資訊檢索系統建立以來，學術界對於資訊檢索系統的評比一直沒有間斷過。然而，評估資訊檢索系統的準則卻一直有很大的討論空

5、間，有的學者從質性的角度出發，有的學者由量化的觀點切入；還有效用學派與相關學派的分野；甚至何謂「相關」也仍然有許多不同的見解。雖然有前述的眾多爭議，但是還是必須解決實際的問題，有關資訊檢索系統評估的研究仍是許多學者與專家關注的議題。1966年Cleverdon進行的CranfieldII是最為學者引為典範的計畫（註1），它建立了一個規範的測試環境，包含了測試文件、測試問題。CranfieldII雖然建立一個典範，但是它的規模不夠大，測試問題的描述過於簡短，不足以代表使用者的檢索需求。對於由質性觀點看待資訊檢索評估的研究者而言，量

6、不夠大是一個致命傷，不足以說服他們接受測試的結果；若是測試規模夠大，測試結果或許可以傳達特定性質，換句話說，或許可以由「量」逼近「質」。TextREtrievalConference（TREC）（註2）是第一個大規模的資訊檢索系統評估的學術研討會，自1992年首次舉辦以來，建立了國際性的聲望，TREC具有下列的特色：z龐大的測試文件z詳細的測試問題z多元的測試項目TREC得到資訊檢索評估領域的廣泛重視，起了示範的作用，歐洲以及亞洲各國的研究者也嘗試籌辦不同語言的評估會議，並建構大規模的測試集，如法國資訊技術局則建構了法文的AMA

7、RYLLIS（註3）；歐洲各國聯合籌辦CLEF資訊檢索評估會議，亦共同建構涵括多種語言的測試集（註4）；日本國立情報學研究所（NationalInstituteofInformatics，簡稱NII）舉辦NTCIR評估會議，並建構日文測試集（註5）；本人則與江玉婷小姐以及陳信希教授建構CIRB中文資訊檢索測試集。（註6）第一屆NTCIR資訊檢索評估會議於1999年舉辦後，亦深獲好評，但是僅有日文與英文兩種語言，為了擴大NTCIR的參與範圍，NII與國立台灣大學決定合作舉辦第二屆NTCIR會議，將參與的語言擴大為中文、日文、英文，

8、台灣大學負責中文、英文的跨語言資訊檢索的評估。本文敘述第二屆NTCIR會議中文文件檢索（CHTR）競賽，68並介紹本次比賽中所使用的中文資訊檢索測試集1.0版（CIRB010）。NTCIR第一屆資訊檢索評估會議，主要目的在於促進日文資訊檢索的研究。（註7）本人與