资讯检索系统测试集之比较课件.ppt

《资讯检索系统测试集之比较课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、資訊檢索系統測試集之比較圖書與資訊學刊第29期(1999年5月)by江玉婷，陳光華台大圖資所碩士論文測試集(TestCollections)組成要素文件集(DocumentSet;DocumentCollection)查詢問題(Query;Topic)相關判斷(RelevantJudgement)用途設計與發展:系統測試評估:系統效能(Effectiveness)之測量比較:不同系統與不同技術間之比較評比根據不同的目的而有不同的評比項目量化的測量準則，如Precision與Recall測試集(TestCollections)(續)小型測試集早期:Cra

2、nfield英文:SMART,OHSUMED,CysticFibrosis,LISA….日文:BMIR-J2大型評比環境:提供測試集及研討的論壇美國:TREC日本:NTCIR,IREX,歐洲:AMARYLLISCranfieldII比較33種不同索引方式之檢索效益蒐集1400篇有關太空動力學的文件(摘要形式)請每位作者根據這些文件與其當時研究的主題提出問題，經篩選後產生200餘個查詢問題CranfieldII(Continued)CranfieldII測試集中相關判斷建立四個步驟首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷接著請五

3、位該領域的研究生將查詢問題與每篇文件逐一檢視，共花了1500小時進行了50萬次以上的相關判斷，希望能找出所有的相關文件。為了避免前述過程仍有遺漏，又利用文獻耦合的概念計算文件間之相關性，發掘更多的可能相關文件。若有兩篇以上的文獻共同引用了一篇或多篇論文，則稱這些文獻間具有耦合關係。最後，將以上找出的所有文件，再一併送回給原作者進行判斷。TREC～簡介TREC:TextREtrievalConference主辦:NIST及DARPA，為TIPSTER文件計劃之子計劃之一文件集5GB以上數百萬篇文件TREC文件集TREC之文件標示TREC-1andTREC

4、-2查詢主題TREC-3查詢主題TREC-4查詢主題TREC～查詢主題主題結構與長度主題建構主題篩選pre-search判斷相關文件的數量TREC-6之主題篩選程序TREC～相關判斷判斷方法PoolingMethod人工判斷判斷基準:二元式,相關與不相關相關判斷品質完整性一致性Pooling法針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n篇文件，合併形成一個Pool視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網

5、羅可能的相關文件，藉此減少人工判斷的負荷。TREC候選集合與實際相關文件之對照表TREC～評比TREC～質疑與負面評價測試集方面查詢主題並非真實的使用者需求,過於人工化缺乏需求情境的描述相關判斷二元式的相關判斷不實際poolingmethod會遺失相關文件,導致回收率不準確品質與一致性效益測量方面只關注量化測量回收率的問題適合作系統間的比較,但不適合作評估TREC～質疑與負面評價(續)評比程序方面互動式檢索缺乏使用者介入靜態的資訊需求不切實際BMIR-J2～簡介第一個日文資訊檢索系統測試集BMIR-J1:1996BMIR-J2:1998.3發展單位:I

6、PSG-SIGDS文件集:主要為新聞文件每日新聞:5080篇經濟與工程查詢主題:60個BMIR-J2～相關判斷以布林邏輯結合關鍵詞檢索1-2個IR系統由資料庫檢索者做進一步的相關判斷由建構測試集的人員再次檢查BMIR-J2～查詢主題Q:F=oxoxo:“Utilizingsolarenergy”Q:N-1:RetrievetextsmentioninguserofsolarenergyQ:N-2:Includetextsconcerninggeneratingelectricityanddryingthingswithsolarheat.查詢主題的分類

7、目的:標明該測試主題的特性,以利系統選擇標記:o(necessary),x(unnecessary)類別ThebasicfunctionThenumericrangefunctionThesyntacticfunctionThesemanticfunctionTheworldknowledgefunction:NTCIR～簡介NTCIR:NACSISTestCollectionsforIR主辦:NACSIS(日本國家科學資訊系統中心)發展背景大型日文標竿測試集的需求跨語言檢索的研究發展需要文件集來源為NACSISAcademicConferencePa

8、persDatabase主要為會議論文的摘要超過330,000篇文件,其中超過1/2為英日文對