认知诊断阅读测试信效度检验.pdf

《认知诊断阅读测试信效度检验.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2014年第83期是争试周刊认知诊断阅读测试信效度检验杜文博(西安交通大学外国语学院，陕西西安710049)摘要：本文利用SPSS统计软件对建立好的一套认知诊“Q矩阵”是一个描述测验项目与属性之间关系的矩阵．首断阅读测试题进行信效度检验。结果显示：本套阅读试题的信先由Embreston提出，后经Tatsuoka完善形成“Q矩阵理论”。本度为0．794，达到可接受信度0．7，试题的内部相关性较高，并能文采用的认知诊断阅读题共包含43道题目。经7位专家标注，区分不同水平的学生。基于上述发现，本试题可以用来对学生形成属性与题目之间的Q矩阵如下表所示。其中横排为属性，的阅读水平进行

2、诊断测试竖排为题项，并采用o／1标注。O代表正确答对该题不需要掌握关键词：认知诊断阅读测试信效度此属性，1代表正确答对该题该属性是必须掌握的。由于空间限制，部分矩阵予以省略。1．研究背景表3专家标注的阅读诊断测试题Q矩阵认知诊断理论是认知心理学与心理测量学相结合的新型ItemAlA2A3aA3bA4aA4bA5A6A7A8心理测量理论。它旨在通过对学习者技能掌握情况的细致分11O0OOoOl0o析，为学习者提供有效的诊断反馈。(涂东波等2012)通过认知诊断，对个体的评估不再局限于宏观能力层面，而对个体内部2lOO0OOOO1O微观认知结构进行剖析，有助于人们更好地了解个体

3、内部心3l0l0lOO00O理活动规律及加工机制，准确发现个体的优缺点，及时补救以促进个体全面发展。(Leeeta1．2009；关丹丹2009)41lllOOO000O将认知诊断应用于英语阅读测试旨在发现学生对不同阅读42lll0OOO00O技能的掌握情况，从而为他们提供针对性的补救措施。英语阅读43ll10OO0000认知诊断试题的构建是实现诊断过程的重要步骤，试题的信效度的高低直接决定了它是否可作为诊断工具应用于大规模诊根据信效度相关理论。本文提出如下假设断测试。因此对试题信效度的检验尤为重要。本文研究的试题1：试题的内部一致性应较高．Cronbach’Salphabe

4、t0．7。为西安交通大学PELDiaG课题组设计的一套具有诊断功能的2：试题的各组成部分应该显著相关。英语阅读测试题。该套试题分为三大部分．合计43道多项选择3：试题应能区分不同水平的学生．不同水平学生的作答题，每一道题包含若干认知阅读属性。第一部分是一篇约800词情况显著不同。的泛读题，要求学生快速浏览文章选出相应答案。第一部分结尾3．研究方法设有两道策略题，旨在了解学生完成该部分试题的技巧。第二部为验证提出的假设．本文利用SPSS软件对学生作答数据分为三篇精读题，分别含有12道、5道和6道题目。第三部分为1O进行统计分析。参加阅读测试的学生为西安交通大学非英语道完形填空

5、题，难度与四级试题相当。整套试题的结构见表。专业的本科生，合计401人。正确回答一道题得lYt，合计41分。表1英语阅读测试题结构根据学生的作答情况。将学生分为高水平组(分数大于28)与低水平组(分数等于或低于28)州S分ABC合f．401份学生数据分组后，高水平组共215份，低水平组共Passage1Passage2Passage3Passage4Passage55186份。将学生数据导入SPSS软件．进行一系列统计分析：信度类型泛读精读精读精读完型填空41分析考察试题的内部一致性。内部相关性、因子分析及单维题目I一8Il一2223—2728—3334—43ANOVA分析

6、考察试题的结构效度。本文显著性水平设为0．05。2．相关理论4．数据分析及讨论英语阅读认知属性指的是被试在完成题目时采用的知试题良好的信度是效度的必要条件。本试题的Cronbach’识、技能、策略、思维过程、阅读技巧等。通过对大量文献回顾8alpha值为0．794，高于可接受值0．7。说明本试题基本可靠，假及理论指导，课题组定义T8种被试最常用的阅读属性，见表1。设l得到证实。表2阅读认知属性定义试题结构效度可通过试题各部分的相关系数，以及与总属『生(i)属性定义分的相关系数得出，见表。从表中看出，试题的三部分，泛读、基本语言知识，如字词识别和基本语法的掌握(该属性被精读和

7、完形填空显著相关。虽然三部分都测试阅读，但所测属A】认为是其余所有属性的前提并被认做被试者已经具备．在性不同，我们期待它们之间的相关较低，在(+o_3，+O．5)的水平标注及统计中不做考量。)(Alderson，Clapham，&Wal，1995)。数据显示三部分之间的相A2根据E下文确定_闻义关系数在0_3左右。说明三部分所测属性分布清晰。其次，精读A3理解句子的内容、结构及功能与完型与总分的相关系数均高于0．7(分别为0．872，和0．753)，A3a理解句子的字面意思说明这两部分在该试题中占有比重最大。本试题