基于Kappa统计量的督导评教与学生评教一致性

更新时间:2024-02-06 作者:用户投稿原创标记本站原创 点赞:24366 浏览:108190

摘 要 督导评教与学生评教是高校加强教学质量监控,对教师教学工作和教学效果进行评价的重要手段,两者的一致性程度如何将直接影响评价的有效性.选取某高校2012-2013学年第二学期学生和督导对100名教师的评价结果为样本,采用Kappa统计量分析督导评价和学生评教的一致性,并就提高督导评教与学生评教一致性进行了探讨.

关 键 词Kappa统计量 督导评教 学生评教 一致性

中图分类号:G640 文献标识码:A

Kappa Statistic-based Identity Analysis of Teaching Quality Assesents by Teaching Supervisors and College Students

ZHOU Bolin

(Teaching Evaluation Department, Hu'nan University of Technology, Zhuzhou, Hu'nan 412008)

Abstract Quality assesents both by teaching supervisors and college students are important means to monitor and improve the teaching quality of a university, while the extent of identity of their results will decide the effect of overall teaching quality assesent. Choosing as reference the results of both types of assesents at a university during the second half year of 2012, the paper intends to apply Kappa Statistic to the identity analysis of these two assesents and aims at providing several methods to improve such a indicator.

Key words Kappa statistic; assesent by teaching supervisor; assesent by college student; identity

0 引言

目前,我国高校对教师教学业绩进行考核评价时,普遍从教学工作量、教学效果、教学研究与改革、师德师风等四个方面进行,其中对教学效果的评价是重点和难点.

为对教师教学效果进行有效监控与评价,许多高校都聘请教学经验丰富的离退休老教师组成教学督导团,开展评课、巡教、专项检查等工作;同时,为充分发挥学生在教学质量评价过程中的主体地位,赋予学生问责教学质量的权利,大部分高校都开展了学生网上评教活动.鉴于教师教学效果评价的特殊性,在实践中,许多高校都把督导评教和学生评教作为教学效果评价的主要依据,以“督导评教成绩相应权郑垦澜坛杉紫嘤θㄖ亍弊魑钪粘杉屑品郑源硕越淌萄Ч卸科兰邸?

那么,学生对教师教学的评价与督导的评价是否一致,能否真实、客观反映教师的教学水平?本文以某高校2012-2013学年第二学期教学督导评教结果和学生网上评教结果为依据,用Kappa统计量对督导评教与学生评教一致性进行分析,以期进一步改进和完善督导评教和学生评教工作,更好地发挥其在教学质量监控与评价中的积极作用.

1.Kappa统计量

1960年Cohen等提出用Kappa值作为评价判定一致性程度的指标.实践证实,它是一个判断一致性和信度评价的有效指标.

Kappa统计量是比较两个或多个观测者对同一事物,或者观测者对同一事物的两次或多次观测结果是否一致,以由于机遇机会造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标.①其判断结果常以CC列联表的形式表示,见表1.

表1 CC列联表

表3 等级标准

Kappa系数的计算公式为,Kappa等于(Po-Pe)/(1-Pe),其中,Po为实际观察到的一致率,即实际观察一致数与总检查人数的比值,用公式表示Po等于(LAii)/N;Pe为期望一致率,即两次检查结果由于偶然机会造成的一致率,简称期望率,用公式表示,Pe等于Laibi,ai等于Ai/N,bi等于Bi/N;Aii为CC列联表中主对角线上的实际值;N为总例数.Kappa值应当在0~1之间,若Kappa值等于1,说明两次判断的结果完全一致;若Kappa值等于0,说明两次判断的结果完全是由于机遇造成的.可见kappa值越大,说明一致程度越好.一般来说,若Kappa值大于0.75,说明已经取得了相当满意的一致程度,若kappa值小于0.4,说明一致程度不够理想,②见表2.

2.数据分析

2012-2013学年第二学期,该校督导团听课评教教师1210人,平均得分85.5分,最低分70分;最高分95分;学生网上评教教师1244人,平均得分96.3分,最低分79分,最高分99分.根据该校2012-2013学年第二学期教学督导评教和学生网上评教分数的总体频数分布,对“优、良、中、差”四个等级的分值规定如此,见表3.

从督导评教结果和学生评教结果中随机抽取100名教师的两项得分,见表4.

根据上述“优、良、中、差”评定标准,对100名教师的教学质量评分结果如下,见表5.

表5 100名教师教学质量评分结果 对数据统计得知,督导、学生对100名教师的教学质量评价结果一致的人数:优秀4人,良好21人,中等17人,总计42人.观察一致率Po等于(LAii)/N等于0.42;期望一致率Pe等于Laibi等于0.3528;Kappa等于(Po-Pe)/(1-Pe)等于0.1038,小于0.2,说明督导评教与学生评教的一致程度不够理想(表6).

3.结果分析

同样是对教师教学效果的评价,尽管存在评价主体、评教角度、评价内容、评价方法等诸多方面的差异,但理论上只要评价活动客观、公正、合理,督导评教和学生评教的结果应当具有较大程度的一致性.也只有具有较高的一致性,对教师教学效果的评价才能更趋完整和准确.本研究中,督导评教与学生评教的结果一致程度不高,甚至出现督导评教成绩很好而学生评教成绩不太理想的情况,究其原因有以下几点.

表6 督导、学生对100名教师教学质量评价的一致性程度

3.1 督导评教数据缺乏全面性

教学督导员本身就是具有丰富教学经验和教学管理经验的资深专家,他们通过随机听课的方式对教师教学进行评价.这种评价具有客观性、公正性、专业性.但由于教学督导人数较少,一个学期内不可能重复多次听评某位老师的课,这样,在实际操作上,往往是通过一到二次听课即对某位教师进行了评价,这种评价结果仅仅只能反映某一次课的授课质量,而作为整体评价就有失偏颇.另外,由于教学督导员对教学内容的不熟悉与自身专业的限制等,使教学督导员多从教学规范、教学方法、课堂氛围、学生专注程度上对教学情况加以评价,使督导评课结果也存在一定的局限性.当然,由于教育教学观念、知识结构、教学方法与手段等方面的制约,也影响到督导评教的准确性.

3.2 学生评教存在的问题

高校学生评教在西方已有几十年的历史,几乎所有的大学都建立了学生评教制度,评价的信息也得到了广泛应用.我国从20世纪80年始,陆续在大学中实践“学生评教”制度,并逐渐受到各高校的重视,学生评教已成为高校教学质量监控与评价的重要手段之一.目前,随着网络技术的普及,学生评教主要以“网上评教”的方式完成.从本研究样本来看,学生网上评教的平均分高达96.3分,评价结果的信度令人质疑.分析原因,主要有以下几点:

一是学生认识偏差.由于对学生评教的作用和重要性认识不到位,导致部分学生对网上评教重视不够,认为评教与自己无关,是走过场,从而在评教过程中参与率不高,或者随意性很大,或者请人,不能客观、公正、实事求是地对教师教学进行评价.2009年5月,广州大学在一、二、三年级学生中开展“参与课堂教学质量网上评价状况调查”,随机发放调查问卷540份,有效问卷322份.③调查表示:“关于网上评教的必要性”,有36%的学生认为课堂教学质量评价“无所谓”或“没有必要”;对自己在网评时的表现,有12%的学生选择“随意勾选,管它三七二十一,只要完成网评任务就行”;而选择“每位老师都给最高分,谁也不得罪或因为评价门次多,对网评感到很烦”的占11%.

二是学生心存顾虑.访谈中了解到,部分学生担心评教信息被教师获悉,从而影响教师对其学业成绩的评定或者受到不公正的对待,而有较大心理负担,不敢表达真实想法,最终做“好好先生”,一律给教师打高分.这种心理和行为的存在,一定程度上影响了学生评教的客观、公正和真实.

三是学生自身制约.大学生自小学、中学就习惯于灌输式教学与应试教育的学习方式,往往要求教师多讲、细讲、划重点,甚至反复讲解等,并且以此作为评价教学效果的标准.反之,对讨论式、启发教育式、学术讲演式方法不太适应,难以对教师讲授内容的科学性和学术水平的高低作出准确的判断.

当然,影响学生评教有效性的深层次因素还有评价指标体系、评价方法、评价结果利用、评价时机的选择等,需要在制度设计上予以重点考虑.如一些高校在重构学生评教指标体系,学生主要通过对自身学习成效的评价来间接评价教师的教学效果.这种由直接评价向间接评价转变的评价思路与评价效果很值得期待.

4.提高督导评教与学生评教一致程度的建议

4.1 将督导评教活动与学生评教活动有机结合

由于督导评教与学生评教的角度不尽相同,因此在评教指标体系的设计上可以互相补充、各有侧重,充分反映评价主体的特点;同时督导在日常听课评教活动中,可以参考学生网上评教结果,对学生网上评教表现特别优秀和特别差的教师,可以重点听课,全面了解教师授课效果,以修正评价结果.


4.2 进一步优化督导评教工作

一是科学把握评教内容.督导虽然是教学与管理经验丰富的专家,但毕竟隔行如隔山,因此在评教内容上宜宏观,评教重点应集中于教师教学设计与组织、教学精力投入、教学方法与手段、学生反映等方面.二是注重点面结合.对初次听课授课效果不佳的教师,要尽量进行多次采样,整合多次听课情况进行综合评价,尽量减少评价的偏差.三是提升督导评教能力.实践中,部分教师由于担心督导员观念、知识老化而对其评教结果的心存质疑.因此,提升督导评教能力尤显重要,要引导督导队伍加强学习,不断更新教育教学观念,跟上教育教学改革的步伐.

4.3 切实提高学生评教的有效性

一是加强对学生评教工作的宣传,使学生端正认识,消除顾虑.通过各种形式的宣讲会,向学生讲清楚评教的目的、意义、做法,让他们充分认识到开展学生评教是维护学生利益,客观评价教师工作,提高教学质量的重要手段;在评教工作开展前,要求班级召开专题班会,让学生从内心认可参与评价对自己是有意义的,明确这不是一项份外的和可有可无的工作,是对自己和学校负责的表现,从而提高参与评教的积极性和主动性.

二是完善学生评教指标体系,准确反映教师教学状况.④评教指标要具有可操作性,内涵不能太宽,也不能太窄,要考虑到与学生理解和评价能力相匹配,要根据不同的学科和不同类型、特色的课程,设计出有针对性的评价指标体系.同时,指标体系要注重教师的专业发展,力图准确反映教师教学状况.美英两国教师评价的实践表明,不注重教师专业发展的评价,注定得不到教师的欢迎,在实践中也会受到教师的反对.因此,我们必须重视这个问题,它关系到教师对评教参与和对评教结果的接受程度,关系到学生评教工作的成败. 三是对评教数据进行技术处理.进行技术处理的目的是为了尽量减少学生评教的偏差.在具体操作上,要特别注重参与率与两端数据.如参与率达不到一定比例的课程,不予评价;在统计某门课程的评教分数时,可以考虑去掉前后各5%的评教分数,再计算平均分.通过这样的技术处理,尽量使评教分数接近真实状态,反映真实情况.

四是正确运用评教结果.美国著名的教育评估专家斯坦费尔比姆曾说过:“评价最重要的意图不是为了证明,而是为了诊断和改进”.⑤因此在评教结果的运用上,应将着眼点落在促进教师专业发展中.一方面要肯定优秀教师的工作,推广优秀教师的教学经验;另一方面对于评教分数较低的教师,应组织专家进行鉴定性听课,确实是教学效果不佳的教师,应采取针对性帮扶措施,帮助其提高教学水平.而在将其作为教师教学业绩考核和人事管理依据时,则要科学设计其权重,综合予以考虑.

总之,尽管存在不足与缺陷,在高校管理实践中,督导评教与学生评教已经成为教学质量监控与评价的重要手段和方法,发挥了重要的作用.追求两者评教结果的高一致性是一种理想状态,或者难以实现.但坚持多种评价方法并用、多种评价信息互证补充,坚持教学评价以教学效果为核心,给予教师客观、公正的评价,引导教师把主要精力投入到教学上,着力提高业务水平与教学能力,应该是我们一以贯之的努力方向.

鼙疚南?012年度湖南省哲学社会科学基金项目“地方高校教师教学业绩考核机制研究”(项目编号:12YBB081)、2011年度湖南工业大学教育教学改革研究重点项目“湖南工业大学教师教学业绩考核研究”(项目编号:2011B20)的阶段性成果

注释

① 孙彩云,翟建军.论Kappa统计量评价指导小组、同行专家及学生评教的一致性[J].黑龙江高教研究,2009(3):41-43.

② 胡昆,孙爱峰.Kappa分析在成绩一致性评价中的应用[J].中国科技教育,2007(8):106.

③ 韩磊磊.学生评教制度的价值取向与模式选择[C].全国高等教育质量保障与评估机构协作会学术研讨会论文集.北京,2010:579-585.

④ 包.高校学生评教有效性分析及改进措施[J].浙江海洋学院学报(人文科学版),2008(4):121-124.

⑤ 倪超美,付东升.对学生评教实践的反思[J].江苏高教,2009(1):76.