英语专业四级考试“语法与词汇”题内容效度

作者简介：撒露莎（1985- ）,女,安徽巢湖人,中南民族大学教师,助教.研究方向：英语教育,语言测试.

摘 要：本研究通过对2002至2007年6年间英语专业四级试卷“语法与词汇”部分共165题进行分析,并依据《高等学校英语专业英语教学大纲》和《高等学校英语专业四级考试大纲》,从三个方面（1.测试的内容是否和测试目标有关；2.测试内容是否具有代表性；3.测试内容是否适合测试对象）具体分析“语法与词汇”题的内容效度.同时,笔者结合理论和实践对未来的英语专业四级考试试卷命题提出了一些建议和启示.

关 键 词 ：英语专业四级考试；“语法与词汇”题；内容效度

中图分类号：H314文献标识码：A 文章编号：1006-026X（2011）05-0000-02

Content Validation on G&V in TEM 4

SA Lusha

(College of Pre-undergraduate Education, South-central University for Nationalities, Wuhan 430074, China)

Abstract:Based on Teaching Syllabus for English Majors and Testing Syllabus for English Majors (Band 4),the present study makes analyses on 165 items of G&V in TEM 4 in 2002-2007’s TEM 4 papers. The content validity of G&V in TEM 4 is discussed in three aspects: 1, whether the testing content is relative to testing objective, 2, whether the testing content is representative, 3, whether the testing content is fit for the testees. Meanwhile, the author also puts forward some remendations and suggestions from both theoretical and empirical perspectives for further improvement with regard to some implications to TEM 4 paper.

Key Words:TEM 4, G&V, content validity

一、引言

语言测试是用来测量语言能力、语言运用或语言学能的工具.［1］ 根据不同的划分标准,语言测试可分为不同的测试类别.按学习阶段来分类,语言测试可分为编班测试、随堂测试、期中测试、期末测试；按测试的用途来分类,语言测试可分为水平测试、成绩测试、潜能测试及诊断测试；按考试方式来分类,语言测试可分为分离式测试和综合性测试；按对考试分数的解释来分类,语言测试可分为常模参照性测试和标准参照性测试；按试卷的评阅方式来分类,语言测试则可分为主观性测试和客观性测试.［2］

作为一种以英语专业教学大纲和英语专业四级考试大纲为基础的标准参照性的全国大型标准化测试,英语专业四级考试已日益受到人们的关注与重视.一份试卷的质量高低,取决于它的效度、信度、难度、区分度、实用性及后效作用,而效度是最影响测试质量的因素.如果一个测量方法测量了其根据设计要测量的东西,就是说它起到了标示它声称要测量的抽象概念的作用,那么它就有效度.语言测试效度的建立取决于它在何种程度上能准确、具体地标示出某一抽象概念,如水平、学业、学能等.最常见的效度有内容效度、结构效度、同期效度、预期效度四种.

英语专业四级考试大纲中规定英语专业四级考试共有六部分：一、写作 二、听写 三、听力理解 四、完形填空 五、语法及词汇 六、阅读理解.其中,基于分离式测量方法的“语法与词汇”部分的考试效度受到国内外众多语言学者的质疑. 作为历年英语专业四级考试的固定测试题型,“语法与词汇”题是否具有较高的考试效度?笔者根据《高等学校英语专业英语教学大纲》和《高等学校英语专业四级考试大纲》,对2002年至2007年六年中英语专业四级考试“语法与词汇”题的内容效度进行统计分析,并根据统计分析结果对未来的英语专业四级考试试卷命题及英语教学提出一些建议和启示.

二、“语法与词汇”题内容效度分析

内容效度检测考试内容是否反映了考试目的,是否能够达到预期考查效果.［3］ 为了检验一次测试的内容效度,可根据考试大纲从三个方面进行判断：1.测试的内容是否和测试目标有关；2.测试内容（试题）是否具有代表性；3.测试内容是否适合测试对象.

1. 测试的内容是否和测试目标有关

由于2004年以前的英语专业四级考试依据1997年修订的高校英语专业四级考试大纲,而2004年以后的英语专业四级考试则依据2004年新修订的高校英语专业四级考试大纲,因此笔者分别收集了3年以1997年修订的高校英语专业四级考试大纲为依据的英语专业四级测试卷及3年以2004年新修订的高校英语专业四级考试大纲为依据的英语专业四级测试卷,借以对比分析.其中,1997年考试大纲中规定的测试形式为“语法与词汇”题由25题组成,题目中约50％为词汇、词组和短语的用法,约50％为语法结构.［4］ 2004年考试大纲中规定“语法与词汇”题由30题组成,题目中约50%为词汇、词组和短语用法题,其余为语法结构题.［5］

因此,在2002-2007年的测试卷中,2002-2004年“语法与词汇”题由25题组成,在2005-2007年中,“语法与词汇”题由30题组成 .虽然题目数量有所变化,但词汇测试题与语法测试题的比例应为5：5 .

从“图一”中,可以发现一个显著的特征,即2002-2005年中的语法测试题与词汇测试题比例显然不符合考试大纲对测试形式的规定.在近六年的测试中,共计78道语法测试题、87道词汇测试题.其中,2002年、2004年及2005年的考试中,语法测试题题数少于词汇测试题题数,而在2003年中,语法测试题题数又略多于词汇测试题题数.“语法与词汇”部分的试题没有完全严格依照考试大纲中的规定执行,客观上造成了题数比重不均匀的现象,那么就不能完全达到预期的测试目的,即“测试学生运用词汇、短语、语法结构以及基本语法概念的能力”.因此在某种程度上,该部分的内容效度受到了一定的影响.

2.测试内容是否具有代表性

测试内容是否具有代表性是指考试题目取样的代表性如何.样本的代表性如何直接影响测试效度的高低.《高等学校英语专业英语教学大纲》语法结构表一至四级的要求为：“能识别词类；区分名词的可数性和不可数性、可数名词的单、复数形式；基本掌握各种代词的形式与用法、基数词和序数词、常用介词和连词、形容词和副词的句能、比较级和最高级的构成及基本句型、冠词的一般用法；了解动词的主要种类、时态、语态及不定式和分词的基本用法、句子种类、基本句型和基本构词法.掌握主谓一致关系、表语从句、宾语从句、定语从句和状语从句等句型、直接引语和间接引语的用法、动词不定式和分词的用法、各种时态、主动语态、被动语态和构词法.熟练掌握主语从句、同位语从句、倒装句 和各种条件句；初步掌握句子之间和段落之间的衔接手段.”［6］

笔者依照教学大纲的要求,将78道语法题进行详细分类,见下表：

表一 78道语法测试题考核内容一览表

表一显示,2002年至2007年的英语专业四级考试中,语法测试题的考点涵盖面较广,而且考查的重点比较一致,均为从句、非谓语动词、虚拟语气及动词时态等,体现了《高等学校英语专业英语教学大纲》语法结构表一至四级的重点和难点,有一定的代表性,即说明语法测试题有一定的内容效度.但不足的是,在每年的语法测试题中,总有一些大纲中规定的语法点未被涉及,如在2005、2006及2007三年中,均未测试过主谓一致、倒装结构、插入语等语法点.这使语法测试题的内容效度打了一点折扣.

就词汇测试题而言,《高等学校英语专业英语教学大纲》对四级词汇水平的要求为：“通过基础英语课、阅读课和其他途径认知词汇5,500-6,500个（含第二级要求的4,000-5,000个）,正确而熟练地运用其中的,3,000-4,000个及其最基本的搭配.”

表二：87道词汇测试题考核内容一览表

从表二中可以看出,每年的词汇测试题都考查了名词、动词、形容词、词组等考点,覆盖面较广,考试的内容基本上都是教学大纲词汇表一至四级的内容,只有个别单词超出了大纲的词汇要求,如表三所示：

表三 2002-2007年“语法与词汇”题超纲词汇①一览表

因此,词汇测试题样本基本上较全面、充分地体现了《高等学校英语专业英语教学大纲》对词汇的要求,词汇测试题具有较高的内容效度.

3.测试内容是否适合测试对象

测试内容是否适合测试对象也就是说题目既不能太难,也不能太易.从每年学生的英语专业四级考试成绩来看,“语法与词汇”题很少有得满分的,也很少有得零分的.因此,总体来说,测试内容基本上符合测试对象,具有一定的内容效度.

但遗憾的是,经过更仔细的分析,笔者发现测试题中出现测试内容重复的现象.举例如下：

The experiment requires more money than _____. （2002年第49题）

A. he been put in B. being put in

C. has been put inD. to be put in

The research requires more money than . （2007年第61题）

A. he been put inB. has been put in

C. being put inD. to be put in

以上两道语法测试题内容十分相似,选项甚至完全相同,这就无疑地使考生无需思考就能做对试题.除了相同的语法测试题,词汇题部分也出现测试内容重复的现象.如：

During the summer holiday season it is difficult to find a(n) _____ room in the hotels here. （2002年第63题）

A. empty B. vacant C. free D. deserted

During the summer holiday season there are no _____ rooms in the seaside hotel. （2003年第60题）

A. emptyB. blankC. desertedD. vacant

以上两道词汇测试题的考点都是“vacant”,题干也几乎相同,考生如果做过历年的试题,那么在考试中遇到雷同的试题会立即做出选择,但是否掌握考点“vacant”的用法却不得而知.测试内容雷同不仅会降低测试的难度,而且也影响测试的内容效度及试卷质量.

三、结束语

本文根据《高等学校英语专业英语教学大纲》和《高等学校英语专业四级考试大纲》,对2002至2007年6年间英语专业四级试卷“语法与词汇”部分共165题进行内容效度分析,结果显示：1. “语法与词汇”部分语法测试题与词汇测试题的比例没有严格按照《高等学校英语专业四级考试大纲》的要求来执行,客观上造成了题数比重不均匀的现象.2. 在每年的“语法与词汇”部分语法测试题中,总有一些《高等学校英语专业英语教学大纲》中规定的语法点未被涉及.3. 测试内容基本上符合测试对象,但测试题中出现测试内容重复的现象.

上述现象不同程度地影响了英语专业四级考试“语法与词汇”部分的内容效度及试卷质量,应引起英语专业四级考试命题者的注意.为了提高英语专业四级考试的内容效度和试卷质量,笔者建议命题者应注意：1. 严格按照《高等学校英语专业英语教学大纲》和《高等学校英语专业四级考试大纲》的规定命题；2. 避免测试内容重复和测试内容雷同现象.

注解

① 凡不在《高等学校英语专业英语教学大纲》词汇表工作组编写的《高等学校英语专业全程通用词汇表》的词汇均视为超纲词汇.