收藏本站
《湖南大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

评分员背景对大学英语期末考试写作评估信度和效度的影响

毛星星  
【摘要】:不论是在课堂测试还是在大型标准化语言考试中,写作都是必不可少的一部分。它能够有效地测试出学生的综合语言运用能力。然而,由于评分的主观性,写作评分的准确性和公平性一直备受质疑。同一篇作文,不同评分员给出的分数可能会有很大的差别。这种情况下,写作评分的信度、效度和公平性就无法得到保证。Eckes(2008)也曾指出评分员不一致性是语言测量专家面对的最大挑战之一。现有研究表明,评分员的背景差异是导致作文得分偏离“真分数”的最重要原因之一。运用概化理论,本文旨在探究评分员的背景差异对大学英语期末考试中写作评估信度和效度的影响。基于此目的,本文将六位评分员按照三个背景因素(性别、教育经历和写作评阅经历)进行分组(每个背景因素分成两组,每组三人),比较了不同背景组别评分员的写作评分结果。本文的研究样本是从2017年6月湖南大学大一非英语专业学生的期末考试中抽取的60篇作文,由六位评分员采用整体评分的方法(1-15分)进行评阅。每位评分员独自评分。最终的分数在EXCEL和GENOVA中进行分析。分析结果表明,该写作评分的总体信度和效度较低。组间比较表明:与女性评分员相比,男性评分员的评分一致性更差,但两者在评分信度、聚合效度和区分效度上几乎无差别;与语言测试背景的评分员相比,非语言测试背景评分员的评分一致性、信度、聚合效度和区分效度明显偏低;与有经验的评分员相比,普通评分员的评分一致性、信度、聚合效度和区分效度相对较低。最后,本文挑选了两位评分员进行半结构化访谈,结果显示评分员的语言测试知识和评阅经历会对其评分观念和行为产生一定的影响,从而影响最终的作文得分。本文研究结果表明,评分员性别不会影响作文评分质量,但是评分员的语言测试背景与评阅经历却会产生明显影响。因此,探究评分员偏颇产生的原因对于写作评估信度和效度的研究至关重要。一旦了解了偏颇来源,我们就能够采取针对性措施来保障写作评分的信度、效度及公平性。
【学位授予单位】:湖南大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:H315

【参考文献】
中国期刊全文数据库 前9条
1 关丹丹;;研究生入学考试写作评分的概化理论研究与多面Rasch分析[J];心理学探新;2014年05期
2 徐鹰;;不同性别评分人差异的实证研究[J];外语测试与教学;2013年03期
3 田金亭;余嘉元;戴冰青;;中学作文评价的概化理论模拟研究[J];教育测量与评价(理论版);2012年08期
4 张艳莉;彭康洲;;TEM8写作考试评分员差异性研究[J];外语电化教学;2012年01期
5 李航;;基于概化理论和多层面Rasch模型的CET-6作文评分信度研究[J];外语与外语教学;2011年05期
6 黄玮莹;;中外大学英语教师写作评分行为的对比分析[J];外语测试与教学;2011年04期
7 张森;于朋;;大学英语四级考试作文网上评阅信度保障研究[J];外语界;2010年05期
8 邹申;杨任明;;他们如何使用写作评分标准?——TEM4新老评分员调查[J];国外外语教学;2002年03期
9 刘远我,张厚粲;概化理论在作文评分中的应用研究[J];心理学报;1998年02期
中国博士188bet全文数据库 前2条
1 李航;评分员与评分量表间的交互作用对EFL作文评分结果与过程的影响[D];浙江大学;2012年
2 陆远;网阅环境下的英语专业四级考试作文评分员偏颇研究[D];上海外国语大学;2010年
中国硕士188bet全文数据库 前1条
1 薄丽;背景差异的两类评分员在HSK(高等)作文考试评分中的差异研究[D];北京语言大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 李向阳;;高校辅导员半结构化面试的概化理论研究[J];内蒙古工业大学学报(社会科学版);2015年01期
2 刘斯佳;张建新;;分步增值评分——提高主观题评分质量的有效方法[J];心理学探新;2015年03期
3 刘丹青;;CET4和TEM4作文评分标准对比探析[J];考试周刊;2015年25期
4 徐鹰;曾用强;;基于概化理论和多层面Rasch模型的计算机化英语听说考试评分研究[J];电化教育研究;2015年03期
5 陈苏丹;;评价,让作文“亮”起来[J];读书文摘;2014年24期
6 田文燕;;TEM-4测试信度实证研究——以2006—2011年TEM-4试题为例[J];五邑大学学报(社会科学版);2014年04期
7 关丹丹;;研究生入学考试写作评分的概化理论研究与多面Rasch分析[J];心理学探新;2014年05期
8 张洁;;语言测试研究中的多层面Rasch模型——原理简介和研究综述[J];外语测试与教学;2014年03期
9 冯瑞龙;朱宇;;从写作测验信度研究看开放式测评的发展趋势——概化理论的视角[J];海外华文教育;2014年02期
10 陈艳君;;多层面Rasch模型在语言评估中的应用研究述评[J];教育测量与评价(理论版);2014年06期
中国博士188bet全文数据库 前1条
1 徐倩;英语专业四、八级考试反拨作用研究[D];上海外国语大学;2014年
中国硕士188bet全文数据库 前6条
1 毛星星;评分员背景对大学英语期末考试写作评估信度和效度的影响[D];湖南大学;2018年
2 李银萍;华文作文结构标准构建研究[D];暨南大学;2015年
3 马明霞;对外汉语三种写作测验方式的效度实证研究[D];复旦大学;2012年
4 段然;基于多层面Rasch模型的CET-SET评分员效应研究[D];河北科技大学;2012年
5 娄庆华;高考作文评分误差控制研究[D];浙江师范大学;2007年
6 李传益;HSK[高等]作文考试分数调整[D];北京语言大学;2007年
【二级参考文献】
中国期刊全文数据库 前10条
1 贺莉;;语言测试构念效度的性别差异研究[J];解放军外国语学院学报;2012年05期
2 陈睿;;硕士研究生招生初试考试内容改革研究[J];中国高教研究;2012年09期
3 关丹丹;陈睿;张开;赵静宇;;两种评分量表的评分效应比较研究[J];教育研究与实验;2011年04期
4 陆远;;写作测试公正性研究——作文评分员偏颇研究综述[J];外语测试与教学;2011年02期
5 刘红云;陈阅;骆方;王云峰;;学业水平测试中作文评分误差的多面Rasch分析[J];心理科学;2010年04期
6 刘建达;;评卷人效应的多层面Rasch模型研究[J];现代外语;2010年02期
7 张新玲;曾用强;张洁;;对大规模读写结合写作任务的效度验证[J];解放军外国语学院学报;2010年02期
8 徐思;张敏强;黎光明;;基于GT和多面Rasch模型的结构化面试分析[J];心理学探新;2009年05期
9 何莲珍;张洁;;多层面Rasch模型下大学英语四、六级考试口语考试(CET-SET)信度研究[J];现代外语;2008年04期
10 张洁;;PETS三级口语考试评分质量控制研究——基于多侧面Rasch模型(MFRM)的方法[J];考试研究;2008年04期
中国博士188bet全文数据库 前1条
1 张洁;评分过程与评分员信念—评分员差异的内在因素研究[D];广东外语外贸大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 张立华;;刍议用可测量的“标准”论证“课堂效度”[J];思想政治课研究;2018年05期
2 罗桂菊;;高中历史人物教学效度的有效提升[J];教书育人;2016年34期
3 张磊;;怎样给孩子的作业签名[J];少年儿童研究;2017年03期
4 刘富强;;整合教学过程,提升中职计算机教学效度[J];内蒙古教育;2017年08期
5 吴亮;;实验为“径”,思维为“的”——以“三角形三边之间的关系”教学为例[J];数学教学通讯;2017年16期
6 秦声通;;提高课堂教学效度,改造薄弱小学[J];课程教育研究;2017年12期
7 俞洲;;品读“效应”故事 提高管理效度[J];基础教育参考;2017年17期
8 张启华;;评论时效度的影响因素分析[J];新闻研究导刊;2015年20期
9 胡海江;;初中科学“课前预设”中提升小组合作效度的策略研究[J];新课程(中学);2016年12期
10 王天予;;语言测试中的构念效度研究[J];知识文库;2016年14期
中国重要会议论文全文数据库 前10条
1 李德忠;王重鸣;;考生能力模式与公文筐测验构思效度的关系研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
2 李广洲;张冬梅;;关于概念图测验效度的研究[A];全国教育与心理统计测量学术年会论文摘要集[C];2006年
3 萨其尔;;绿色公共领域下的媒介效度——兼论社会治理下媒介在公共领域建构中的角色[A];中国传媒大学第六届全国新闻学与传播学博士生学术研讨会论文集[C];2012年
4 金玉华;李寿欣;许芳;;CSA测验修订中的信、效度验证[A];第十届全国心理学学术大会论文摘要集[C];2005年
5 王道阳;李珊;胡铭铭;陶沙;;儿童人格评定量表(Mini-IPIP)的效度和信度[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年
6 黄会欣;龚茜;徐振华;刘电芝;;大学生性别角色量表的编制与效度验证[A];第十二届全国心理学学术大会论文摘要集[C];2009年
7 李恩泽;李伟霞;谢植涛;张斌;;失眠严重指数量表的效度和信度研究[A];中国睡眠研究会第十届全国学术年会汇编[C];2018年
8 刘凌;孙亚琴;;效度概念一元化的发展述评[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年
9 耿晓伟;张峰;李纯;;农村居民幸福感问卷编制及效度验证[A];中国城市化进程的社会心理研究[C];2012年
10 解学慧;;对心理学研究中个案研究的一点探讨[A];第十届全国心理学学术大会论文摘要集[C];2005年
中国重要报纸全文数据库 前10条
1 毕节市第一小学 冷道英;浅谈小学生造句训练教学[N];毕节日报;2009年
2 记者 潘启雯 通讯员 戴勇;加强大规模考试中有关效度的研究[N];中国社会科学报;2009年
3 山西财经大学文化传播学院副教授 第六届中国现代文学馆客座研究员 金春平;跨界文体写作的广度与效度[N];发展导报;2018年
4 陈海平;效度新理念关注干部选拔有效性[N];学习时报;2015年
5 ;真理的信度和效度[N];西安日报;2006年
6 宁波日报社 张伟方 翁杰;在抗灾救灾报道中拿捏“时效度”[N];中国新闻出版报;2013年
7 江苏省海门中等专业学校 崔志钰;教学究竟需要怎样的高效[N];江苏教育报;2017年
8 ;应注意考核结果的分析与应用[N];中国工商报;2003年
9 温新旭;挖内潜,有色业降本增效度难关[N];甘肃经济日报;2008年
10 山东省章丘市教师进修学校 叶子丽;以教师论坛促校本教研[N];中国教育报;2004年
中国博士188bet全文数据库 前10条
1 高宏杰;15FQ~+量表中文版的修订及初步应用研究[D];第四军医大学;2005年
2 汪顺玉;语言测试构念效度研究[D];上海外国语大学;2006年
3 柳明明;高考英语听后口头复述任务效度论证研究[D];北京外国语大学;2015年
4 闵尚超;计算机自适应英语能力测试模型设计与效度验证[D];浙江大学;2012年
5 柳春红;青少年烟草使用、心理行为与饮食的关系[D];华中科技大学;2008年
6 张帆;三峡库区农村留守儿童心理健康与心理弹性现状及影响因素的研究[D];重庆医科大学;2013年
7 王伟;冠心病中西医结合生存质量量表的研制及考评[D];广州中医药大学;2009年
8 罗璨;帕金森病焦虑对患者生活质量的影响及其临床相关因素的探讨[D];武汉大学;2016年
9 吉军;住宅厨房厨务功能综合效度评价研究[D];哈尔滨工业大学;2015年
10 吴根洲;高考效度问题研究[D];厦门大学;2007年
中国硕士188bet全文数据库 前10条
1 李恩泽;失眠严重指数量表的效度和信度研究[D];南方医科大学;2018年
2 王尔刚;增强群体心理情景实验效度的多人在线游戏设计及评测研究[D];哈尔滨工业大学;2018年
3 毛星星;评分员背景对大学英语期末考试写作评估信度和效度的影响[D];湖南大学;2018年
4 李智;德语专业四级考试(PGG)听力理解测试的效度验证分析[D];南京大学;2018年
5 陈淑娟;死亡与濒死焦虑量表在晚期癌症患者中跨文化调试及应用[D];安徽医科大学;2017年
6 李向辉;教育科学研究效度问题探析[D];河南大学;2005年
7 鄢丽敏;我国外汇储备的效度优化及路径指向研究[D];江南大学;2008年
8 罗云明;从翻译效度看小说翻译[D];重庆大学;2011年
9 杨灵;2012高考英语(湖南卷)完形填空测试的构念效度实证研究[D];湖南师范大学;2013年
10 余颂伟;全国翻译专业资格(水平)考试二级口译(交替传译)《口译实务》效度实证研究[D];重庆大学;2017年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026