提供论文发表、期刊发表、证书、著作、课题申请、专利等一条龙服务——杂志社张伟浩-您负责教书育人,我们负责解决您职称,晋级路上遇到的难题。

基于区间层次分析法和专家群决策的MOOC适切性评价

分类:(三) 发表时间:2019-08-14

一、问题的提出 大力发展具有我军特色的军事职业教育是新时代构建三位一体新型军事人才培养体系的关键, 全面推动基于网络在线为主的多样化方式的学习是军事职业教育改革的重中
一、问题的提出
 
 
大力发展具有我军特色的军事职业教育是新时代构建三位一体新型军事人才培养体系的关键, 全面推动基于网络在线为主的多样化方式的学习是军事职业教育改革的重中之重。早在2015年5月于青岛召开的国际教育信息化大会上, 便举行了以“有关包容性和适切性的终身学习”为主题的部长级圆桌会议[1]。由于MOOC可以为官兵提供优质、便捷、高效的在线教育资源, 因而目前全军院校正如火如荼地开展各专业学科的MOOC建设。当下日益常态化的中外联演联训、南海战巡、东海警巡、绕岛巡航, 对航空英语提出了更高的要求, 迫切需要开展“军事航空英语”MOOC的开发建设, 以切实提高航空兵部队飞行员的英语水平。而为保证MOOC建设的质量效果, 适切性评价的问题则亟须更深入的探究。
 
 
MOOC的适切性问题实际上是关于MOOC的评价问题, 目前国内学者对MOOC的评价研究主要分为三类, 即MOOC自身的质量评价、MOOC学习过程及学习结果的评价和MOOC满意度的评价。部分学者对MOOC的适应性和可用性进行了研究, 其中较有代表性的是刊发于2015年4月《教育发展研究》的《MOOC本土化的适切性研究》和《教学对接MOOC的适切性策略》两篇论文, 针对MOOC的适切性研究进行了有益的探索。国外学者也对MOOC的适切性开展了广泛而深入的研究, 不仅对MOOC自身适切性问题进行了研究, 并利用适切性的原则和结论进行教学设计开发。适切性是开展教学活动的基本原则和提高教学效果的重要前提。MOOC作为一种新型的教学形式或教学资源, 同样需要遵循适切性原则、开展适切性评价研究。
 
 
国内学者对于MOOC适切性或质量评价问题的研究方面, 确定评价指标权重大多采用AHP、熵权法或改进的AHP来进行判断。如邱均平等[2]采用层次分析法和模糊综合评价法对MOOC质量的评价问题进行研究, 姚凯等[3]基于Vague集的相似度量方法建立MOOC评价模型, 童小素等[4]依据《网络课程评价规范 (CELTS-22) 》建立MOOC质量评价指标体系, 李五洲等[5]基于模糊综合评价法对MOOC的适切性评价问题进行探索。上述学者的评价模型中, 都是通过刚性的点值来对不同权重和评价等级进行定性, 这样导致的结果就是无法兼顾不同评价专家知识结构、经验阅历和能力水平之间的差异, 从而忽视了指标权重和指标值的不确定性因素。
 
 
基于上述学者的既有成果, 本研究拟采用区间数理论和区间层次分析法 (Interval-based AHP, IAHP) 对MOOC的适切性评价问题进行改进, 即通过区间标度来代替点值的柔性策略以充分考虑评价专家的经验和偏好, 有效弥补传统的AHP在模糊决策上的缺陷, 使专家群决策的机制具有更好的容错性, 确保评价模型的判断更客观、普适。
 
二、MOOC适切性评价指标体系构建
 
 
开展MOOC适切性评价的基础和前提是构建科学、合理的MOOC适切性评价指标体系。影响MOOC适切性的因素是多方面的, 既与授课内容、授课方法、教学组织、教学设计、媒体技术运用和教学资源等因素息息相关, 又与评价主体、评价形式和课程管理等因素有关, 需要构建多维多层次的评价指标体系。姚凯等在研究MOOC评价模型过程中, 将课程内容、教学设计、界面设计、媒体技术和课程管理作为一级评价指标, 下设23个二级评价指标[3], 二级指标数量偏多;童小素等构建的MOOC质量评价指标体系中, 将课程内容、教学设计和学习支持作为一级评价指标, 下设26个二级评价指标[4], 二级指标数量过多、计算复杂, 且部分二级指标有相关性;邱均平等在研究MOOC质量评价中, 将教学内容、教学资源、教学效果和教学技术作为一级评价指标, 下设14个二级评价指标[2];冯雪松等在研究MOOC评价体系中, 将内容的组织、内容的呈现、讲授方法和课程的执行与推广作为一级评价指标, 下设18个二级评价指标[6]。综上可知, 不同的学者从不同的角度出发构建了不同的评价指标体系, 但课程内容或教学内容始终是评价指标体系中的重要组成部分;通过MOOC建设实践可知, 教学方式和技术手段的合理运用是提高MOOC质量的重要前提, 此外, 评价方式是否科学合理直接影响学习的积极性、公平性和学习效果检验的有效性, 进而影响MOOC建设质量, 与课程管理和教学效果具有一致性。通过对比分析现有评价指标体系的优缺点, 并咨询多位MOOC开发专家和学者的意见建议, 本研究拟从教学内容、教学方式、评价方式和技术手段4个维度评价MOOC的适切性, 最终构建如图1所示的多层次的MOOC适切性评价指标体系。
 
 
进行MOOC适切性评价, 需要确定适切性评价等级, 本文将适切性优劣划分为5个等级, 分别为:“好”“较好”“一般”“较差”和“差”, 为了适于区间层次分析法评价MOOC适切性, 需要采用区间数方法对适切性等级进行量化, “好”“较好”“一般”“较差”和“差”5个适切性等级对应的区间数分别为:[0.8, 1.0]、[0.6, 0.8]、[0.4, 0.6]、[0.2, 0.4]和[0, 0.2]。
 
图1 MOOC适切性评价指标体系  
图1 MOOC适切性评价指标体系   下载原图
 
 
三、基于IAHP确定评价指标区间数权重
 
 
在研究评价、评估或决策问题中, 计算合理有效的指标权重是进行评价、评估或决策的关键前提, 计算指标权重的方法主要有主观赋权法、客观赋权法和组合赋权法。主观赋权法主要靠专家的知识结构、实践经验和能力水平得出权重, 得到的指标权重主观性强, 且与指标期望值相契合, 所以在计算指标的权重方面应用较为广泛。MOOC适切性评价指标体系为多维度、多层次体系, 并且各级评价指标都属于定性指标, 不便利用客观赋权法计算评价指标的权重值, 这种情况下, 利用主观赋权法计算定性评价指标的权重则具有可行性和合理性。由于经验能力存在差异, 不同专家在确定指标权重方面考虑的角度不同, 给出的指标权重往往是一个区间数, 基于此, 作者拟采用IAHP计算MOOC适切性评价的区间数权重。
 
(一) 区间数和IAHP的基本原理
 
 
基于模糊理论可知, 区间数是模糊数的一种特殊形式, 也可以说区间数是实数的拓展。研究不确定多属性决策问题时, 鉴于决策信息表示为区间数具有计算快捷、便于理解和简单直观等特点, 因而在解决不确定多属性决策和不确定性评价问题中, 区间数理论及算法得到了广泛运用[7,8,9]。设定是实数轴上的一个闭区间, 则a軇即为一个区间数。由于层次分析法 (Analytic Hierarchy Process, AHP) 无法计算区间型评价指标的权重, 因此, 学者在研究AHP的基础上逐步改进形成了IAHP。IAHP的基本原理和AHP的基本原理类似, 二者的区别在于IAHP用区间数代替点值来构造判断矩阵, 计算权重过程中以区间数的运算法则进行计算, 计算结果以区间数权重的形式呈现。
 
 
令为区间数判断矩阵, 即记并记针对给定的区间数向量IAHP求取区间型定性评价指标权重的具体步骤为[10]:
 
 
步骤1.首先采用特征向量法求矩阵AL和AU的最大特征值, 然后根据最大特征值计算所对应的具有正分量的归一化特征向量XL和XU。
 
 
步骤2.由按照公式 (1) 计算α和β。
 
 
 
 
 
步骤3.计算得出评价指标的区间数形式的权重向量
 
(二) 评价指标区间数权重的确定
 
 
表1 一级评价指标的区间数判断矩阵     下载原表 
表1 一级评价指标的区间数判断矩阵  
 
根据前面介绍的IAHP计算指标权重的方法步骤, 通过广泛征求MOOC设计和开发领域专家的意见建议, 可以构建MOOC适切性一级定性评价指标的区间数判断矩阵, 见表1。依据构造的区间数判断矩阵, 按照IAHP计算指标权重的方法步骤可以得到α=0.9142, β=1.0768, XL (0.4463, 0.2877, 0.1498, 0.1881) , XU= (0.3947, 0.2662, 0.1449, 0.1801) , 继而可得MOOC适切性一级评价指标权重向量同理, 可以得到4个一级定性评价指标下各二级定性评价指标的区间数权重, 见表2。其中, 第i个一级指标下第j个二级指标的区间数权重用ωij进行表示。
 
 
表2 二级评价指标的区间数权重     下载原表 
表2 二级评价指标的区间数权重  
四、基于IAHP和专家群决策的MOOC适切性评价模型
 
 
前面构建了MOOC适切性评价的多维度指标体系, 利用IAHP计算出了两级定性评价指标的区间数权重, 下面将区间数、IAHP和群决策理论相结合, 建立基于IAHP和专家群决策的MOOC适切性综合评价模型, 评价的具体步骤如下:
 
 
步骤1.广泛征求MOOC设计和开发领域专家的意见建议, 构建MOOC适切性评价指标体系。
 
 
步骤2.结合IAHP方法步骤构造评价指标的区间数判断矩阵, 依次计算适切性评价指标体系中一级和二级评价指标的区间数权重。
 
 
步骤3.邀请MOOC设计开发专家和学生, 按照“好”“较好”“一般”“较差”和“差”的5级定性语言评价等级, 对需评价的MOOC适切性二级评价指标进行定性的语言评价。
 
 
步骤4.将专家和学生对二级指标Iij给出的定性语言评价结果依次规范化为[0, 1]范围内的区间数, 其中, 为第i个一级指标下第j个二级指标的规范化区间数, kij1、kij2、kij3、kij4、kij5分别为MOOC设计开发专家和学生对指标Iij进行定性评价时, 判断给出“好”“较好”“一般”“较差”和“差”各级评语的人数, N为参与评价的总人数, kij1/N、kij2/N、kij3/N、kij4/N和kij5/N为用隶属频率表示评价指标Iij被评为“好”“较好”“一般”“较差”和“差”的隶属度。
 
 
步骤5.依据指标聚合公式计算j=1各一级评价指标的区间数评价值, 其中i=1, 2, 3, 4, mi表示第i个一级定性评价指标下二级定性评价指标的数量。依据公式计算MOOC适切性的区间数评价值, 并与给定的5个定性评价等级进行比较分析。
 
五、评价实例
 
 
本文拟针对李五洲、汪基德所发表的“基于模糊综合评价法的MOOC适切性研究” (《电化教育研究》2016年12期) 一文中某高校现代教育技术MOOC课程的同一案例数据[5], 利用本研究提出的MOOC适切性综合评价模型开展评价研究。通过两种评价结果的对比分析, 以客观检验该评价模型是否合理有效。
 
 
算例中邀请了40名学习该MOOC课程的学生和10位MOOC设计开发专家, 对该MOOC课程适切性的20个二级指标进行定性评价, 得出的定性评价结果见表3。依据MOOC适切性评价模型的方法步骤, 用区间数和群决策方法将定性评价结果转换为规范化的区间数评价值, 见表4。其中, Iij表示第i个一级指标下的第j个二级指标。
 
 
根据MOOC适切性综合评价模型中提出的指标聚合公式, 采用MATLAB6.5软件编写简易的区间数指标聚合程序, 经程序运算便可得到4个一级定性评价指标的区间数评价值分别为[0.56, 0.78]、[0.48, 0.76]、[0.31, 0.52]和[0.58, 0.84], 将4个一级指标进一步向上聚合, 便可得到该现代教育技术MOOC的适切性区间数评价值为[0.47, 0.79]。为了便于分析, 取MOOC适切性区间数评价值的中间值0.63, 与语言评价值相比较可知, 该现代教育技术MOOC的适切性评价结果为“较好”, 但处于“较好”的下限, 偏向于“一般”。采用同样的方法, 可运算得到教学内容、教学方式、评价方式和技术手段的评价值中间值分别为0.67、0.62、0.415和0.71, 与其相对应的适切性评价等级分别为“较好”“较好”“一般”和“较好”。评价结果表明教学内容、教学方式和技术手段具有的适切性较好, 相对来说, 技术手段的适切性要好一些, 教学方式的适切性虽然为“较好”但却偏向于“一般”, 评价方式的适切性虽然处于“一般”的区间但却偏向于“较差”, 需要重点关注和改进。从表4给出的二级指标区间数评价值可以判断出, 一级指标教学内容下的组织方式、呈现方式和难易程度三个二级指标基本上与“较好”的等级相吻合, 说明该MOOC课程在这3个方面具有较好的适切性;而容量大小和辅助材料的区间数评价值与“一般”的评价等级相接近, 说明该MOOC课程在这两个方面的适切性有待进一步加强。同理, 可以分析出教学方式、评价方式和技术手段三个一级指标下各二级指标的适切性优劣。上面计算得到的定性评价结论与李五洲、汪基德采用模糊综合评价法得出的定性评价结论相一致, 也与专家给出的主观定性评价结论基本一致, 而李五洲、汪基德采用的模糊综合评价方法仅计算出了MOOC适切性优劣的隶属度, 未能计算出MOOC适切性的具体评价值, 这表明本研究所构建的MOOC适切性综合评价模型是合理有效的, 且比以往的评价方法更加科学有效。
 
 
表3 二级评价指标的定性评价值     下载原表 
表3 二级评价指标的定性评价值  
 
表4 二级评价指标的综合区间数评价值     下载原表 
表4 二级评价指标的综合区间数评价值  
六、结语
 
 
MOOC适切性评价是衡量MOOC适切性优劣、优化MOOC适切性和提高MOOC建设质量的关键手段。本文针对MOOC适切性评价指标所固有的不确定性、多层次性和区间性这些显著特点, 采用区间层次分析法与区间数理论相结合的方法计算出了MOOC适切性定性评价指标的区间数权重, 解决了以往MOOC适切性评价过程中指标权重计算方法的不足。然后提出采用区间数理论和专家群决策理论对5级定性评价值进行区间量化处理的方法, 进一步构建了基于区间层次分析法和专家群决策的MOOC适切性评价模型。评价实例的计算结果充分说明, 本研究所构建的MOOC适切性评价模型是合理有效的, 为MOOC适切性评价和类似的复杂不确定多属性评价问题提供了一种新的方法, 为开展军事航空英语MOOC建设提供了理论依据。
 

畅志文化期刊网,一个专业的论文发表,期刊发表,著作出版,课题等评职称相关平台。

文章名称:基于区间层次分析法和专家群决策的MOOC适切性评价

文章地址:www.cqpc.cq.cn/lunwenjianshang/_san_/912.html

内容来自网络-如有侵权,请告知删之

上一篇:基于SPOC混合式学习模式的学习支持服务构建研究 下一篇:高校混合教学就绪指数构建与评估应用

还有问题,免费咨询专业人员

没有问题了,我想发稿或出版

选择服务:

作者姓名: *

联系电话: *

留言备注: *

咨询部:

发表部:

在线客服

客服电话:17600057161

投稿邮箱:71712724@qq.com

QQ:71712724
QQ:71712724

咨询部:

发表部: