运用模糊数学中贴近度概念研究主观题的智能阅卷

　　引言

　　随着信息社会的发展，在线考试在的需求越来越高，不论学校课程考试、行业认证考试、等级考试还是选拔考试，在线考试的使用已经越来越普遍。它的使用可以有效控制考试阅卷成本，提高考试的效率，打破考生地理位置限制，提高评分准确度和公正度。

　　就考试的目的而言，一是检查考生对相关基础知识的掌握程序，二是对考生进行区分或选拔。一份评价效果优秀的试卷应包含客观题（选择题、判断题等题型）和主观题（名词解释题、简答题、论述题、证明题、程序设计题、翻译题等多种题型）。由于客观题的答案一般情况下是封闭性答案，自动阅卷算法简单，实现起来比较容易，也较为成熟。但主观题答题过程中普遍存在个体差异，语言使用能力不同，不同考生对同一个知识点的论述方式不一样，加之该类题型解答的开放性强，答案的复杂程度很高。目前，在各类实际考试过程中，还没有成熟地可以准确进行主观题智能阅卷的考试系统。主观题智能评分是一个较为庞大的课题，涉及领域广泛，相关基础理论还有待进一步发展，如人工智能领域、学科专家领域、模式识别领域以及自然语言理解领域等，还有非常多理论上和技术上的问题急待解决。

　　1 主观题型智能阅卷算法

　　1.1 考生语言特点分析
　　考生在解答主观题时，通常解答思路较为开放，导致答案也较为开放。在语言的使用上普遍为叙述类语言，表达方式上普遍比较多样，而每位考生对知识的理解程度不一样，所提交的答案就会有很大差异。考生提交的有些合理答案，并不一定与参考答案一致，要达到对封闭性答案一样的评分准确度就非常困难了。

　　1.2 阅卷人员分析与模拟
　　对阅卷人员在评阅主观题时的思维活动，往往先考查考生所提交答案中有多少个点可以列为得分点；然后再比对考生的提交解答和参考答案的贴近度；再由得分点和贴近度来形成该主观题的基础得分；最后再考虑考生答案语法是否通顺、条理是清晰等因素，得出最终得分。这种阅卷人员的阅卷思想，在智能阅卷系统中可以进行模拟。

　　1.3 主观题评分影响因子分析
　　主观题评分主要有两个影响因子：第一个影响因子是得分点，每道主观题的参考答案可以先整理出确定的几个得分点。第二个影响因子是考生答案和参考答案的贴近度。要在计分时运用统计分析的方法，普遍会将不同的得分点量化为一个合理相同或不相同的数量值，贴近度也可以使用算法进行量化。本文的实践过程中，使用模糊数学中贴近度的方法作为理论基础和依据。最后，依据关键词贴近度在评分时所占的权重，计算最终分值。

　　1.4 参考答案设置思考
　　由于不同的考生对同一个事物的理解方式和阐述会不一样，即个体差异，所以，在参考答案设置时，建议把参考答案提取出得分点，然后对每个得分点设置关键词，设置关键词时，要考虑到来自不同领导和语言方式的考生的表达方式，尽可能涵盖合理的关键词。评分算法的第一步要扫描统计考生提交的答案中与参考答案所设置关键词数相符个数，再对应出相应的量化分。第二步要对考生提交的答案中的关键词和参考答案中的关键词进行贴近度分析，统计出考生答案每个关键词的贴近程度得分，累加出基础分。第三步要适当考查考生答案的语言表达能力，适当进行加分或减分，最后统计出该考生该主观题的最后得分。
　　
　　2 算法设计
　　
　　2.1 概念
　　把考生答案和参考答案均理解为字符串，解决考生答案和参考答案的贴近度量化和之后的编程问题，参照模糊数学中对单向贴近度的定义。把一个字符串分解为单个字符,并将它们构成的有序集合称为一个模糊集，U={u1,u2,u3,…,un}称为论域，论域 U 上的全体模糊子集所组成的集合记作 F(U)(也叫模糊幂集)为了分析两模糊集的接近程度，文中引入了单向贴近度的概念。定义 1:设 U={u1,u2,u3,…,un},A,B∈F(U)。若映射δ:F(U)×F(U)→[0,1]，满足条件：①δ(A,A)=1②δ(B,B)=1③若 ABC 或 ABC，则 δ(A,B)≥δ(A,C)称 δ(A,B)为 A 贴近于 B 的单向贴近度。

　　定义 2：设 A、B 是字符串，A 中包含 n 个字符，δ（A，B）表示 A 贴近于 B 的单向贴近度，按从左到右的顺序，模糊集 A 中的每个元素在模糊集 B 中出现的有效次数之和记为 m，则 δ（A，B）=m/n。可以证明，满足单向贴近度的定义。

　　在评阅主观题时，将参考答案当作字符串赋值给模糊集 A0，考生提交的答案当作字符串赋值给模糊集 A，用 δ（A0，A）来表示参考答案模糊集 A0与考生答案模糊集 A 的单向贴近度，这样单向贴近度就引入到问题解决中来了。

　　2.2 算法思想分析
　　智能阅卷系统的主要任务是扫描统计考生提交的答案中与参考答案所设置关键词数相符个数，对考生提交的答案中的关键词和参考答案中的关键词进行贴近度分析，统计考生答案中各个关键词贴近度得分，根据考试的类型和目的，参考考生答案时的语言运用能力适当加分或减分，最后计算该考生该主观题的最终分值。

　　2.3 算法实现
　　依据单向贴近度理论基础和算法，使用 VBScript 语言作为实现平台，设计函数 near，用于统计字符串 m 贴近于字符串 n 的单向贴近度。

　　该程序如图 1 所示。【图略】

　　2.4 主观题评分
　　综合考虑知识要点和贴近程度两个得分因素，得出主观题智能阅卷评分公式：【1】

　　
　　式中各符号的含义如下：S：考生该主观题的最终成绩。由公式转化为程序得出，保存到数据库，按需求确定是否需要及时显示成绩；S0：该主观题的分值。由学科专家出卷时设定，抽取试卷时，取自数据库；A：考生提交的主观题答案。考生确认提交试卷后，保存在考生答卷数据库中等待智能阅卷系统读取；A0：该主观题的参考答案。生成试卷时，由相关学科专家、模式识别领域专家和自然语言理解专家等共同研究确定，从试题数据库中取得；P：关键词这一影响因子在该主观题中比重，量化为分值，大于等于 0，小于等于 1。由学科专家出卷时设定，考试系统管理员也取得权限进行修改：1-P：根据不同考试类型及考试目的所设置的非关键词影响因子在该主观题中的比重，同样量化为分值，由学科专家出卷时设定，考试系统管理员也取得权限进行修改；n: 该主观题参考答案关键词的数量。由学科专家确定，存于试题库中，阅卷时取出用于计算成绩。

　　根据程序可知：Ki：第 i 个关键词，i 大于等于 0，小于等于 n，由变量 i实现程序循环逐一扫描关键词；E（Ki,A）：检查程序循环到第 i 个关键词时，该词与考生答案中关键词的单向贴近度；E（K，A）：关键词与考生答案的单向贴近度阀值。组卷时生成，也可评分时修改，从试卷库中取得。其含义是:当 E（Ki，A）<E（K，A）时，E（Ki，A）=0；当 E（Ki，A）≥E（K，A）时 E（Ki，A）等于其本身；δa（A0，A）：参考答案模糊集 A0向考生答案模糊集 A的单向贴近度。由程序计算得到：δa0（（A0，A））单向贴近度阀值。组卷时生成，也可评分时修改，从试卷中读取。其含义是：当 δa（A0，A）<δa0（A0，A）时，δa（A0，A）=0，当 δa（A0，A）≥δa0（A0，A）时，δa（A0，A）等于其本身。

　　3 系统设计

　　3.1 系统流程图
　　系统设计以计算机类编程题为例，在系统中对编程题的实现，使用其运行结果与参考答案之间的比较来判定分数设计也相当容易。但是，要实现当程序运行结果与参考答案比较不匹配或程序无法编译运行的情况，则如何检测其程序的编程思想是自动评分系统的要点。该系统设计的总体思路如图 2 所示。

　　3.2 系统设计
　　使用 VB.net 2010 作为系统开发工具，用 SQL server 2008 作为数据库，系统设计的界面如图 3、图 4、图 5、图 6 所示。【图略】
　　
　　4 结束语
　　
　　计算机系统智能阅卷和智能成绩计算，是在线考试系统的必由之路，主观题的智能阅卷和智能成绩计算技术，是这个领域的关键点和难点。在具体的开发中，要深入研究不同学科、不同考试目的、不同题型的解答差异，做细划区分，有针对性的研究、设计相关得分点和关键词，结合单向贴近度算法。兼顾效率和效果，提高在线考试评分效率、提高在线考试评分准确度、提高考试公平性，减少人为因素的干扰。

　　对于主观题的精确评分还有很多急需解决的技术及算法难题，本文仅运用模糊数学中贴近度的概念，对主观题的智能阅卷思路作了简要论述，分析了算法，并进行了简要实现，初步把思路和算法转化为系统目标。主观题阅卷这一课题，还需要结合学科专家、考试专家、算法专家共同协作，还需要从基础理论和算法做起，各领域相互协作，进一步进行深入探讨。

　　参考文献：

　　[1]董英斌,竹翠.基于网络的新型计算机考试系统[J].计算机工程,2011，27(8):150-152.
　　[2]高思丹,袁春风.语句相似度计算在主观题自动批改技术中的初步应用[J].计算机工程与应用,2004,14(5)：132-135.
　　[3]张森,韦明.数据库的模糊查询技术[J].电子与自动化,2000(5):23-24.
　　[4]孟爱国，卜胜贤等.一种网络考试系统中主观题自动评分的算法设计与实现[J].计算机与数字工程，2005，33（7）：147-150.
　　[5]彭祖赠,孙韫玉等.模糊(Fuzzy)数学及其应用[M].武汉大学出版社,2002.
　　[6]况姗芸.网络课程中主观题在线评阅系统设计与实现[J].中国电化教育,2012(3).
　　[7]赵建敏,郭庆.VisualBasic 6.0 编程指南[M].北京:航空工业出版社,1999.