物理课程标准与学业评价相统一的研究进展(2)

　　二、物理学业评价与课程标准一致性研究反思。
　　
　　通过研究，笔者发现国内外物理学业评价与课程标准的一致性研究还存在一些难点和问题。有些问题是由于一致性分析模式本身不完备造成的，而有些问题是由于分析教育问题很难做到绝对客观量化所导致。
　　
　　（一）物理学业评价与课程标准一致性分析模式研究反思。
　　
　　综观国内外物理学业评价与课程标准一致性分析模式研究，以下问题值得重点关注：一致性分析模式需持续优化完善，提高编码者分析的信度和效度至关重要，一致性分析模式研究需增强本土化特征。
　　
　　1.一致性分析模式需持续优化完善。
　　
　　一致性分析模式在开发和使用过程中，需不断优化完善。韦伯本人对韦伯模式进行了反思，提出五大问题： （1）每个内容主题对应可接受水平的试题数目问题。 （2）根据内容主题的知识深度水平恰当分配试题数目问题。 （3）试题覆盖内容标准中内容主题下具体目标的范围问题。某内容主题下的具体目标数量越多，评价与课程标准越难达到知识范围一致性可接受水平，因为评价只能涉及其中的部分目标。 （4）对于某些重要的目标而言，知识分布平衡性如何处理的问题。因为某些内容主题会比其他一些内容主题更重要，或内容主题下的某些目标会比其他目标更重要，这很合理。但是，知识分布平衡性标准假设内容主题下的所有目标都同等重要。 （5）恰当界定不同年级间的知识深度水平问题。随着年级升高，学习者理应能够展现更多高级思维技能 （如推理、分析技能），而不是简单回忆与确认能力。但目前尚无明确的评价指南具体说明随着年级增加，内容复杂性应如何随之合理变化[16].
　　
　　同样，其他一致性分析模式在使用过程中也遇到了若干难题。如实施课程调查模式确定认知水平和内容主题两个维度为一致性分析维度，分析物理学业评价试题与物理课程内容标准的一致性时，通过比较物理试题和物理课程内容标准对同一内容主题的侧重 （“试卷中对某一内容主题的考查分值占试卷总分的比率”与 “内容标准中该内容主题包含的知识点数目占总知识点数目的比率”相比较）和同一认知水平的侧重 （“试卷中对某一级认知水平的考查分值占试卷总分的比率”与 “内容标准中该级认知水平包含的知识点数目占总知识点数目的比率”相比较）来进行。这种比较方式默认以下假设，即如果两个矩阵（物理课程内容标准矩阵和物理学业评价试题矩阵）整体结构相似，则可以判定这两个矩阵一致。这种假设受到一些研究者的认可，但这种比较方式不足之处在于，不能精确反映物理课程内容标准中每一个知识点及对应的认知水平在物理学业评价试题中是否被正确考查，以及在多大程度上被正确考查。
　　
　　2.提高编码者分析的信度和效度。
　　
　　由于在进行相关内容分析时，编码的过程需要个人作出决策和判断，不同编码者的理解可能稍有不同。赫尔曼 （Joan L.Herman）等人的研究分析了评分者一致性对评价与课程标准一致性研究的影响，研究结果表明不同编码者的分析出现了差异。[17]另外，韦伯明确指出，判断评价与课程标准一致性的过程必然有赖于某种程度的主观性，而且不可能仅仅以一套清晰的客观规则为基础。[16]伯赫拉 （Dennison S.Bhola）等人指出，运用任何一种一致性分析模式，一致性研究中培训编码者是关键的组成部分[18].
　　
　　提高编码者分析的信度和效度是各种一致性分析模式面临的共同问题。在进行物理学业评价试题与课程内容标准一致性研究时，已有研究通过选取高水平编码者，对编码者进行培训，增加编码者人员，编码者个人分析和集体审议相结合，并计算评分者一致性信度等措施提高相关研究的信度和效度。
　　
　　3.一致性分析模式研究需增强本土化特征。
　　
　　物理学业评价与课程标准一致性分析模式研究亟须加强本土化特征。目前几种影响力较大的一致性分析模式分别由美国不同的研究团队开发。其他国家相关领域的研究主要体现在介绍或述评美国开发的典型一致性分析模式，并对开发适合本国国情的物理学业评价与课程标准一致性分析模式提出建议，对推动本国开展物理学业评价与课程标准一致性研究发挥了重要作用。遗憾之处在于，研究中有关美国开展的一致性研究对本国的启示有待进一步加强针对性和新颖性。另外，研究者提出构建一致性分析模式应立足本土化，但如何基于本国物理课程标准和物理学业评价特征构建一致性分析模式，有待进一步具体化并加强可操作性。
　　
　　（二）物理学业评价试题与内容标准一致性研究反思。
　　
　　如前所述，已有研究较多采用实施课程调查模式分析物理学业评价试题与物理内容标准的一致性。与英文文献相比，国内近三年发表该类型研究的文献数量呈迅速增长趋势，促使越来越多的物理教育研究者关注物理学业评价与物理内容标准的一致性问题。在进行该类型研究时，以下问题值得重点关注。物理内容主题的划分及准确判断、编码者选取及编码团队组建等对研究的效度和信度至关重要。
　　
　　1.物理内容主题的划分及判断需慎重。
　　
　　物理内容主题的划分及判断，是进行物理学业评价试题与内容标准一致性研究时必要且重要的步骤之一。综合考虑物理内容标准和物理学业评价试题的特征及编码者尽量作出客观准确判断的需要，物理内容主题的划分需适中，过于宽泛或过于细致的划分都是不可取的。
　　
　　第一，物理内容主题的划分不宜太宽泛。如力学领域，有的知识点课程标准中要求为 “了解”水平，而考试中为 “应用”水平，而该领域的另一个知识点课程标准中要求为 “应用”水平，而考试中为 “了解”水平，可以看出考试对这个领域知识考查与课程标准中相关要求不一致，但如按内容领域来划分的话，得出的结论将是考试与课程标准中的要求一致。从这个角度而言，内容领域的划分应尽可能细致，可尝试划分到二级主题或者三级主题，这将增加研究结论的科学性。第二，物理内容主题的划分不宜太细致。由于试题一般较为综合，划分越细致研究者准确判断的难度越大。有些试题包含课程标准中的多个条目，过于细致的划分会增加编码者判断的主观性而影响研究的信度。[9]因此，物理内容主题的设置，在参考美国州首席教育官员理事会对物理学内容分类的基础上，结合各国国情特别是物理学业评价试卷特点和课程标准的特征可能更为妥当。物理学科内容划分为几大内容领域，还是划分为较为细致的各级内容主题，需慎重思考并充分比较验证，才能确定较为恰当的划分方式。
　　
　　2.编码者的选取应慎重，编码过程在研究中的呈现程度有待加强。
　　
　　分析物理学业评价试题与内容标准一致性时，编码者的选取是影响研究效度和信度的重要因素，编码者编码的效度和信度对于最终一致性的判断具有关键性的影响。为增加研究的客观性，运用各种一致性分析模式进行研究时，均需要组建编码者团队，并计算评分者一致性信度。各种模式所需成员数目稍有不同，如韦伯模式需要6-8名学科专家，实施课程调查模式和成功模式均需要3名 （或者更多）学科专家[19].
　　
　　现有大多数一致性研究已经考虑到这一点，一般是2-4名编码者首先独立分析、计算各位编码者分析的相关系数、然后组员之间多次讨论协商达成一致。值得注意的是，对编码者选取的重视程度还需要进一步加强。应明确编码者的入选标准，既是物理学科专家，对物理课程标准和物理学科内容非常熟悉，又是具有命制物理试题丰富经验的命题专家，以确保将物理学业评价试卷和课程标准中的学科知识划分到正确的物理内容主题和认知水平，保证研究的效度和信度。毋庸置疑，认知要求的判断涉及心理学知识，即使资深专家也无法做到绝对客观。不同编码者对物理学业评价试题和内容标准的分析及编码，需要达到特定的评分者一致性信度则变得尤为重要。另外，编码过程在论文中应充分体现，这是现有研究比较薄弱的环节。可以在研究中举例呈现具体物理内容标准条目中包括哪些物理知识及相应的认知要求，举例呈现对于各种类型的物理学业评价试题，编码者是如何判断考查了哪些物理知识及相应的认知要求，并给出充分的证据辅以佐证。