新一代教育测量与评价技术的发展与应用

一、概述

1、关于教育测量技术的渊源

随着神经科学与认知心理学的发展，从人脑神经网络抽象而来的人工神经网络工作原理，使人工智能、机器学习得以实现并快速发展，与此同时，这也意味着人脑的部分工作可以被测量。

图：大脑神经元突触

图：人工模拟神经元工作原理

人类已知的智能运行结构

三位一体脑

知觉通道

认知建构

多元智能

2、教育测量的应用

●学科人才选拔【甄别】例如，选拔性考试、竞赛；

●教学评价【教育目标、学业目标的达成、改进与发展】主要用于群体学情 、教情分析与掌握；

●个体学科学习情况分析【诊断】服务于  学生个体；

●教育质量监测，服务于教育决策

图：学业测量模型

以下内容主要针对服务于教育评价的学业测量进行阐述

3、学业测量，指向教情、学情，教情、学情的掌握贯穿学生学业生涯始终，对学生客观了解自己的学习情况、家长深入了解孩子的学业情况、教师了解学生的学习风格发挥着关键作用。

依据科学测量结果发生的评价，在学生学习与教学过程中，主要发挥下述作用：

·判断学生群体或学生个体的学科水平

·按照学生当前的知识水平和方法过程、态度与价值来判断需要取消、改进、保留的课程

·改善教学以保证学生能够学到东西

·组织学生以使学生的学习达到最优化

·判断学生能否以及在何种水平掌握知识

·区分哪些学生需要补习或深入学习课程知识

·如何清楚有效地理解和解释每个学生的进步

……

例如，在清楚有效地理解和解释每个学生的进步时，在传统测量结果下，往往发生下列情形

1、 班级排名是否意味着学生的进步？

2、科目考试得分，上次考了98，这次考了89，得分是否意味着学生没有进步？

3、 孩子上过一段时间的课外培训班，这次期中考试排名有靠前，成绩有提高【这是大多数家长假设课外培训有效的判断依据】，那么这意味着孩子在培训班里的补习能够继续发生排名靠前与得分提升的情形吗？如果不是，那么如何体现学生的进步？

而在新一代测量评价技术下，判断学生是否进步的坐标，以及解释系统是建立在：对照过去——了解现在——预测未来的历时数据分析的结果之上【成长图谱——通常被称为增值性评价或发展性评价】，即以学生自身的学业发展时序作为测量坐标，使得过去与现在发生的变化、现在与未来之间变化的可能性，成为解释个体学业成长的客观、公平的参照系。

4、测量内容与测量映射关系、测量分类、测量目的

1)测量内容与测量映射关系

以学生为测量主体的

1、学业阶段认知建构形态、过程、发展水平 ACTS

2、个体素养形成、过程、成长水平 ICTS

3、个体未来发展潜能  PCTS、TAST

这三类测量目标，在学生——家庭，学生——教师，学生——学校，学生——教师——学校之间存在映射关系。

2)测量分类：

个体测量与群体测量

个体测量：主要反映学生个体在学业阶段的学科学习情况

群体测量：主要反映同一学段学生群体在学业阶段的学科学习情况

共时测量与历时测量

共时测量：反馈学生在某节课、某课时、全课程等不同阶段对课程内容的掌握情况；反馈学生在事实知识、概念知识、程序知识、策略知识[元知识]的学习、训练与实践中发生的过程、方法、策略层面的情况；反馈在上述不同阶段、不同知识类型中个体或群体呈现在知识维、技能维、能力维中的共时数据特征。如同一次测试中学生的成绩报告。

历时测量：

用于反馈个体或群体学业状况的同口径截面数据在时间序列中呈现的历时数据特征。反馈在同一测量口径[标度]下历次截面数据的对照，主要用于揭示、预测个体在学业层面的成长进程—— 这个过程，也可称之为“点对点”的历时评价、增值性评价或发展性评价。如平台的成长图谱功能，分析学生在历次测试中所呈现的趋势，即为历时测量数据反馈。

4、教育测量技术在教育过程中的地位

在教育产生之始，教育、评价、咨询同时伴生，三者一直相伴发展。教育的实施成效需要做出评价，评价结果需要咨询来转化而促进教育实施的改进与发展。教育的这种内在原生性功能结构，决定了教育评价由测量（或计量）、评价、诊断三种基础功能构成一个完整的基础系统结构。教育评价的其他功能（如导向、预测、选拔等）则是在此基础上延伸、转化和合成出来。--张勇《教育评价改革与教育重构》

测量、评价、诊断在教育过程中处于基础性、引挈式地位，是教学行为的发生、校正、更新与完善的内部参照

5、测量、评价、教学之间的关系

测量：

测量（测验）， 实质是针对目标（指标），设置标准（衡量尺度和范围），采用适配的方式（模式）和有效可靠可信的测量技术（方法），获取被测学生操作或行为（含答题、实操等）及其结果的数据——实质是获得学生认知和思维的事实。

1、测量（测验）本身，不具备评价或淘汰、选择、选拔功能。其功能和目的就是：获得事实。

2、测量（测验）有多种，分为：认知、心理、行为（实验实践等）、作品（绘画、作文、制作等）。

3、根据不同的任务（目标和标准），采取不同的测量方式和技术。例如，以诊断为目的的测验，以掌握学情、教情为目的的测验；标准参照、常模参照测验等。

评价：

评价是在测量（测验）的基础上，对数据（事实）做出分析、判断、推理——认知、理解或判断数据（事实）的存在、意义和价值。

1、对评价而言，评价的指标、标准、方式、方法格外重要——决定了如何解读和运用评价结果。

2、根据评价的目的（指向存在、意义还是价值），评价一般分为：

1）决策性评价——质量监测；

2）认定性评价——管理评价；

3）服务性评价——发展评价。

服务于教学过程的配置性、形成性、终结性评价即为服务性评价——例如用可解释的测量结果，用于反馈一节课、一个教学单元、一门课程的教学目标达成情况

测量与评价最终服务于教学过程，教学效果通过测量与评价进行校订与优化。例如:对测量结果的评价，用于教学策略的设计与选择、取消、改进、保留等。三者循环运行，相辅相成。

6、教育测量与评价的对象与反馈流程

7、有效测量的基本过程

测量元素的确认——测验内容样本选择

测量元素的内部结构与外部联系——反应过程的模型建构

测量的组织结构——由测量元素依据测验目标达成有效测量结构

测量的过程控制——测量时间、评分规则与曝光率

测量结果有效反馈现实——结果可信、可靠、可用

————————————————————————

二、传统测量与新一代学业测量技术的区别

从结果呈现看

一份考试卷上的单一得分=成绩总体表现

新一代测量技术——ACTS  学业测量评价技术呈现的

关于成绩的总体状况描述

成绩，同时作为学业测量数据

呈现的结构与意义描述

传统测量与新一代学业测量技术的区别——从内部属性和未来发展看

——如何从专业角度来判断教育领域的信息技术产品？

——如何区别内嵌新一代测量技术的信息技术产品和囿于传统评价【传统测量方式】的信息技术产品?

应用新一代测量技术的产品特征

以K12iedu平台为例

基于传统测量的产品特征

测量技术

新一代ACTS  学业【素质】测量评价技术

基于多元智能、认知建构理论的多点、多维【知识建构形态、方法习得过程、能力形成倾向】测量

单一知识测量【储存信息量测量】或答题形式统计

测量目标

1、知识储备结构；2、必备、熟练、精通的方法过程；3、在知识建构与方法习得过程中形成的带有个性特征的能力发展

知识记忆、浅层理解、简单套用【在该目标下派生了题海战术】

判断过程

认知诊断，通过大量数据反映知识建构、内化、迁移过程中存在的优势与问题

二元判断【非对即错】

应用

应用新型测量技术与大数据分析技术进行深度测量与数据反馈，锁定知识学习【建构过程】和方法掌握【习得及训练过程】的优势与薄弱环节，可抵达最小知识单位建构形态，对个体学习过程中的知识层、方法层、能力层进行全方位评估，并通过历时数据分析，描绘基于学科学习的个体认知发展形态。

诊断结果应用于基于因材施教、个性化学习、辅助学生个体实现自适应学习、引导学生实现自主学习目标、达成终身学习习惯

目前教育部中小学教育质量综合评价改革实验采用的“ACTS学业评价”技术即新型测量技术

目前传统测试以及使用线上模式的单一知识点测量都属于传统测量。而应用信息技术的传统测量可做到对大规模题海战术进行精细化定位，其实质还是仅涉及知识套用的应试训练。

教学资源

由测量技术升级引导的新一代测量、学习、练习资源

——资源的个性化索引

传统教学资源的电子化、多媒体化转换

——海量信息试错

数据反馈

知识、技能、能力——多元、分项、多维反馈

单一知识层得分反复统计

专业认同

教育部中小学教育质量评价改革实验采用技术

国家教育改革的范畴

————————————————————————————————

三、当新一代测量技术【 ACTS学业测量评价技术】

技术信息化、产品软件化、服务互联网化之后

●面向家庭教育的应用

【学科学习智能服务(家庭)应用平台】

功能1：

同步测量：水平定位，用于协助家长对孩子的学习作如下客观判断

——是否跟得上所在学段的学习进度？

——是否做好进入下一阶段新知识学习的准备？

功能2：

基础诊断：

用于协助家长辅导孩子的学习

判断孩子是否有必要进行补习

了解与适时引导孩子发展学科特长

学业测量技术延伸到家庭应用的最终目的，一是为家长提供一把相对恒定客观的量尺，为家长了解学生，帮助学生随时自检学科学习方面存在的优势与问题，显示发展或改进的方法与方向；二是协助家长引导孩子进入自适应学习——自主学习的轨道。

关于最近发展区与支架式学习理论：

学生目前已经达到的水平与潜在的可能达到的水平之间的距离就是最近发展区。支架式学习强调学习进程要在最近发展区内进行。最近发展区只是一个潜在的虚拟的空间，只有当问题呈现出来，并对学习者构成一个相邻的挑战时，最近发展区才能显现出来——

同步测量：最近发展区水平定位

基础诊断：所需学习支架的结构与适配

每个学生的学习节奏存在差异化——需要适合个体步调的个性化学习方案，而确认学习个性特征的前提——定位现有水平、定位目标水平、定位最近发展区间——匹配个性化学习资源【个性化的练习、课程、方案等--学习支架】

基础诊断：

1、关注哪些知识没得到正确积累，哪些储备结构良好

受测学生在该科目知识层面的达标情况、长短板、与平均水平相比的优劣势，精确锁定知识学习的薄弱环节，有效对症解决问题

2、关注哪些方法不够熟练掌握，哪些处于优势状态

受测学生在方法层面的达标情况、长短板、与平均水平相比的优劣势，精确锁定方法掌握的薄弱环节，有效对症解决问题。

深层诊断：

关注优势及问题形成原因

反映受测学生在学习习惯、风格、认知通道层面的特征状况，发现规律，寻找适合学生的学习通路。

学生在学科学习层面认知发展的镜像反射——

就像每个人具备独一无二的外貌，很少出现一模一样的结构，也只有在这个诊断层面上，才有真正意义的因材施教、个性化及自适应学习。

************************************************

●面向课外培训、在线教育的应用

学科学习智能服务【课外】应用平台

发生在家庭中的学科培训诉求：

课业培训——补短【提分】提在校成绩——在该年龄段应达到的学业成长进度

培优【发展学业特长】——在该年龄段可达到的学业成长进度

备考培训——补短【提分】提中高考成绩——顺利升学

培优【最优化升学】升入优势学校

上述诉求，通过以下场景解决：

1、招生阶段的场景应用

2、实现因材施教、个性化教学的应用场景

——课初测

3、解决教学质量与学生学习效率的应用场景

——课中测

课程优化与学生的课程适应性评估

用于评估课程策略【内容、方法】

用于评估学生的课程适应性【步调、内容、方法】

家长获得的反馈：课中学习阶段性效果的数据反馈报告

4、解决教学效果的有效反馈的应用场景

——结课测

学生学业成长状况反馈

续班选课依据

教学管理参照：

1. 课程整体效果评估

2. 施教者工作评估等

在解决上述场景应用的同时，新一代测量技术【ACTS  学业测量评价技术】的平台化应用同时具备教学管理功能，如课外应用平台提供教师个体教情分析、以班、年、校为单位的学情分析，作为师资配置、分校管理、教学质量评估的参照依据；

并为家庭与学生提供面向未来的功能——成长图谱—学业测量历时数据分析报告，帮助家长与学生对照过去、了解现在、预测未来。

5、以测量评价技术为引擎的工作平台引导的新一代师生、家校互动关系

公众学业学科学习智能服务（课外）平台

是面向社会培训机构提供专业教育技术服务的教学协同智能服务平台。平台以ACTS学业【素质】测量评价技术为基础进行应用延伸，符合国家教育改革进程，深度协同招生、教学、教管业务的开展，为课外培训机构提供招生、测量、诊断、咨询、教学资源、教学管理、家校互动一站式、专家式服务。在解决学生学习效果阶段测量与反馈、建立家校沟通支点、解决课外教学资源局限【师资、教研、课程、方法等】方面，提供一系列深度解决方案与应用产品，帮助学校-教师-学生-家长之间建立互信、透明、客观的沟通机制，为单位教学、教研质量与水平的提升提供教育专业技术服务的云应用平台。

公众学业学科学习智能服务(家庭) 平台：

是面向家庭教育，提供符合国家课程标准并同步于各教材版本和课内教学进度的个性化家庭教育服务平台。平台核心技术采用教育部中小学教育质量综合评价改革实验采用的新型学业评价技术之一“ACTS学业评价技术”。提供课内学科学习同步测量与基础诊断服务，用于协助家长辅导孩子的学科学习、判断孩子是否有必要进行补习、了解并适时引导孩子发展学科特长，协助家长引导孩子进入自适应学习——自主学习轨道的家庭教育辅助应用平台。

参考资料：

人类已知智能运行结构——张勇

《教育评价改革与教育重构》——张勇

《测量、评价、考试的区别》——张勇

《Principles of Educationaland Psychological Measurement and Evaluation》第四版

《Principles of NeuralScience》第五版