在线协作学习里,教师越来越容易看见数据:谁发言多、讨论持续多久、小组成员参与是否均衡、观点是否从“提出问题”走向“整合与解决”。但看见数据,并不等于学生会据此调整行动。学习分析反馈常常解决了“我现在表现怎样”,却未必解决“我为什么要继续投入”。
于是,一个颇具争议的问题出现了:如果在学习分析仪表盘上再加一张排行榜,会不会把数据反馈转化为持续行动?它促进的是更深的知识建构,还是仅仅让学生为了名次多发言?
本研究把认知投入拆成频率分布、关系模式与时间动态三个层面,并进一步检验学习成绩。研究发现:与只接收学习分析反馈相比,接收“学习分析+排行榜”反馈的学生表现出更多高阶认知行为、更强的高阶行为连接、更稳定的认知投入模式和更高的期末成绩;但这些结论需要结合小效应量、小样本和准实验设计谨慎理解。
一、文献信息

图 1 论文首页信息(来源:原文)
中文标题:一种基于学习分析的排行榜反馈方法:促进在线协作学习中的学生认知投入与学习表现
英文标题:A learning analytics-based leaderboard feedback approach for promoting student cognitive engagement and learning performance in online collaborative learning
作者:Shuang Yu,Junmin Ye,Xinghan Yin,Linjing Wu,Shufan Yu,Mengting Nan,Sheng Luo
DOI:10.1111/bjet.70028
发表信息:British Journal of Educational Technology,2025年(2024年11月8日收稿,2025年11月10日接收)
关键词:自动递归量化分析(aRQA);认知投入;认知网络分析(ENA);排行榜;学习分析反馈;在线协作学习
二、研究背景与问题
(一)为什么“只有学习分析反馈”可能还不够?
👉 在线协作学习的难点,不只是参与不足,更是高阶认知投入难以持续。
在线讨论可以支持共同建构知识,但学生的认知活动容易停留在提出问题和探索信息,随着时间推移还可能逐渐依赖低阶活动。若缺少针对性支持,讨论热闹并不必然意味着理解深入。
👉 学习分析能“照镜子”,却不一定能让学生持续行动。
仪表盘可以把认知、行为和社会互动转化为可视化反馈,但已有研究提示:仅提供小组反馈,学生未必主动采纳,也未必因此产生足够的外部激励。
👉 排行榜提供了比较与目标,但也伴随风险。
可见的名次能够形成同伴比较和竞争,帮助学生识别差距、设定目标;与此同时,过大的差距或过度强调外部评价,也可能带来挫败感并削弱自主性。因此,关键不是“要不要排名”,而是排名与什么数据、什么反馈方式结合。
(二)研究问题
RQ1:与传统学习分析反馈(LAF)相比,基于学习分析的排行榜反馈(LALF)如何影响学生的认知投入?
RQ1.1:两组认知投入行为编码的频率分布是否不同?
RQ1.2:两组认知投入行为之间的关系模式是否不同?
RQ1.3:两组认知投入在时间序列上的动态稳定性是否不同?
RQ2:与LAF相比,LALF是否影响学生的学习成绩?
三、理论框架与研究创新
(一)自我决定理论:排行榜既可能支持胜任感,也可能伤害自主性
自我决定理论强调自主、胜任和关系三种基本心理需要。排行榜把相对位置可视化,可能让学生获得清晰的胜任反馈,也可能通过小组共同目标增强归属感;但如果外部评价压过内在兴趣,学生的自主性和长期投入也可能受损。
🎯 在本研究中的作用:
解释排行榜为何可能激发投入,同时提醒设计者不能只追求竞争强度。
(二)社会比较理论:名次把“我做得怎样”转化为“我与他人差在哪里”
排行榜同时支持向上比较与向下比较。向上比较可能促使学生模仿领先小组、缩小差距;差距过大时也可能引发挫败。向下比较可能增强信心,却也可能降低继续投入的紧迫感。
🎯 在本研究中的作用:
解释学习分析数据为何在加入组间相对位置后,可能更容易转化为目标设定和行为调整。
(三)认知临场感:用“提出—探索—整合—解决”刻画认知投入
研究借鉴探究共同体框架中的认知临场感,将讨论话语编码为触发事件(Triggering event)、探索(Exploration)、整合(Integration)、解决(Resolution)和其他(Other)。其中,整合与解决被视为更高阶的认知投入行为。
💡 方法创新:
研究没有只比较“发言次数”,而是依次分析行为分布、行为之间的连接和行为随时间的稳定性,使认知投入从静态计数走向结构与动态。
四、研究方法
(一)参与者与准实验设计
参与者:中国某高校32名软件工程专业大三学生,参加2023年春季“面向对象软件工程”课程。
分组:学生先按真实课堂中的社交关系或兴趣自主组成8个协作小组,每组4人;随后将8个小组随机分入实验组和对照组,各4组、16人。
基线:研究以学生对本组任务完成能力的感知作为集体效能代理指标,两组差异不显著(p=0.301)。
过程:第1-5周两组均无干预;第6-10周每周在线讨论前,对照组接收学习分析反馈,实验组接收学习分析反馈与排行榜;实验结束后收集期末成绩,并访谈实验组学生。
协作平台:QQ同步群聊,系统自动保留全部讨论话语。
(二)LALF到底反馈什么?
研究基于协作分析框架,从三个维度刻画小组表现:认知维度使用BERT模型识别认知临场感阶段;行为维度统计发言总数与讨论时长;社会维度使用基尼系数衡量成员参与是否均衡。对照组在仪表盘中看到这些学习分析反馈。

图 2 学习分析仪表盘:认知、行为与社会指标(来源:原文图2)
实验组在相同学习分析反馈之外,还能看到以小组整体表现计算的周榜与总榜。周榜呈现当周各维度得分,总榜累积此前积分与本周积分。榜单只对实验组开放。

图 3 实验组的周榜与总榜(来源:原文图3)
(三)数据与分析方法
讨论数据:清洗第6-10周在线讨论话语后,使用团队既有分类模型自动编码,共获得6057条认知投入行为编码。
学习成绩:以期末考试衡量课程知识掌握;对照组1名学生缺考,因此成绩分析样本为31人。
访谈数据:访谈实验组学生,用于三角互证与解释量化结果。
1.卡方检验:比较五类认知投入编码在两组中的频率分布。
2.认知网络分析(ENA):比较不同认知行为共同出现形成的连接模式。
3.自动递归量化分析(aRQA):以递归率、熵、层流性和确定性描述行为序列的稳定性。
4.Mann-Whitney U检验:比较ENA投影、aRQA指标与期末成绩。
5.主题分析:解释实验组学生如何理解并使用排行榜反馈。
五、研究结果
📊 四类证据放在一起看
证据层面 | 观察到的差异 | 关键统计量 |
频率分布 | 高阶编码占比更高 | χ²=65.45,p<0.001;V=0.104(小效应) |
关系模式 | 高阶行为连接更强 | ENA横轴:U=330.50,p=0.02,r=0.43 |
时间动态 | 熵更低、模式更稳定 | Entropy:0.26 vs 0.31,p=0.04 |
学习成绩 | 实验组均分更高 | 84.81 vs 82.25,p=0.023 |
(一)频率分布:实验组出现更多高阶认知投入,但总体分布差异属于小效应
实验组在探索、整合和解决三类编码上的占比均高于对照组:探索为61.90%对59.71%,整合为13.97%对10.62%,解决为2.08%对1.43%;触发事件和“其他”的占比则更低。五类编码总体分布差异显著(χ²=65.45,df=4,p<0.001)。
📌 关键限定:
Cramer's V仅为0.104,按作者采用的标准属于小效应。实验组各类编码的绝对次数接近对照组的两倍,说明参与量明显更高,但“更多发言”与“更高质量”不能简单画等号;更可靠的判断要结合后面的关系模式与时间动态。
(二)关系模式:实验组更容易从探索走向整合与解决
ENA显示,两组都存在较强的“触发事件—探索”和“探索—整合”连接。与对照组相比,实验组在“探索—整合”“整合—解决”等高阶连接上更强;对照组则在“触发事件—整合”连接上更强。

图 4 实验组(红)与对照组(蓝)的认知网络比较(来源:原文图7)
两组在ENA横轴上的差异显著(U=330.50,p=0.02,r=0.43),纵轴差异不显著(U=213.5,p=0.68,r=0.08)。这意味着网络差异存在,但并非所有投影维度都支持组间分离。
(三)时间动态:显著差异集中在“熵”,其余三个稳定性指标未显著
实验组的熵显著低于对照组(0.26±0.06 vs 0.31±0.11;U=79,Z=-2.05,p=0.04)。在本研究的解释中,更低的熵意味着行为模式更集中、更可预测。实验组的递归率、层流性和确定性方向上略高,但均未达到显著水平。

图 5 实验组与对照组个体案例的递归图(来源:原文图8;仅用于示例)
📌 精读提醒:
作者据“更低熵+其余指标方向一致”概括实验组模式更稳定,但统计上只有熵显著。图5也只是每组选取一名学生的可视化示例,不能替代全部学生的组间推断。
(四)学习成绩:实验组均分更高,差异达到统计显著
实验组16人的期末成绩为84.81±5.91,对照组15人为82.25±2.73。Mann-Whitney U检验显示差异显著(U=62.50,Z=-2.275,p=0.023)。
📌 如何理解:
两组均分相差2.56分,结果支持LALF与更高学习表现相关;不过论文未报告该成绩差异的效应量,且没有标准化学业前测,因此仍应避免把它解释为已被充分确认的强因果效应。
(五)访谈解释:排行榜把数据变成了可追赶的目标
实验组学生提到,当小组排名落后时,会更频繁查看榜单、增加发言,并依据探索、触发事件等指标与领先小组比较,调整自己的认知策略。作者据此认为,榜单提供了清晰且具有挑战性的目标,使学习分析反馈更容易进入“比较—设定目标—调整行为”的循环。
⚠ 仍需注意:
论文同时承认,过度或不利的比较可能引发挫败、降低动机。排行榜真正有效的前提,是竞争与支持性反馈保持平衡。
六、研究局限与精读评价
(一)作者提出的五点局限
1.样本仅32名软件工程专业学生,结果的可推广性有限。
2.研究集中于单一专业和课程情境,需要在更多学科与课程中验证。
3.受隐私限制未收集GPA或标准化前测,只能以集体效能感知作为基线代理。
4.认知投入主要依据讨论话语,未来可加入行为观察、脑电或眼动等多源测量。
5.准实验中的非完全随机分配和潜在混淆变量限制了因果推断,未来可采用混合方法、更严格的统计控制或随机对照实验。
(二)进一步值得追问的三件事
🔎 分析单位是否充分处理了“小组嵌套”?
干预在小组层面分配,学生又嵌套在8个自然形成的小组中,但论文把个体作为全部统计检验的分析单位。由研究设计推断,同组成员的数据可能并非完全独立,未来研究可采用多层模型、群组稳健标准误或以更多小组为样本。
🔎 排行榜促进的是发言量,还是认知质量?
实验组编码总量明显更高,卡方分布差异却只有小效应。ENA与aRQA提供了比频数更深入的证据,但仍需要把任务质量、知识产出和话语内容的质性评价纳入同一证据链。
🔎 谁会被排行榜激励,谁可能被它劝退?
平均差异无法回答不同初始能力、竞争倾向或自我效能学生的反应。尤其需要追踪长期处于后位的小组,检验榜单是否放大挫败与不平等。
七、对教学设计与研究实践的启示
(一)排行榜不要只排“活跃度”,要排可解释的学习质量
•把认知指标、参与数量、讨论时长和成员参与均衡度结合,避免“刷发言”成为最优策略。
•每个分数都要能追溯到可改进的行为,让学生知道“为什么得分”和“下一步怎么做”。
•同时提供周榜与总榜:周榜给予短周期反馈,总榜保留长期进步轨迹。
(二)把竞争设计成“小组共同改进”,而不是公开羞辱个体
•优先展示小组层面的排名和进步,谨慎公开个体末位。
•给落后小组提供具体、私密且支持性的诊断,而不是只显示差距。
•监测连续低排名学生的情绪与参与变化,必要时淡化绝对名次、增加进步榜或分层目标。
(三)研究学习过程时,别只做“次数统计”
这篇论文最值得借鉴的方法论贡献,是把认知投入拆成“分布—模式—动态”三个视角:卡方检验回答哪些行为更多,ENA回答哪些行为彼此连接,aRQA回答这种行为结构是否随时间稳定。三者结合,比单独统计发言量更接近在线协作学习的真实过程。
💡 结语
排行榜并不是学习分析的装饰层,也不只是把课堂变成一场竞赛。它真正可能发挥作用的地方,是为学习分析反馈增加“相对位置”和“可追赶目标”,让学生从看见数据走向调整行动。
但这项研究同样提醒我们:显著不等于强效,更多发言不等于更深学习,更稳定也不能只由一项显著指标概括。教育技术设计既要看到排行榜带来的动机增益,也要处理比较压力、测量边界和因果证据的限制。
或许,真正值得追求的不是“让学生争第一”,而是让数据反馈足够清楚、目标足够可达、竞争足够友善,使每个小组都知道自己下一步可以怎样学得更深。
以上是本期内容,欢迎大家在评论区交流讨论,提出宝贵意见!