当前位置:首页>排行榜>文献精读|排行榜只是“卷排名”吗?——学习分析驱动的排行榜反馈如何促进在线协作学习

文献精读|排行榜只是“卷排名”吗?——学习分析驱动的排行榜反馈如何促进在线协作学习

  • 更新时间 2026-08-17 02:01:26
文献精读|排行榜只是“卷排名”吗?——学习分析驱动的排行榜反馈如何促进在线协作学习

在线协作学习里,教师越来越容易看见数据:谁发言多、讨论持续多久、小组成员参与是否均衡、观点是否从“提出问题”走向“整合与解决”。但看见数据,并不等于学生会据此调整行动。学习分析反馈常常解决了“我现在表现怎样”,却未必解决“我为什么要继续投入”。

于是,一个颇具争议的问题出现了:如果在学习分析仪表盘上再加一张排行榜,会不会把数据反馈转化为持续行动?它促进的是更深的知识建构,还是仅仅让学生为了名次多发言?

本研究把认知投入拆成频率分布、关系模式与时间动态三个层面,并进一步检验学习成绩。研究发现:与只接收学习分析反馈相比,接收“学习分析+排行榜”反馈的学生表现出更多高阶认知行为、更强的高阶行为连接、更稳定的认知投入模式和更高的期末成绩;但这些结论需要结合小效应量、小样本和准实验设计谨慎理解。

一、文献信息

图 1 论文首页信息(来源:原文)

中文标题:一种基于学习分析的排行榜反馈方法:促进在线协作学习中的学生认知投入与学习表现

英文标题:A learning analytics-based leaderboard feedback approach for promoting student cognitive engagement and learning performance in online collaborative learning

作者:Shuang Yu,Junmin Ye,Xinghan Yin,Linjing Wu,Shufan Yu,Mengting Nan,Sheng Luo

DOI:10.1111/bjet.70028

发表信息:British Journal of Educational Technology,2025年(2024年11月8日收稿,2025年11月10日接收)

关键词:自动递归量化分析(aRQA);认知投入;认知网络分析(ENA);排行榜;学习分析反馈;在线协作学习

二、研究背景与问题

(一)为什么“只有学习分析反馈”可能还不够?

👉 在线协作学习的难点,不只是参与不足,更是高阶认知投入难以持续。

在线讨论可以支持共同建构知识,但学生的认知活动容易停留在提出问题和探索信息,随着时间推移还可能逐渐依赖低阶活动。若缺少针对性支持,讨论热闹并不必然意味着理解深入。

👉 学习分析能“照镜子”,却不一定能让学生持续行动。

仪表盘可以把认知、行为和社会互动转化为可视化反馈,但已有研究提示:仅提供小组反馈,学生未必主动采纳,也未必因此产生足够的外部激励。

👉 排行榜提供了比较与目标,但也伴随风险。

可见的名次能够形成同伴比较和竞争,帮助学生识别差距、设定目标;与此同时,过大的差距或过度强调外部评价,也可能带来挫败感并削弱自主性。因此,关键不是“要不要排名”,而是排名与什么数据、什么反馈方式结合。

(二)研究问题

RQ1:与传统学习分析反馈(LAF)相比,基于学习分析的排行榜反馈(LALF)如何影响学生的认知投入?

RQ1.1:两组认知投入行为编码的频率分布是否不同?

RQ1.2:两组认知投入行为之间的关系模式是否不同?

RQ1.3:两组认知投入在时间序列上的动态稳定性是否不同?

RQ2:与LAF相比,LALF是否影响学生的学习成绩?

三、理论框架与研究创新

(一)自我决定理论:排行榜既可能支持胜任感,也可能伤害自主性

自我决定理论强调自主、胜任和关系三种基本心理需要。排行榜把相对位置可视化,可能让学生获得清晰的胜任反馈,也可能通过小组共同目标增强归属感;但如果外部评价压过内在兴趣,学生的自主性和长期投入也可能受损。

🎯 在本研究中的作用:

解释排行榜为何可能激发投入,同时提醒设计者不能只追求竞争强度。

(二)社会比较理论:名次把“我做得怎样”转化为“我与他人差在哪里”

排行榜同时支持向上比较与向下比较。向上比较可能促使学生模仿领先小组、缩小差距;差距过大时也可能引发挫败。向下比较可能增强信心,却也可能降低继续投入的紧迫感。

🎯 在本研究中的作用:

解释学习分析数据为何在加入组间相对位置后,可能更容易转化为目标设定和行为调整。

(三)认知临场感:用“提出—探索—整合—解决”刻画认知投入

研究借鉴探究共同体框架中的认知临场感,将讨论话语编码为触发事件(Triggering event)、探索(Exploration)、整合(Integration)、解决(Resolution)和其他(Other)。其中,整合与解决被视为更高阶的认知投入行为。

💡 方法创新:

研究没有只比较“发言次数”,而是依次分析行为分布、行为之间的连接和行为随时间的稳定性,使认知投入从静态计数走向结构与动态。

四、研究方法

(一)参与者与准实验设计

参与者:中国某高校32名软件工程专业大三学生,参加2023年春季“面向对象软件工程”课程。

分组:学生先按真实课堂中的社交关系或兴趣自主组成8个协作小组,每组4人;随后将8个小组随机分入实验组和对照组,各4组、16人。

基线:研究以学生对本组任务完成能力的感知作为集体效能代理指标,两组差异不显著(p=0.301)。

过程:第1-5周两组均无干预;第6-10周每周在线讨论前,对照组接收学习分析反馈,实验组接收学习分析反馈与排行榜;实验结束后收集期末成绩,并访谈实验组学生。

协作平台:QQ同步群聊,系统自动保留全部讨论话语。

(二)LALF到底反馈什么?

研究基于协作分析框架,从三个维度刻画小组表现:认知维度使用BERT模型识别认知临场感阶段;行为维度统计发言总数与讨论时长;社会维度使用基尼系数衡量成员参与是否均衡。对照组在仪表盘中看到这些学习分析反馈。

图 2 学习分析仪表盘:认知、行为与社会指标(来源:原文图2)

实验组在相同学习分析反馈之外,还能看到以小组整体表现计算的周榜与总榜。周榜呈现当周各维度得分,总榜累积此前积分与本周积分。榜单只对实验组开放。

图 3 实验组的周榜与总榜(来源:原文图3)

(三)数据与分析方法

讨论数据:清洗第6-10周在线讨论话语后,使用团队既有分类模型自动编码,共获得6057条认知投入行为编码。

学习成绩:以期末考试衡量课程知识掌握;对照组1名学生缺考,因此成绩分析样本为31人。

访谈数据:访谈实验组学生,用于三角互证与解释量化结果。

1.卡方检验:比较五类认知投入编码在两组中的频率分布。

2.认知网络分析(ENA):比较不同认知行为共同出现形成的连接模式。

3.自动递归量化分析(aRQA):以递归率、熵、层流性和确定性描述行为序列的稳定性。

4.Mann-Whitney U检验:比较ENA投影、aRQA指标与期末成绩。

5.主题分析:解释实验组学生如何理解并使用排行榜反馈。

五、研究结果

📊 四类证据放在一起看

证据层面

观察到的差异

关键统计量

频率分布

高阶编码占比更高

χ²=65.45,p<0.001;V=0.104(小效应)

关系模式

高阶行为连接更强

ENA横轴:U=330.50,p=0.02,r=0.43

时间动态

熵更低、模式更稳定

Entropy:0.26 vs 0.31,p=0.04

学习成绩

实验组均分更高

84.81 vs 82.25,p=0.023

(一)频率分布:实验组出现更多高阶认知投入,但总体分布差异属于小效应

实验组在探索、整合和解决三类编码上的占比均高于对照组:探索为61.90%对59.71%,整合为13.97%对10.62%,解决为2.08%对1.43%;触发事件和“其他”的占比则更低。五类编码总体分布差异显著(χ²=65.45,df=4,p<0.001)。

📌 关键限定:

Cramer's V仅为0.104,按作者采用的标准属于小效应。实验组各类编码的绝对次数接近对照组的两倍,说明参与量明显更高,但“更多发言”与“更高质量”不能简单画等号;更可靠的判断要结合后面的关系模式与时间动态。

(二)关系模式:实验组更容易从探索走向整合与解决

ENA显示,两组都存在较强的“触发事件—探索”和“探索—整合”连接。与对照组相比,实验组在“探索—整合”“整合—解决”等高阶连接上更强;对照组则在“触发事件—整合”连接上更强。

图 4 实验组(红)与对照组(蓝)的认知网络比较(来源:原文图7)

两组在ENA横轴上的差异显著(U=330.50,p=0.02,r=0.43),纵轴差异不显著(U=213.5,p=0.68,r=0.08)。这意味着网络差异存在,但并非所有投影维度都支持组间分离。

(三)时间动态:显著差异集中在“熵”,其余三个稳定性指标未显著

实验组的熵显著低于对照组(0.26±0.06 vs 0.31±0.11;U=79,Z=-2.05,p=0.04)。在本研究的解释中,更低的熵意味着行为模式更集中、更可预测。实验组的递归率、层流性和确定性方向上略高,但均未达到显著水平。

图 5 实验组与对照组个体案例的递归图(来源:原文图8;仅用于示例)

📌 精读提醒:

作者据“更低熵+其余指标方向一致”概括实验组模式更稳定,但统计上只有熵显著。图5也只是每组选取一名学生的可视化示例,不能替代全部学生的组间推断。

(四)学习成绩:实验组均分更高,差异达到统计显著

实验组16人的期末成绩为84.81±5.91,对照组15人为82.25±2.73。Mann-Whitney U检验显示差异显著(U=62.50,Z=-2.275,p=0.023)。

📌 如何理解:

两组均分相差2.56分,结果支持LALF与更高学习表现相关;不过论文未报告该成绩差异的效应量,且没有标准化学业前测,因此仍应避免把它解释为已被充分确认的强因果效应。

(五)访谈解释:排行榜把数据变成了可追赶的目标

实验组学生提到,当小组排名落后时,会更频繁查看榜单、增加发言,并依据探索、触发事件等指标与领先小组比较,调整自己的认知策略。作者据此认为,榜单提供了清晰且具有挑战性的目标,使学习分析反馈更容易进入“比较—设定目标—调整行为”的循环。

⚠ 仍需注意:

论文同时承认,过度或不利的比较可能引发挫败、降低动机。排行榜真正有效的前提,是竞争与支持性反馈保持平衡。

六、研究局限与精读评价

(一)作者提出的五点局限

1.样本仅32名软件工程专业学生,结果的可推广性有限。

2.研究集中于单一专业和课程情境,需要在更多学科与课程中验证。

3.受隐私限制未收集GPA或标准化前测,只能以集体效能感知作为基线代理。

4.认知投入主要依据讨论话语,未来可加入行为观察、脑电或眼动等多源测量。

5.准实验中的非完全随机分配和潜在混淆变量限制了因果推断,未来可采用混合方法、更严格的统计控制或随机对照实验。

(二)进一步值得追问的三件事

🔎 分析单位是否充分处理了“小组嵌套”?

干预在小组层面分配,学生又嵌套在8个自然形成的小组中,但论文把个体作为全部统计检验的分析单位。由研究设计推断,同组成员的数据可能并非完全独立,未来研究可采用多层模型、群组稳健标准误或以更多小组为样本。

🔎 排行榜促进的是发言量,还是认知质量?

实验组编码总量明显更高,卡方分布差异却只有小效应。ENA与aRQA提供了比频数更深入的证据,但仍需要把任务质量、知识产出和话语内容的质性评价纳入同一证据链。

🔎 谁会被排行榜激励,谁可能被它劝退?

平均差异无法回答不同初始能力、竞争倾向或自我效能学生的反应。尤其需要追踪长期处于后位的小组,检验榜单是否放大挫败与不平等。

七、对教学设计与研究实践的启示

(一)排行榜不要只排“活跃度”,要排可解释的学习质量

把认知指标、参与数量、讨论时长和成员参与均衡度结合,避免“刷发言”成为最优策略。

每个分数都要能追溯到可改进的行为,让学生知道“为什么得分”和“下一步怎么做”。

同时提供周榜与总榜:周榜给予短周期反馈,总榜保留长期进步轨迹。

(二)把竞争设计成“小组共同改进”,而不是公开羞辱个体

优先展示小组层面的排名和进步,谨慎公开个体末位。

给落后小组提供具体、私密且支持性的诊断,而不是只显示差距。

监测连续低排名学生的情绪与参与变化,必要时淡化绝对名次、增加进步榜或分层目标。

(三)研究学习过程时,别只做“次数统计”

这篇论文最值得借鉴的方法论贡献,是把认知投入拆成“分布—模式—动态”三个视角:卡方检验回答哪些行为更多,ENA回答哪些行为彼此连接,aRQA回答这种行为结构是否随时间稳定。三者结合,比单独统计发言量更接近在线协作学习的真实过程。

💡 结语

排行榜并不是学习分析的装饰层,也不只是把课堂变成一场竞赛。它真正可能发挥作用的地方,是为学习分析反馈增加“相对位置”和“可追赶目标”,让学生从看见数据走向调整行动。

但这项研究同样提醒我们:显著不等于强效,更多发言不等于更深学习,更稳定也不能只由一项显著指标概括。教育技术设计既要看到排行榜带来的动机增益,也要处理比较压力、测量边界和因果证据的限制。

或许,真正值得追求的不是“让学生争第一”,而是让数据反馈足够清楚、目标足够可达、竞争足够友善,使每个小组都知道自己下一步可以怎样学得更深。

以上是本期内容,欢迎大家在评论区交流讨论,提出宝贵意见!

最新文章

随机文章