理论+实操：从即梦、豆包到 Codex，用一份物理微课作业，试了几条完全不同的AI视频生成路线缘起｜一份微课作业
前几天，现代教育技术老师布置了一份作业：用 AI 制作一段微课视频。
图1｜这次实验的起点：要求使用 AI 制作微课视频的课程作业
一开始，我觉得这件事应该不难。
毕竟，现在有豆包、即梦这些工具。输入一句话，或者上传一张图片，画面不就动起来了吗？
可真正准备动手，问题一个接一个冒出来。
有的工具一次只能生成短短几秒，可我要交的是一段完整微课，怎么办？几段视频拼在一起，角色和画风能保持一致吗？如果讲到具体的学科知识，画错了怎么办？
还有个更根本的问题：怎样才算“AI 生成视频”？ 一整段都由模型直接生成？还是让 AI 制作素材，再由程序剪辑成片？
后来我发现，这可能也是不少第一次接触 AI 视频的同学会遇到的问题。
我们对 AI 视频的认识，往往被自己熟悉的那几个工具限制住了。
比如，提到用 AI 做视频，很多人第一时间想到的是豆包、即梦：输入一段提示词，上传一张图片，等待模型生成。
但其实，AI 视频创作的领域远比想象中宽广。
于是，我拿同一个主题，试了几种不同的制作路线。
先看成果 | 这是经过多轮调整的小布微课。下面再讲它是怎样一步步做出来的。
视频1｜小布凸透镜微课：经过多轮打磨的试制成片（2分48秒）摸路
我先去小红书找了一些案例，发现 AI 视频有几种不同的做法。这里先看三个代表性例子：数字人讲解、生成式视频，以及 Agent 编写代码制作动画。
1. 一种常见，也是现在不少老师微课比赛比较喜欢用的微课呈现形式：数字人
图2｜数字人微课的一种呈现形式：让虚拟讲解者承担出镜任务
我们对数字人并不陌生，一些直播间已经在引入数字人直播，一些短视频博主也有用数字人替代自己出镜。
这个做法也相对简单，在即梦里面直接就有这个功能。
图3｜生成式视频通常从提示词、参考素材和模型选择开始
2. 已经比较成熟的路线：生成式视频（sora、即梦）
它最常见的流程是：脚本 → 分镜 → AI 生图 → 图生视频 → 多段拼接 → 配音/BGM/字幕 → 剪辑。
这种路线的思路，是把大任务拆解。要做一个短剧，先想有几个关键场景，设计出关键帧后，再让图生视频能力让人物动起来。
图4｜先设计关键场景和分镜，再生成、拼接多个短镜头
它擅长真人、动物、自然场景、电影镜头、复杂运动、光影和摄影感，但对于“这个图案必须在某个位置”“这组公式必须一字不错”“柱状图必须准确显示 43%”，不如我们后面要讲的代码渲染那么可靠。
因此，这个适合叙事类短视频，但不一定适合理科的教学。
3. 技术向，agent 写代码+ Remotion 渲染生成知识讲解视频
等等，视频还能靠写代码做？
图5｜字幕、音效、背景等元素，可以沿时间线分层组织
这一条和上面其实不是同一种技术，感兴趣的读者可以看下下面这个视频感受一下这种路线的风格：
视频2｜代码生成视频示例：GPT6.1能帮你做什么
看完视频，你可能会发现，这种视频有点特别：没有复杂的真人场景，却能让文字、公式、图表和几何图形流畅地动起来。
这些画面，竟然可以直接用代码生成。
如果你做过 PPT 动画，就不难理解了。
比如，制作一段凸透镜成像的微课：先出现透镜和光轴，再标出焦点，最后让两条特殊光线动态延伸，形成像。
过去，这些动画需要我们手动制作。现在，可以直接告诉 Codex、Claude Code 等 AI Agent，让它编写动画代码，再交给 Remotion 渲染成视频。
原理也不复杂：视频本身就是由一帧帧画面组成的。Remotion 能根据代码计算每一帧的画面，再将它们合成为视频。
自然语言描述 → Agent 编写代码 → Remotion 渲染 → 导出视频。
这种路线最大的优势是精确、可控、方便修改。比如公式写错了、光线位置不对、动画速度太快，都可以直接修改代码，重新渲染。
因此，它特别适合知识讲解、理科微课、数据可视化等需要准确呈现信息的场景。
相比之下，生成式视频更擅长创造人物、自然环境和电影感镜头。
简单来说：生成式视频擅长创造场景，代码视频擅长让准确的信息动起来。
【小结】
简单来说，AI生成视频有两条路线：
第一条，让模型“画视频”。 输入文本、图片或参考帧，由模型直接生成连续画面。适合需要氛围、人物动作和复杂视觉细节的短镜头。
第二条，让 Agent“写视频”。 让它用 HTML、SVG、Canvas 或 Remotion 等组织图形、图片、配音和字幕，按时间线渲染成片。适合需要精确控制、反复局部修改的知识讲解。
但这些工具和路线，没有出现那个令我兴奋的点，纯文生视频吧，没法保证内容准确；代码转视频，就很AI味。有没有一种办法，能综合两者的优点，生成既可爱，又准确的视频呢？
转折｜一张SOP地图
10 月 6 日，我在得到AI学习圈上看到了李奕辰老师（一位AI影像导演）。
最启发我的，并不是认识了哪个新模型，而是李老师给了一套有先后顺序的 SOP：角色 → 剧本 → 关键帧 → 视频。
图6｜改变我制作思路的四阶段 SOP：角色、剧本、关键帧、视频
角色要先确定形象和声音；剧本要先安排教学内容；关键帧要保证人物、场景和动作一致；最后才进入视频制作。
听起来平平无奇，但它刚好解释了我此前为什么总在返工：我知道每一步可以用什么工具，却不知道下一步会遇到什么，也没有统一的检查点。
于是我做了个实验。
把最近很喜欢的 QQ 宠物蒜头鹅——我叫它“小布”——和这套 SOP 交给 Codex，让它尝试制作一段凸透镜成像微课。
我最初给它的角色参考，甚至只是一张有些模糊的图片。
不到五分钟，第一次阶段性反馈就回来了：定妆照做出来了，声音素材也有了。
图7｜从模糊参考图到角色三视图和试音：第一批阶段性成果
我尤其意外的是声音，大家可以听听看：
第一次听到试音时，我挺惊喜的：这个活泼少年的声音，竟然和我想象中小布的性格很搭。
本来觉得音色是极其私人、很难“搬走”的东西，结果它竟然能够被模型学习和生成，而且和卡通角色相当贴合。
那一瞬间，我忽然想起学过的数学：频率、波形、向量，以及那些曾经看起来很抽象的表达方式。原来它们可以进入声音、图像和视频这样具体的创作现场。
当然，语音生成远比“几条波形函数”复杂得多，不能把模型能力简化成几个矩阵。但那种抽象知识突然有了触感的兴奋，是真的。
接着，按照我给它的SOP，AI给我生成关键帧计划：
在我确认后，第一版视频底稿就出来了：
图9｜第一版画面：角色与光路已经出现，教学呈现仍需调整这次我并没有单独走纯生成式视频或纯代码视频路线，而是把两者组合了起来：用生成模型准备小布的角色和场景素材，再让 Codex 将这些素材、光路演示、配音等编排到同一条时间线上。
不过，具体哪个画面什么时候出现、停留多久，还需要在后续修改中逐项明确。
调教｜AI 会做动画，却不一定懂怎么教
第一版做出来后，我开始按真实课堂的标准修改它。有些光路图和教材的画法不一致，有些页面又太像 AI 生成的展示模板，装饰抢了教学内容的注意力。
我找到一个很实用的办法：把不满意的地方截图、圈出来，写清楚哪里不对、希望怎么改，再交给 Codex 一项项修改。有时候，一张我认可的教师课件截图，比一大段抽象的文字要求更管用。
图10｜通过截图和修改指令，调整 AI 生成的微课页面当然，技巧就是，善用参考图。有时候一堆文字描述，不如一个你满意的PPT截图来的直观。
“做得出来”和“教得清楚”之间，距离还挺远。
第一轮看视频，我就发现了几个别扭的地方。
小布话还没说完，头顶的文字气泡已经消失了；明明说的是“先认识凸透镜”，画面却急着把平行光打了过来；一道思考题，答案几乎紧跟着就露出来。
这些细节，放在普通短视频里可能只是节奏问题，放进微课就会影响学生理解。
于是我开始用真实教学的标准要求它。
介绍凸透镜时，先突出“中间厚、边缘薄”，再演示光线。讲到放大镜，就让放大镜图片随台词浮现。提问时写“思考题”，不要用不太像真实教师课件的“轮到你试一试”。答案应当给学生一点思考时间，再出现。
我还把沪科版八年级教材中相关内容交给它，要求核对科学概念、课堂用语和图片依据。
这也是很重要的技巧，你的AI之所以不好用，是因为他不知道你的需求、习惯。
这些教材页、真实课件和教学要求，都是我补给 Agent 的任务上下文。它只有知道我想讲什么、怎么讲，才更可能给出符合课堂需求的结果。
图11｜调整画面出现顺序，让微课更贴合真实教学节奏
这时我意识到：让 AI 画一个教学画面，和让画面按照学生的理解顺序出现，是两件事。
我还摸索出一个很实用的小技巧：时间戳先行。
先把每一句台词的起止时间标出来，再明确某个词出现时，哪个图形进入、哪条光线运动、哪个标签淡出。这样 Agent 就不必凭感觉替我安排教学节奏。这里很重要的是，AI自己拟的词，和一个真实老师会讲的差异很大。我们先把他的词理顺，再让它去配音，可以减少返工。
图12｜按台词时间戳安排画面、光线与字幕的出现时机碰壁｜更高级，怎么反而更难用了？
这个过程中也有一些波折。
10 月 7 日，我差点花 70 元开通即梦 VIP。
我的视频需要为开头和结尾配上有故事感的画面。为了生成这个，我先去即梦，当时页面显示的生成等待时间让我很难受；我尝试加速，预计等待时间一度反而更长，还涉及积分消耗。后来换到豆包，在那次具体任务里反而更快得到一个能继续改的结果。
图13｜10 月 7 日用即梦生成任务的等待提示
图14｜改用豆包后的生成反馈与视频片段
回头看，最值得庆幸的不是省下了 70 元，而是我没有继续卡在同一个工具里。对初学者来说，等待、积分和反复重试都是实际成本。一个功能再强的工具，如果反馈太慢，也可能拖住整个创作过程。
这次让我意识到：选择工具，除了看生成质量，还要看它能不能支持快速迭代。
取舍｜两条路，到底怎么选？
如果重新做一遍这个作业，我不会先问“哪个 AI 视频工具最强”，而会先问自己三个问题。
第一，我需要的是什么画面？如果是人物动作、自然场景和氛围镜头，可以优先尝试生成式视频。
第二，有哪些内容必须准确、方便修改？如果涉及物理光路、公式、图表，或者严格跟随讲稿的教学动画，代码路线通常更便于控制和局部调整。
第三，这个工具能不能让我快速试错？出片质量固然重要，但等待时间、积分消耗和修改成本，也会决定我能不能把作品继续做下去。
如果一条视频同时需要可爱的角色和准确的知识演示，我会考虑混合使用：生成模型负责角色、背景和部分镜头，代码负责公式、光路与时间线，再让 Agent 帮我把它们组织起来。
动手｜你也来让一条光线动起来
前面展示的那段小布微课，已经有 2 分 48 秒。
但这里我要先说明一件事：这不是我给 Codex 发出一句指令后，它第一次交来的作品。
角色的形象、声音、光路的出现顺序、字幕和讲课节奏，我都调整了不止一轮。有些地方越改越别扭，甚至还要退回以前的版本。
所以如果你第一次尝试时，得到的是一个有点简陋、还不够顺畅的小动画，完全正常。
这次我们不要求复刻整部“小布微课”。
先把目标缩小一点：让一条光线动起来，再看看桌面 Agent 能不能把它做成视频。
第一步｜让 AI 写出会动的画面
如果前面的 HTML 动画已经能在浏览器中正常播放，下一步，我们就来尝试把它变成真正的视频文件。但它还只是网页，并不是一个真正的视频文件。
这时不妨继续问 Agent：
请把刚才通过检查的 15 秒 HTML 动画，导出为 1280×720、30fps、H.264 编码的 MP4 视频。
先检查本机是否有可用的浏览器录制、逐帧截屏与 FFmpeg 等编码能力。
如果环境具备，请完成渲染与导出，并告诉我实际文件位置、视频时长和文件大小。请确认视频能够正常播放，再提供开始、中段和结尾的三张截图。
如果缺少依赖或权限，先告诉我具体缺什么、是否收费、准备怎样处理，等我确认后再继续。不要把 HTML 改个后缀冒充 MP4，也不要报告未经验证的成功结果。
这里才是我希望大家体验到的另一种 AI 视频制作方式。
以前我们熟悉的路径，是输入提示词，等待模型生成几秒画面。
现在，桌面 Agent 还可以写出网页动画，调用本地工具对画面进行录制或渲染，再把它编码成真正的视频文件。
如果你已经完成了这三步，就不妨再考虑加入角色、旁白和字幕。
从一条光线，到一段能够讲解知识的视频，接下来要解决的，就不再只是动画能不能动，而是素材能否衔接、内容是否准确、每一次修改是否受控。
这也是我为什么花了这么多时间，才把小布慢慢打磨成现在的样子。
回看
回头看，这几天我一开始想解决的，无非是一份现代教育技术作业：怎样把零散的几秒钟视频，做成一堂能把物理知识讲清楚的微课？
现在小布的这段视频终于有了 2 分 48 秒。
但如果你只看最后的成品，可能会以为我说一句话，Codex 就把人物、声音和动画一次性做好了。
实际不是。
第一版的角色和语音让我挺惊喜，可一到真正讲课，问题也冒了出来：有的话还没讲完，画面就跑到了后面；学生还没来得及思考，答案就已经出现。为了这些问题，我反复调整讲稿、画面顺序和时间戳，有的版本改过头了，还得回退。
所以这次我最想分享的，不是哪款工具比哪款工具强，而是原来桌面 Agent 也能参与完整的视频制作：写动画、组织素材、运行程序、检查结果，再根据要求不断修改。
当然，能生成一段视频，和能教好一节课，仍然是两件事。科学知识对不对、哪里该让学生停下来思考，最终还需要人来判断。
如果你是第一次尝试，不必照着我这部小布微课从头复制。
打开一个桌面 Agent，让它先把一条光线画出来，看看会不会动；满意了，再让它试着导出一段小视频。第一版普通甚至有点笨拙，恰恰是正常的开始。
至于我的小布，下次可能还会出现在新的视频里。
这一次，我学会的不只是怎么让 AI 动手，还有什么时候应该让它停一下，把结果交还给自己检查。
