arXiv

课堂聊天机器人能通过语气测试，却教不好这堂课

2026年9月25日 16:52

由教师配置的聊天机器人可以及时作答，听起来也像那么回事，却未必会执行它被设计来教授的课程。一项针对27名中学教师的研究发现，在四项指标中，教学目的契合度最弱。这说明，在学生能够依赖课堂AI之前，需要有办法测试并修正它的教学行为。

教师可以让通用聊天机器人帮助学生，却无法可靠判断它是否会保留有效的思考过程、是否会停留在课程范围内，或者是否会直接给出答案而不是提供引导。学生可能需要一个提示或一个问题，却收到一个完整的答案。教师仍然要负责检查机器人说了什么，以及学生学到了什么。

聊天机器人听起来没问题，教法却可能不对

大型语言模型不会像练习册那样，以完全固定的方式执行教学计划。它们会根据收到的指令和对话内容，生成最可能出现的下一条回应。一条指令可以影响回应，却无法保证回应一定如此。

这让“有帮助”在课堂里成了一个含义模糊的词。如果教师希望学生自己解题，那么友好而及时的回应仍可能破坏这堂课。一个始终围绕主题的机器人，仍可能把答案直接说出来。由教师配置的智能体，旨在把一次性的提示变成可重复使用的课堂角色，比如一个在限定范围内工作的学科辅导员。

这项研究还把机器人的教学任务，与使用它时周围的实际条件区分开来。学校在使用AI工具前，必须考虑学生隐私、适龄内容、设备、网络和当地审批等问题。这里的问题范围更窄，但同样重要：教师能否判断机器人是否正在进行预期的教学？

测试的不只是令人愉快的语气

研究人员在2026年夏季的专业发展培训中，研究了27名中学教师。这些教师为科学或计算思维活动制作并测试了聊天机器人。

这个创作工具让教师可以在不同位置分别描述机器人的教学目的（Purpose）、规则（Rules）和行为特征，即角色设定（Persona）。他们还可以选择语言模型，并可选地添加课程文件，供机器人检索。教师主要用Purpose来填写学习目标和学科重点；而Rules则更多用于规定教学行为、限制条件，以及针对不同学习者的调整。

随后，研究人员围绕四个彼此独立的问题评估制作完成的机器人：机器人会回应吗？它是否服务于所陈述的教学目的？它是否遵守规则？它是否符合要求的角色设定？

这种区分很重要。一个机器人可以通过语气测试，却教不好这堂课。在这项研究中，88.9%的聊天机器人通过了回应能力测试。81.5%的机器人通过了角色设定契合度测试。但只有59.3%的机器人通过了教学目的契合度测试，这是最低的结果。规则遵守度也低于其他指标。

教师表示，更换模型可能会改变机器人是否遵守“不直接给出答案”的指令。他们还要求为配置控件提供更清晰的标签、示例、模板和指导。把一个意图写进输入框，并不总能让这个意图真正实现。

Figure 5. Mapping Norman’s Gulfs of Execution and Evaluation to teacher-facing AI authoring. Adapted from Figure 2.1 in Norman ([Norman Donald, 2013](https://arxiv.org/html/#bib.bib56)). In our adaptation, the pedagogical Gulf of Execution captures the translation of a teacher’s pedagogical goal into chatbot configuration, while the pedagogical Gulf of Evaluation captures the interpretation of generated chatbot behavior relative to that original goal.Conceptual diagram mapping Norman's Gulf of Execution and Gulf of Evaluation to teacher-facing AI authoring. A teacher pedagogical goal is shown at the top and a teacher-facing AI authoring system at the bottom. The left side represents the pedagogical Gulf of Execution, showing how teachers translate pedagogical goals into configuration choices such as Purpose, Rules, and Persona. The right side represents the pedagogical Gulf of Evaluation, showing how teachers interpret generated chatbot behavior and assess whether it reflects their original pedagogical goals.In our study, the pedagogical Gulf of Execution captures the distance between a teacher’s intended pedagogical behavior and the configuration actions available for expressing it. Teachers had to translate instructional intentions into fields such as Purpose, Rules, and Persona, a process that was not always straightforward. The pedagogical Gulf of Evaluation captures the distance between generated behavior and the teacher’s ability to judge whether that behavior reflects the original pedagogical intention. This distinction is particularly important for generative AI, where a response may appear conversationally appropriate without fully realizing the intended instructional purpose. Together, these two gulfs show why configurable controls alone are insufficient: teacher-facing AI authoring must support both the expression of pedagogical intentions and the evaluation of whether those intentions are realized in system behavior. 出处: Will It Teach as Intended? How Teachers Configure Educational AI Chatbots（arXiv）

缺少的功能是证明

这项研究的核心发现是：仅靠配置，并不能让聊天机器人变成教学工具。教师需要帮助来表达自己的意图，也需要帮助来判断机器人的回应是否真的与这些意图相符。

这就是设定目标和检查结果之间的差距。教师可能会写下“通过提问而不是给出答案来引导学生”。机器人听起来可能耐心又鼓励人，但在遇到困难情况时，仍可能直接给出答案。如果没有办法发现这种失败，教师就必须继续手动监管对话。

如果创作系统能够向教师展示回应偏离学习目标的地方，并帮助他们修改或强制执行这一目标，课堂AI就有可能成为一种可控的教学支架，而不是一个泛泛提供答案的机器。教师获得的将不只是关于答案质量或语气的证据，还包括关于教学目的和约束条件的证据。

在中学科学课堂上，一个卡在水循环问题上的学生可以打开班级机器人，得到教师批准的问题和提示，而不是一段可以复制到作业里的文字。教师之后可能会发现，有几个学生需要同一个提示，于是在下一堂课重新讲解这一误解，而不必阅读每一份聊天记录。这一未来取决于这样的仪表板：它们能在保护隐私的同时，呈现有用的模式；也取决于机器人能否在真实对话中始终守住边界。

这项研究尚未证明这一点。它主要考察了教师在短期培训中测试机器人的互动，而不是学生长期在课堂上使用机器人的情况。下一步是在真实学生参与的情况下进行持续测试，同时配备能够诊断并修复教学目的执行失败的工具。

出典

arXiv，“Will It Teach as Intended? How Teachers Configure Educational AI Chatbots”