近日，我院孙晓军教授课题组在教育学领域国际顶级期刊《International Journal of Educational Technology in Higher Education》（中科院1区Top期刊，IF = 16.7）发表最新研究成果，系统探讨了如何在沉浸式虚拟现实技术中的运用大语言模型支持的虚拟形象来优化学习者的心理感知和学习效果。论文题为 “Using LLM-Empowered Virtual Avatars in Immersive Virtual Reality Technology to Enhance Psychological Perception and Learning Outcomes: The Role of Interaction Methods, Anthropomorphism Types, and VR Perspectives”。我院2025级博士生徐纯泽为第一作者和通讯作者，指导教师孙晓军教授为共同通讯作者。

尽管沉浸式虚拟现实技术以其高沉浸感、交互性和趣味性等传统教育方式所不具备的独特优势得到了研究者们的广泛探讨，但针对如何优化学习者在沉浸式交互环境中的认知负荷和学习效果的问题，仍然需要更多实证研究的支持。

因此，为了更好地理解学习者在沉浸式虚拟现实技术中使用LLM支持的虚拟形象的学习表现，本研究通过两项预实验和两项正式研究，系统性地探究LLM与IVR技术的结合对学习者感知过程的影响机制。研究材料既涵盖人文社科类（英语）又包括自然科学类（化学），涉及多种知识类型（陈述性知识和程序性知识）。此外，本研究基于心智感知理论和S-O-R模型框架，结合心理和物理层面，创新性的提出了本研究的整体模型框架（如下图所示）。这种多方法、多材料、多路径的研究通过整合多维度数据源与任务材料，显著提升了研究结果的外部效度，有效排除了单一方法或数据的固有偏差，让结论更可信。研究结果有力地揭示了IVR中使用LLM支持虚拟化身对学习效果的影响机制。

最终结果表明，IVR环境中的学习者与LLM支持的虚拟化身的互动能够有效提升学习者的心智感知水平，通过增加学习者对于经验性和代理性的感知，帮助其获得更好的学习效果，其中认知负荷起到调节作用。尤其是LLM支持的虚拟化身的多模态信号使学习者无需进行额外的努力就能充分理解化身的意图，减少了无效认知的消耗，使其外在认知负荷水平大幅降低。同时，高心智感知能够让学习者将认知资源集中在与化身共同构建知识中，提升了学习者相关认知负荷水平，优化了认知负荷的整体结构。

不容忽略的是知识类型与VR视角、拟人化类型三者在其中的交互作用。具体而言，第一人称视角增强了学习者的主体感和沉浸感，使其更加专注于虚拟化身的行为拟人化特征，促进了学习者对程序性知识的加工。第三人称视角与形态拟人化通过强化与学习者的自我关联和具身感知，提升了其对于陈述性知识的记忆。这揭示了IVR环境中学习者自我参照加工与动作映射加工两种不同的认知机制和加工模式。

总体而言，这些发现有助于理解学生在使用VR的学习过程中认知和学习行为的产生和转变机制，不仅拓展了心智感知理论和S-O-R框架的文献和应用场景，还为教师指导IVR技术的具体应用、VR产品的定向开发及LLM拟人化交互的精准设计提供了实证依据，让技术适配学习而非学习适配技术的理念变为现实。

该论文得到了国家社会科学基金（项目编号：23BSH118）和教育部人文社会科学基金一般研究项目（项目编号：22YJA190009）的共同资助。

编辑：徐纯泽

图片：徐纯泽

审核人：赵庆柏