探索发现 · 交大智慧
上海交大王华团队探析AI赋能口语互动测评中学习者参与特征及影响因素
研究背景
随着人工智能(AI)技术的快速发展,口语测评正经历深刻变革,在线口语互动测评已成为研究热点。AI辅助的互动测评系统能够提供沉浸式练习环境、个性化评估和实时反馈,为语言学习者带来全新体验。然而,当前关于考生如何参与技术媒介语言评估的实证研究还非常有限,一些关键问题,如考生为什么以及如何参与人工智能媒介的语言评估,仍有待解决(Jin & Fan 2023)。
参与(engagement)一直是教育学和心理学领域深入研究的主题。然而,学生在EFL 学习任务执行过程中的参与却很少受到关注(Egbert 2020)。随着学生越来越多地使用技术进行学习和评估,任务参与的衡量也必须适合以新技术为媒介的学习环境。本研究旨在将任务参与的概念扩展到EFL 评估领域,以技术公司支持开发的诊断性互动口语测评系统ISA(Interactive Speaking Assessment)为基础,探索在人工智能辅助的互动测评环境中,不同语言水平学生的参与特点和区别特征,以及影响学生有效参与技术媒介语言测评的因素。
这项最新的研究成果已经发表于中文顶尖期刊《外语教学与研究》(《人工智能辅助在线口语互动测评任务的参与度研究》, 2025年第3期)。
研究问题
本研究基于Egbert et al.(2021)提出的多维模型框架来阐释任务参与的内在机制。同时,通过整合现有研究发现,任务参与程度可能受到多重因素的交互影响,包括任务设计要素(如任务类型与复杂度,Dao et al., 2021)以及任务实施条件(如沟通环境与互动模式,Qiu & Bui, 2022)。鉴于当前研究情境的特殊性,本研究特别关注AI环境这一关键变量对任务参与的潜在影响。基于此,本研究拟探讨的核心研究问题是:
1)大学生在ISA任务中的参与度(包括行为参与、情感参与、认知参与、主体参与和社会参与)如何?
2)影响大学生ISA参与度的任务设计和AI环境因素是什么?
研究方法
研究问题一:学生在线互动测评任务参与度
研究发现,在技术媒介测评环境下,行为、认知和主体参与是评估任务参与度的主要维度。不同水平组在这三个维度上具有相同的特征,而高水平组在语言产出量(话轮次数、单词数量,行为参与)、流利性(停顿时间、沉默时间,行为参与)、内容协商数量和LRE 数量(认知参与)上表现最佳。三个水平组在反馈的关注程度(主体参与)上存在明显差异。受试的语言水平越高,对反馈的关注程度越高,更倾向于反思语言使用或通过互动来澄清、发展对话内容(认知参与)。
相反,三个水平组在反馈语使用(社会参与)和热情程度(情感参与)上无显著差异,主要有两大原因。一是受试与AI 互动可降低紧张情绪,增加练习机会,因此无论语言水平高低,受试均表现出极大兴趣(情感参与)。二是由于受试较少参与此类口语互动,导致反馈语的使用不熟练(社会参与),这与语言水平无关。以上现象体现了技术媒介测评的独特潜力和挑战,但学生的积极态度和与AI 互动的意愿促进了在线互动的完成。因此,社会参与和情感参与对在线互动至关重要,为互动的顺利推进奠定了基础。
研究问题二:影响学生参与在线互动测评的任务设计和AI 环境参与特征
影响学生参与在线互动测评任务的主要因素有任务难度和类型、反馈准确性和及时性、系统稳定性和智能性。所以,提高在线测评任务中的参与度要从任务设计和在线AI 环境入手,同时兼顾学生认知与任务、语言水平与在线环境之间的相互作用。
学术价值与实践意义
本研究聚焦在线口语互动测评任务的参与度,期望从考生参与角度推进技术媒介口语互动测评,为基于技术的参与理论和语言评价的发展提供动态分析和实践经验。
该研究获得国家社科基金项目“英语口语在线交互智慧学习和诊断测评系统的开发与效度研究” (22BYY093)的资助。
作者简介
王华,上海交通大学外国语学院副教授、博士生导师。主要研究方向为语言测试与评估、语言教学。主持2项国家社科基金一般项目,参与国家、教育部和上海市社科项目5项。同时,在各类学术期刊上发表科研论文30余篇,例如《外语教学与研究》《现代外语》《外语界》《外语研究》《外语学刊》、Assessing Writing等核心刊物,出版学术著作2部。
张雅茜,上海交通大学外国语学院博士研究生,师从金艳教授,研究方向为语言测试。