887700葡京线路检测(澳门)合作伙伴

提高孤独症儿童社会互动能力的多模态人机互动早期干预方法目前儿童孤独症尚无有效的药物治疗手段，早期干预训练是唯一可行的途径。当前研究表明，通过计算机辅助学习进行早期干预训练是可行的，本研究为提高孤独症儿童社会互动能力提供了一种人机多模态的早期干预训练新方法，通过建立全新的基于游戏的互动式多模态智能学习环境来支持对孤独症儿童的干预训练。此学习环境由视觉信号处理、语音信号处理、物理交互界面、多模态融合、智能控制台和真实场景模拟六个基本模块组成，视觉信号处理检测儿童的注意力和表情，语音信号处理辨别儿童的声音，触摸屏捕捉儿童的动作，多模态信息融合模块把检测到的儿童的注意力、表情、声音和手势动作信号融合产生儿童的学习状态，然后反馈给智能控制台，智能控制台根据设计的学习活动内容产生儿童与虚拟动画人物之间基于游戏的互动，真实场景模拟根据多模态信息融合模块与智能控制台发出的指令显示不同的虚拟场景和输出各种声音。在此学习环境中，儿童通过前端模块（视觉、语音处理及物理交互界面）直接与学习环境互动，后端模块（多模态融合、智能控制台及真实场景模拟）根据儿童的行为产生相应的互动虚拟场景。这个学习环境模拟真实世界，儿童可以通过说，看，指或触摸来表达对事物的兴趣。

学习环境系统设计 多模态人机互动学习环境

该项目已经申请专利，专利名称和专利号分别是：