本发明提供一种基于虚拟人的视觉交互方法，虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，方法包含：通过虚拟人输出多模态数据；接收用户针对多模态数据提供的多模态交互数据；解析多模态交互数据，其中：通过视觉能力检测并提取多模态交互数据中的手部伸缩动作或手臂收放动作作为交互意图；通过虚拟人按照交互意图进行多模态交互输出。本发明提供的基于虚拟人的视觉交互方法及系统提供了一种虚拟人，虚拟人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本发明提供的虚拟人的视觉交互方法及系统还能够通过手部伸缩动作或手臂收放动作判断用户的意图，与用户展开交互，使得用户享受拟人的交互体验。