本发明提供一种基于全息的多模态交互系统，其包含：移动设备，装载并运行虚拟形象，移动设备配置多模态交互模块，并与云端大脑互联，通过云端大脑解析及计算，以生成及控制输出多模态输出数据；成像设备，其用于将特定虚拟形象转化为全息影像，以将全息影像显示在预设区域，并输出全息影像及多模态输出数据中的展示数据；支撑体，其用于承载移动设备以及成像设备。本发明提供了一种基于全息的多模态交互系统及方法能够将移动设备上的虚拟形象转换为全息影像后显示出来。并且，本发明还能够通过移动设备与成像设备配合的系统与用户展开生动虚拟形象的多模态交互。