本发明提供了一种基于惯性测量单元的全景视频稳像的方法，包括步骤：S1：惯性测量单元与全景拍摄设备主镜头标定；S2：同步惯性测量单元时间戳与全景视频帧的时间戳；S3：利用惯性测量单元实时获取当前帧的旋转矩阵R′；S4：获取当前帧视频的旋转矩阵M；S5：根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明还提供了一种用于基于惯性测量单元的全景视频稳像的方法的全景视频稳像系统，包括：全景拍摄模块、惯性测量单元、标定模块、同步模块、计算模块以及处理模块。本发明解决了将全景拍摄设备放置在汽车等载体上，由于汽车等载体在行驶过程中造成全景拍摄设备画面不稳定的问题，提高了用户体验。