本发明涉及基于计算机视觉辅助的正面人机交互语音识别方法及系统，通过在传统语音识别流程中加入视频信号输入，与语音信号一同识别；在人脸识别和人脸唇部运动识别中进行语音辅助，判断是否所要识别的目标正在说话；同时，通过人脸识别和辅助定位，判断说话人方位，并利用相应方位，对指定方向声源信号进行增强处理。本发明可以有效增强在特定环境下，例如自助零售终端、银行自助终端、保险自助终端等需要客户正面面对设备的人机交互使用场景，对客户语音命令和语音输入信息识别的准确率。