本发明提供了一种实时语音识别系统和方法。该实时语音识别方法包括：采集当前用户的当前语音和当前场景信息；构建当前用户对应的当前场景语言模型；根据当前场景信息判断当前场景的类型，并从根据历史场景信息而构建的与不同场景类型相对应的静态语言模型中搜索与当前场景的类型相对应的静态语言模型；调用通用语言模型，基于通用语言模型、搜索出的静态语言模型、当前用户对应的场景语言模型的混合以及声学模型，识别当前用户的语音。本发明实施例通过结合各类场景信息以线下和线上相结合的方式构建语言模型，可以有效提升识别语音的准确率。