本发明公开一种语音识别系统优化方法和装置，其中，语音识别系统优化方法，包括：将待筛选音频数据分别输入至目标优化ASR系统和N个可用ASR系统中进行语音识别得到N+1个语音识别结果；对N+1个语音识别结果进行度量，确定M个语音识别结果并将M个语音识别结果送入标注专家进行标注；以及将标注专家标注过的M个语音识别结果再输入至目标ASR系统以对所述目标ASR系统进行优化。本申请实施例的方案通过将待优化指标（识别准确率）融入到系统设计中，使得设计出的主动学习方法能够优化这一指标，能够有效提升主动学习在语音识别应用中的效果，并且可以在只获得语音识别文字结果的情况下，利用多系统进行优化，大大降低了应用主动学习技术的门槛。