本申请公开了一种翻译模型的性能确定方法、置信度确定方法、装置、设备及存储介质，属于人工智能技术领域。本申请通过获取翻译模型输出的译文以及该译文中各个单词的置信度，该置信度用于指示其对应的单词为正确翻译结果的概率；基于该置信度的取值，将各个置信度分为多个组；确定各组置信度对应的平均置信度以及各组置信度所对应单词的平均准确率；基于各组置信度的平均置信度以及平均准确率，确定该翻译模型的置信度误差，该置信度误差用于指示该翻译模型的性能。应用上述技术方案，可以准确获取到翻译模型的置信度误差，基于该置信度误差可以更准确地对翻译模型性能进行分析，便于对翻译模型进行改进。