一种深度学习推理运算方法及中间件，所述方法通过推理中间件用于具有不同推理运算库的硬件平台，所述方法包括：根据硬件环境，初始化所述推理中间件支持的推理运算库；调用当前使用的推理运算库，对数据进行推理运算；输出推理运算的结果。本申请的方法及中间件可以根据不同的硬件平台选择运行模式，选出最适合该硬件平台的推理运算库，使硬件平台发挥最优性能，本申请可根据不同的硬件平台，支持其对应的推理加速方案，无需专业技术人员进行繁琐的移植工作，提高了用户体验。