本发明提供了一种执行卷积神经网络反向训练的装置和方法，其中装置部分包括了指令存储单元、控制器单元、数据访问单元、互连模块、主运算模块、以及多个从运算模块。对于每一层来说，首先对输入神经元向量依据卷积窗口进行数据选择，然后依据选择得到的来自前一层的数据和来自后一层的数据梯度作为本装置运算单元的输入，计算并且更新卷积核，其次依据卷积核、数据的梯度以及激活函数的导函数，计算得到本装置输出的数据梯度，并且存入存储器以输出给前一层进行反向传播计算。本发明将参与计算的数据和权重参数暂存在高速暂存存储器上，使得可以更加灵活有效地支持卷积神经网络反向训练运算，提升包含大量访存应用的执行性能。