本发明提供了一种用于执行人工神经网络正向运算的装置，包括数据互通模块、主运算模块、多个从运算模块，所述主运算模块通过所述数据互通模块与所述多个从运算模块物理连接，其中：主运算模块，用于获取神经元数据；数据互通模块，用于将神经元数据发送给多个从运算模块；从运算模块，用于将输入神经元向量分别与该从运算模块的权值向量进行点积运算得到输出结果；数据互通模块，用于将多个从运算的输出结果组成中间结果，将中间结果输出给主运算模块；所述主运算模块，用于依据中间结果得到最后的输出神经元向量，然后可以根据所得到的本层权值的梯度来更新本层的权值。