一种神经网络编译方法、装置、设备、存储介质及程序产品，所述方法包括：获取神经网络对应的中间表示信息，并根据中间表示信息确定分组信息（101）；根据分组信息对神经网络的分组进行在线编译（102）。所述神经网络编译方法、装置、设备、存储介质及程序产品，可以预先根据神经网络的层分组结果确定中间表示信息，使得该中间表示信息中包括神经网络的层分组信息，再根据获取的中间表示信息确定神经网络的分组信息，并基于分组信息对神经网络进行编译，即使层间的张量维度不同，也能够根据分组信息编译神经网络。