本公开实施例公开了一种轨迹预测模型生成方法和装置，其中，该方法包括：获取样本图像序列，其中，样本图像序列中的样本图像包括可移动物体；利用预设的初始模型集合中的每个初始模型，对样本图像序列进行轨迹预测，得到每个初始模型分别对应的预测轨迹张量，其中，预测轨迹张量用于表征可移动物体的移动轨迹；对于初始模型集合中的每个初始模型，确定该初始模型对应的预测轨迹张量到其他初始模型分别对应的预测轨迹张量的距离；基于所得到的各个距离，确定该初始模型的损失值；基于损失值，训练该初始模型，得到轨迹预测模型。本公开实施例可以提高模型的轨迹预测性能，有助于降低轨迹预测模型的复杂性，提高模型训练和模型应用的效率。