本发明公开了一种基于卷积神经网络的照片背景相似度聚类方法，包括如下步骤：基于卷积神经网络算法对原始图像预处理以校正原始图像中的识别目标的方向；将原始图像中包含所述识别目标的前景图像特征与背景图像特征进行实例分割，进行背景提取；将进行实例分割的图像进行背景分离；对分离的背景图像进行特征提取获得高维空间特征图；对高维空间特征图进行相似度聚类处理。本发明还提供了实施上述方法的计算机程序系统；本发明基于像素级的实例分割算法，检测得到并去除真实应用场景下的前景区域（人像和身份证），通过背景区域进行相似度对比，同时利用迁移训练得到的卷积神经网络可大大提高识别的准确率。