本发明提供一种行人组群关系识别方法、装置及系统，利用预设提取算法提取单帧图像中全部行人的可见关键点，获得每一个所述行人的关键点位置信息；通过所述关键点位置信息，利用预设多目标跟踪算法获得同一所述行人的轨迹关键点向量集合；利用预设的时序网络对所述行人的轨迹关键点向量集合进行特征提取，获得每个所述行人的目标特征；计算两两所述行人的所述目标特征的相似度，与预设阈值进行比较以区分是否为同一组群。本发明的行人组群关系识别方法、装置及系统，通过提取行人轨迹和人体骨架关键点序列作为主要信息，然后通过深度学习时序网络作为特征提取算法进行特征提取，提升了组群检测这一任务的精度和召回率。