本发明提供了一种基于视频的行人性别及年龄识别方法和模型，方法包括获取待测图像；进行人体轮廓检测，识别出行人并用人体区域检测框框选，裁取人体轮廓图片进行关键点提取，选取行人的多张人体轮廓图片，拼接像素值坐标输出时序初始向量，归一化处理得到时序归一化向量，将人体轮廓图片对齐得到人体轮廓对齐图片；横向切割出多张人体局部轮廓子图后深度特征提取，输出包含全局特征信息和局部特征信息的空域初始向量，归一化处理得到空域特征向量；获取决策向量以得到性别及年龄判定结果。本发明解决了现有技术中利用图像识别处理技术获取行人的性别和年龄信息时，需要提取和收集行人的面部信息数据，从而存在隐私安全性低的问题。