本发明公开了一种基于双流孪生卷积网络的点选验证码识别方法及装置，该方法包括：获取真实的点选验证码图片和待点击字符，对点选验证码图片进行数据标注，构建字符检测数据集；利用字符检测数据集基于YOLO目标检测算法训练字符检测网络模型；使用训练好的字符检测网络模型对点选验证码图片进行字符检测，将每个字符保存成单张图片，同时将待点击的每个字符生成图片，构建字符判别数据集；利用字符判别数据集训练双流孪生卷积网络得到字符判别网络模型；利用训练好的字符判别网络模型进行点选验证码识别。本发明使用YOLO结合改进的双流孪生卷积网络，可以节省大批量数据标注时间，且能够有效的提升字符判别网络模型的识别效果及泛化能力。