本发明涉及图像处理技术领域，具体涉及一种基于视觉检测的跑步机智能辅助系统。该系统通过自适应设置的距离阈值获得掌心区域。通过自适应的扩张区域判断是否存在独立的疑似手指区域，并通过自适应获取的角边步长判断真实手指区域并获得指尖点。最后根据手势判断模块结合识别的掌心区域和指尖点判断当前手势。本发明通过根据手势本身的形状特征自适应的选取多种参数，实现对手势的准确识别。