本发明公布了一种云台目标跟踪系统和方法，以不同特征来分别构建跟踪滤波器，对每个滤波器自适应分配权重，进行加权融合获得目标位置信息，然后利用权重最大的特征滤波器在不同尺度空间对目标尺度进行预测，进而获得目标准确的尺度信息，解决目标运动过程中尺度变化问题，通过设计模板滤波器和轨迹滤波器，及时输出目标被遮挡或者跟踪丢失状态信息。本发明中，所有滤波器都不以固定步长来更新，而是通过设置融合响应图的峰值和峰值旁瓣比相结合来决定滤波器更新的速率。通过本发明的多滤波器融合跟踪系统和跟踪方法能够实现云台目标跟踪，增加了目标跟踪的准确性和鲁棒性，同时能够及时输出目标的状态信息，包括正确跟踪、遮挡和丢失。