本发明提供了一种智能视频监控系统，包括实时获取监控空间范围内视频流的多个摄像机，对多个摄像机的视频流进行处理的视频微处理器，与视频微处理器通过无线网络连接的监控中心；视频微处理器包括视频数据获取模块、视频数据预处理模块、视频数据特征提取模块、异常检测模型建立模块和异常判定模块。本发明视频数据特征提取模块通过多示例划分并采用时间序列对连续帧之间的运动变化趋势进行建模，解决了不同视角下运动速度知觉不同的问题，异常检测模型建立模块通过基于聚类的非参数模型来对特征空间进行建模，解决了训练数据类别标签不清晰的问题，并在建模及检测的同时对模型进行在线更新，解决了异常事件定义模糊的问题。