本发明公开了一种远程桌面的视频压缩方法，包括：S1.编码端先将当前桌面图像数据进行分块，随后选择帧间编码参考帧对象，并利用该参考帧对象进行最大区域匹配查找并调整背景帧内容，而后将区域匹配信息以及未匹配的分块图像信息进行无损数据压缩，最后将压缩内容封包发送；S2.解码端根据收到的封包解压，随后依据是最大区域匹配信息还是未匹配分块图像信息分别恢复对应的图像信息并调整背景帧内容，合并所述图像块，显示桌面图像。本发明能够改进现有远程桌面图像编码技术，在软件办公或是视频播放等各类场景下都能够有效的进行图像数据压缩，减少带宽占用，提升远程控制的流畅度。