本发明公开了一种用于消除锻件残余应力的装置，包括上模、下模以及位于所述上模和所述下模之间的冲头和若干镶块，所述下模设有若干供所述镶块放入的容纳腔，所述镶块可相对于所述容纳腔摆动以压紧所述锻件的内壁；所述冲头上设有抵接面，所述冲头在移动过程中可推动所述镶块朝向背离所述冲头的方向移动；所述上模和所述下模均设有压紧面，用于压紧所述锻件的端面。本发明所提供的用于消除锻件残余应力的装置，利用所述冲头和所述镶块的配合，实现对所述锻件拉压结合作用的效果，使所述锻件局部受拉、局部受压，可以有效消除锻件残余应力，同时减少受压面积，可大幅降低压机载荷。