本发明公开一种位置调节装置和手柄，其中，位置调节装置包括面板组件、第一驱动结构和第二驱动结构，所述第一驱动结构活动连接于所述面板组件，以驱动所述面板组件沿X方向往复滑动；所述第二驱动结构活动连接于所述面板组件，以驱动所述面板组件沿Y方向往复滑动。本发明技术方案能够提高手柄的使用舒适度，提高用户的游戏体验。