本申请公开了一种基于预训练语言模型的任务处理方法、装置、设备及介质，属于自然语言处理领域。本申请基于模块化的大模型来来执行NLP任务。详细来说，大模型采用模块化设计，包括多个功能模块，每个功能模块负责处理特定任务或具有特定功能，且不同功能模块之间共享知识。这种模块化设计不但使得模型具有更好的灵活性和扩展性，而且还有助于降低计算资源需求和能源消耗。另外，本申请还引入了模块激活门控机制，利用该机制能够控制每个功能模块的激活状态，即针对当前NLP任务，仅激活与当前NLP任务相关的功能模块，而关闭与当前任务无关的功能模块，进一步降低了计算资源需求和能源消耗，进而提高了模型在执行NLP任务时的执行效率。