本发明实施例公开了一种模型推理服务调用系统，包括：业务应用集群，设有两个，分别支持本地模式和远程模式，业务应用集群包括多个业务应用节点，每个业务应用节点设应用容器，应用容器有模型推理服务SDK；推理服务集群，包括多个推理服务容器，各个推理服务容器分别调用模型库中加载的模型进行推理，并返回推理结果；特征库，存储多个版本的模型的特征数据；模型库，存储多个版本的模型的其他数据；自动化发布部署平台，根据用户请求从模型库中选择模型，并进行业务应用集群和推理服务集群的配置。本发明实施例还公开了一种模型推理服务调用方法。本发明能够高效完成算法模型推理服务，且算法模型推理服务和业务应用解耦，能实现较好的双轨迭代。