腾讯吴运声：腾讯云MaaS，打造一站式行业大模型精选商店

2023-06-20 10:34:18 作者：宋均益

(相关资料图)

6月19日，腾讯云在国家科技传播中心召开行业大模型及智能应用技术峰会，首次公布腾讯云行业大模型研发进展，依托腾讯云TI平台打造行业大模型精选商店，为客户提供MaaS（Model-as-a-Service）一站式服务，助力客户构建专属大模型及智能应用。

峰会上，腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声发表《腾讯云MaaS，打造一站式行业大模型精选商店》的主题演讲，分享了腾讯云在行业大模型方面的技术方案，以及产业客户实践、行业大模型标准体系构建的进展。

腾讯云副总裁、腾讯云智能负责人、优图实验室负责人 吴运声

吴运声认为，大模型驱动“智慧涌现”，产业场景已成为最佳练兵场，在智能问答、内容创作、智能决策、智能风控等很多业务场景，具有非常广泛的应用价值。腾讯云希望为客户和伙伴打造一站式的行业大模型精选商店，加速大模型在产业领域的创新实践。

企业在应用大模型时，常常面临计算资源少、数据质量差、投入成本高、专业经验少等挑战，吴运声表示，腾讯云将通过TI平台，面向客户全面输出MaaS能力，可以满足客户模型预训练、模型精调、智能应用开发等多样化需求，让客户可根据自身业务场景需求，定制不同参数、不同规格的专属模型。

峰会现场，吴运声展示了文旅客服大模型场景的精调过程及效果。通过加入文旅行业垂直场景数据、接入文旅客户API接口后，模型不仅可以为用户制订细致的旅行攻略，提供非常人性化的服务体验，也让智能客服系统，实现服务商业化的闭环。而未来随着更多高质量数据的增加，模型的精调效果还会更好。

目前，腾讯云已经携手传媒、文旅、金融、政务、教育等行业的头部企业，在十余个行业探索了超50个行业大模型的应用解决方案。

以下为演讲全文：

尊敬的各位嘉宾、媒体朋友们，大家下午好！

我是腾讯的吴运声，今天我的分享主题是《腾讯云MaaS，打造一站式行业大模型精选商店》。这是我们的定位，也是我们努力的方向。

依托腾讯云的高性能计算、行业大模型能力，以及我们多年深耕产业互联网积累的行业经验，我们希望为客户和伙伴，打造一站式的行业大模型精选商店，加速大模型在产业领域的创新实践。

大模型驱动“智慧涌现”，产业场景已成为最佳练兵场，在智能问答、内容创作、智能决策、智能风控等很多业务场景，具有非常广泛的应用价值。那么，如何将大模型快速应用到自己的业务场景中？怎么才能在新一轮技术浪潮中不掉队？

最近半年多的时间里，我们收到了非常多来自客户的问询。对于很多企业而言，想要用好大模型，确实面临不少挑战。

第一，是计算资源少。大模型的训练和推理对计算资源和存储资源有很高的需求，对很多客户来说门槛太高。

第二，数据质量差。构建大模型是成本极高的系统工程，大模型需要大量的高质量数据进行训练，数据还必须经过清洗和预处理。数据质量差，会导致模型的效果和效率无法得到保障。

第三，投入成本高。为确保业务使用的效果需要投入大量的数据、计算资源来训练，还需要持续的调试和优化。

第四，专业经验少。大模型的部署需要考虑到计算资源、网络带宽等多个方面的问题，大模型的开发和落地需要很多的技术和人力资源。此外，安全、合规，也是企业需要考虑的关键因素。

那么，如何解决产业客户落地大模型，所面临的成本、数据、安全等一系列问题呢？依托腾讯云大模型高性能计算集群和行业大模型能力，我们通过腾讯云TI平台，面向客户全面输出MaaS能力，可以满足客户模型预训练、模型精调、智能应用开发等多样化需求。

腾讯云TI平台行业大模型精调解决方案，具备完整大模型精调工具链，支持客户加入自己独有的场景数据，进行精调训练，客户可根据自身业务场景需求，定制不同参数、不同规格的专属模型。

实际上，在过去一段时间里，我们已经携手一些行业头部企业，探索了多个行业大模型的应用场景。通过演示，我们可以看到在文旅客服大模型场景中，模型不仅给到了不同档次的酒店推荐、介绍，甚至可以直接提供预订链接。给用户提供了非常人性化的服务体验，也让智能客服系统，实现服务商业化的闭环。

当然，现在这个效果，仍有很大提升空间，未来随着更多高质量数据的增加，相信效果会更好。行业大模型有望重塑企业生产力、提升市场竞争力。

腾讯云TI平台行业大模型精调解决方案，具备四大优势，包括高质量的行业大模型、完善的平台工具、成熟的流程方法、全面配套服务，可以为客户提供从模型选择、到落地部署的一站式服务。

首先，基于腾讯云多年深耕产业互联网的经验，腾讯云TI平台内置了多个高质量行业大模型，涵盖金融、传媒、文旅、政务、工业等多个行业场景，同时开放支持客户多模型训练任务，满足个性化需求。比如针对客服等场景中的“对话问答”、“相似问生成”等任务，有较好的优化，使用时仅需少量训练数据，便可达到较好的精调效果。

其次，TI-ONE平台提供完善的大模型工具链，包括数据标注、训练、评估、测试和部署等全套工具，同时具备强大的多机多卡训练加速能力，客户可快速在TI-ONE平台上进行一站式的大模型精调。

其中，大模型训练，算力是基础。腾讯云在大模型算力方面拥有领先优势。早在今年4月，腾讯云便发布了面向大模型训练的新一代HCC高性能计算集群，采用最新一代腾讯云星星海自研服务器，结合多层加速的高性能存储系统，具备3.2Tbps业界最高互联带宽，算力性能提升3倍。

全新升级框架加速能力太极Angel，可以提供更优的训练和推理加速能力。在传统CV、NLP算法模型的基础上，新增了对大模型的训练和推理加速能力，通过异步调度优化、显存优化、计算优化等方式，相比行业常用方案性能提升超过30%。

同时，支持更适合AI运算的向量数据库，将帮助高效处理图像、音频和文本等非结构化数据，支持日处理千亿级的检索，将为客户模型训练提供充沛动力。

针对成本高、落地难的问题，腾讯云TI平台实现针对行业场景的低成本落地。在少量算力的基础上，提升特定任务的效果，比如智能客服场景，训练性能可提升10倍，训练成本下降90%。

我们沉淀了行业大模型全生命周期一体化的完整方法论，覆盖“模型选型-训练共建-部署应用”全流程，保障客户需求的顺利交付。

在配套服务方面，腾讯云提供本地化的训练、落地及陪跑优化服务，为客户扫清落地障碍；针对客户需求，提供私有化部署、公有云托管多种灵活部署方案，助力企业快速创建和部署AI应用。

大模型的应用，安全、合规是前提，腾讯云在这方面有成熟的技术积累和经验。在问题侧、模型侧、答案侧三个层面进行敏感信息的过滤和规避，让最终的答案符合安全、规范的要求。同时，依托腾讯多年的安全经验和天御风控能力，提供AIGC全链路内容合规解决方案，确保大模型可信、可靠、可用。

行业大模型与AI助手的结合，可以快速提升“对话理解”和“智能问答”能力。比如，在学习了汽车场景的数据后，车载语音助手可根据车辆状态、用户状态、历史数据等信息，做主动触达和场景运营，提供更人性化的场景服务。

前段时间，我们推出了腾讯云数智人工厂，内置超过10个AI算法模型。腾讯云MaaS能力，可以让数智人分身复刻缩短至24小时，大幅降低成本。

在文旅领域，我们联合一家线上旅游OTA公司，共同探索了文旅行业大模型的应用。其传统智能客服需要人工进行对话配置，知识维护量大、耗时长，且涉及订单等复杂业务场景，在无配置的情况下，无法通过机器人闭环解决问题。精调后的客户专属模型，无需配置对话流程，即可实现端到端解决业务问题。提升任务完成率，降低整体成本。

在金融领域，我们探索了OCR大模型，在银行单据处理场景中的应用。传统的OCR深度学习模型不具备阅读理解和推理能力、模型指标上限低，不同场景下模型能力无法复制，定制成本高。我们联合一家头部银行，基于OCR大模型，上线了4类票据的自动化识别流程，信息录入准确率提升50%。

在行业大模型标准体系方面，我们正在联合中国信通院，共同构建行业大模型的标准体系及能力架构，包括1套ILMOps方法论、60多项能力建设指标。这个标准体系覆盖多个行业，涵盖模型行业能力、模型工程化性能、模型算力网络、模型安全可靠等方面。