星云行业大模型，构筑产业智能化转型新引擎

        当前，中国大模型进入发展加速期，自然语言处理、视觉处理和多模态等各技术分支均快速发展。在产学研各方共同推动下，我国已建立起涵盖理论方法和软硬件技术的体系化研发能力，据不完全统计，国产大模型数量目前已超过200个，形成了紧跟世界前沿的大模型技术群。

        与此同时，行业客户开发大模型应用依旧困难重重，大模型训练、微调、应用开发对开发人员提出很高要求，而一般企业往往缺乏专业的技术人才，导致企业在大模型方案选择、技术实施和系统维护上遭遇困难；此外大模型训练开发是高设备资产投入、高技术人力投入的复杂工程，大部分企业缺乏配套的资金预算；基于数据安全、合规安全等考虑，很多企业不能使用互联网大模型SaaS、MaaS服务，加剧了上述两个问题，最终导致很多企业对大模型应用求而不得。

星云大模型端到端方案

        星云大模型从一开始就以助力行业客户大模型应用开发为目标，提供端到端方案（见图1）。

        智算设施层，中兴通讯提供绿色低碳基础设施方案，通过液冷IDC，支持高功耗GPU服务器高密度部署，PUE低至1.2以下；提供解耦开放的算力方案，一机多卡、随芯而选，灵活配置Intel、海光、中兴通讯自研“珠峰”芯片等多种CPU，广泛支持Nvidia、Intel、寒武纪、壁仞等多种GPU；提供高性能并行存储方案，研发了全闪磁阵和并行文件系统，满足热、温、冷数据多样化存储需求；提出“以网强算”理念，针对机内互联与产业伙伴一起推出开放的GPU高速互联标准Olink，针对机间互联自研全系列RoCE交换机，提供高速无损以太网组网方案，提升包括国产GPU在内的算力集群规模和效能，让国产GPU更好地训练大模型；提供多资源统一管理调度平台，实现多样化算力使能、图形化监控运维、故障自动恢复及断点续训功能，确保大模型训练长时间稳定、高效运行。

        能力平台层，今年4月中兴通讯发布数字星云3.0，为大模型开发提供从样本数据管理到模型部署的全流程工具和能力（见图2）：提供数据采集、清洗、标注、评估全流程样本数据管理功能，特别是大模型辅助数据标注，效率相比人工标注提升80%；实现自动化并行训练、多种微调、强化学习等功能，经过优化的并行训练效率比开源提升90%以上；实现模型编译、量化压缩等能力，其中自研无损量化算法可实现显存节省70%、吞吐量提升90%，为大模型低成本部署提供支撑。

        中兴通讯开发了星云语言大模型、视觉大模型和多模态大模型。星云语言大模型提供数十亿到千亿不同参数规模的基础模型，并针对文档生成、API映射、Text2SQL等常用场景训练微调了不同场景模型，行业客户可以根据其任务复杂度、资金预算情况选用最佳模型。星云视觉大模型基于Transformer实现了视觉分类、检测、定位、分割、检索等任务，与传统视觉小模型相比具有提示词泛化能力，通过数十样本Prompt Learning技术可将某具体场景任务准确率提升到95%以上，满足商用需求，大大降低了视觉任务开发成本和时间；同时视觉大模型具备人类意图理解能力，在复杂业务逻辑的视觉任务，以及火焰、水淹等传统小模型误报率很高的场景下，依然具有较高准确率。星云多模态大模型目前以理解图像/视频、生成文本为主，为视觉应用提供更方便的交互模式，同时正在融合语音、3D等模态，实现数字人生成、多模态对话等更广泛的业务场景。

        大模型价值最终体现在行业应用上，赋能行业应用开发是星云行业大模型方案着重打造的能力。

        针对语言大模型应用开发，中兴通讯推出了行业知识平台。行业知识平台是一个可灵活扩展的架构，提供模型、提示词、插件等基础能力管理，使平台既可使用星云语言大模型，也广泛支持业界主流语言大模型。知识平台也提供常用大模型应用框架：

• 知识问答系统：通过对话从海量文档库中准确找出问题答案并给出回答依据，支持多种输入文档格式，支持公式、统计图表、复杂表格等多种文档内容理解能力，为客户提供一套文档处理、调优、评估自服务流程，通过多个方面优化，将开源RAG 40%~50%的准确率提升到95%以上。
• 智能问数系统：允许普通业务人员通过对话实现数据查询和分析，通过对业务数据进行治理形成指标、维度术语体系，基于该术语体系，大模型数据查询准确率达95%，并实现了数据自动预警、根因分析、关联分析，使大模型达到专业BI分析师能力。
• 低代码大模型应用编排：提供图形编排工具，利用大模型意图理解、信息抽取、API调用等灵活处理能力，快速开发智能行业应用。
• Agent应用开发框架：提供API模型自动生成、调优、评测CI工具实现API准确映射，利用LLM的CoT、ReAct等能力，实现任务规划、拆解；提供Agent长短期记忆、Agent通信机制，将一个复杂任务拆解成多个角色Agent，通过Agent间协同和博弈实现复杂任务的自动执行，并在多Agent执行过程中引入人工参与和确认，确保任务受控。

        视觉智能分析需求层出不群，算法日新月异，为让客户使用新算法快速解决新场景问题，中兴通讯针对视觉行业应用发布了视觉智能平台：

• 通过低代码编排实现对监控摄像头视频流接入、抽帧、AI分析、自动告警全业务流程，降低视觉任务开发工作量。
• 提供算法仓管理，允许客户根据需要自行上载算法，实现对第三方算法统一管理和自动部署，用于视觉任务编排。
• 支持大小模型协同。视觉大模型由于参数量巨大，推理消耗算力资源较高、吞吐率较低，而现网运行的传统小模型消耗算力资源低、吞吐率高，依旧具有很强的实用价值，视觉智能平台通过大小模型协同形成互补，使得视觉智能应用同时获得两者优势。

星云行业大模型：企业用得起、放心用

        星云行业大模型方案推出多种企业私有化部署模式。面向万亿级参数模型训练，提供数据中心版（Cloud版），通过图形化运维功能实现资源高效调度利用，通过故障自动修复、断点续训保证长时间稳定运行；面向以推理微调为主的中小企业提供一体柜版（Campus版），通过端到端简单易用训推工具降低大模型开发和部署门槛，通过开箱即用缩短业务上线时间，实现数据不出园；面向各种终端设备提供现场版（Site版），通过量化压缩技术降低模型资源占用，通过模型迁移适配多种终端平台，与云端形成大小模型协同、云边端协同，实现整体性价比最优。多种部署方式不但能适应不同业务场景，也给企业客户提供多种资金投入选择。

        星云行业大模型端到端方案，降低了大模型训练、应用开发的技术难度，解决了企业客户面临的大模型技术问题，也在很大程度上解决了企业的资金投入问题：

• 中兴通讯针对重点行业的通用业务场景进行针对性训练微调，开发出系列星云行业大模型，大部分行业客户可直接选用，避免自行训练大模型的高投入；
• 行业应用开发平台提供了知识问答、智能问数、低代码应用开发、低代码视频业务编排等功能，降低了大模型应用开发的技术难度和工作量，降低了大模型应用成本；
• 以推理为主兼顾少量微调需求的企业，星云一体柜最大程度降低私有化算力建设成本；中兴星云大模型提供不同参数量模型供客户选择，行业客户可在满足精度前提下选择尽量小的模型，节省算力投入；提供无损量化及多种推理引擎优化技术，进一步降低大模型使用成本。

        在企业关注的应用安全方面，星云行业大模型坚持企业私有化部署，通过企业数据不出园解决大模型应用中的数据安全问题。针对大模型应用的其他安全风险：如针对大模型训练数据投毒，个人敏感数据泄漏，在大模型训练阶段埋入后门，在大模型推理阶段进行模型越狱、提示词注入等攻击，以及传统的侧信道、远程代码攻击等，星云大模型提供全面防护方案，确保大模型内容安全和运行安全。当前中兴星云大模型已经通过国家网信办备案，充分说明了星云大模型的安全可靠。

星云大模型赋能千行百业

        中兴通讯通过大模型提升企业日常办公、经营管理、智能生产等核心业务效率，其中研发大模型，实现从需求管理、辅助设计、代码生成、自动测试、版本发布、运维全流程提效，代码生成能力达到GPT4等世界领先水平，已经被中兴通讯数万研发人员使用，助力编程提效30%以上；中兴通讯滨江生产基地，利用大模型技术实现智能排产、工艺文档生成、工业质检、AGV调度、智能维修等，实现了数字工厂到智能工厂的进阶。

        面向电信运营商，中兴通讯提供通信大模型，帮助运营商进行网络优化、短信防欺诈、数据自服务，并采用多Agent技术实现5G网络自动化运维，在提升网络服务质量的同时，降低运营商运维人力成本80%。

        面向行业客户，中兴通讯致力于建设开放的生态系统，让更多应用开发商用好大模型，从而服务于更多行业客户。在政务领域，星云政务大模型已经服务于城市治理、应急指挥、城市生命线安全等场景；在交通领域，星云交通大模型已经服务于轨道交通行车安全检测、港口作业安全检测等；在工业生产领域，应用于产品质检、自动化产线、计划排产等场景；在水利领域，应用于水文数据分析、河道演变分析、湖河四乱检测等场景。

        经过中兴通讯内部实践和外部行业应用广泛验证，数字星云3.0与星云大模型日臻完善。展望未来，中兴通讯将继续秉承开放合作的精神，与各行各业合作伙伴共同探索，利用星云大模型的强大能力，助力不同领域的行业客户实现智能化转型与创新发展，共同绘制智能时代的宏伟蓝图。