/美通社/ -- 5月11日,鲲鹏昇腾开发者大会2024期间,华为举办"昇思AI框架及大模型技术论坛",软通动力数字基础设施与集成事业部总经理谢睿受邀出席、软通动力数字基础设施与集成事业部技术总监单继岭发表《基于昇思Mind Spore,软通动力赋能客户应用与实践》主题分享,全方位展示基于AI框架技术的原生应用及客户实践。

会上,单继岭介绍了软通动力在人工智能领域的技术能力,以及结合华为MindSpore框架为客户带来创新的应用场景等内容。基于软通AI训推一体化平台,输出标准模型迁移流程,从而帮助企业实现大模型的"最后一公里",推动各行业领域数字化转型。

软通AI训推一体化平台

软通AI训推一体化平台支持大规模集群计算环境下NPU/GPU异构计算资源按需、高效、自动调度,可为客户提供数据中心、开发中心、训练中心、模型中心、服务中心等一站式服务能力。平台基于MindSpore等多种计算框架和算法,内置大语言、图文、多模态大模型,叠加行业应用,能够加速大模型落地赋能业务,帮助企业和客户完成国产化、数字化、智能化的转型升级。目前,软通AI训推一体化平台已覆盖央国企、金融、教育等行业,打造多个Offering服务不同客户,助力用户快速实现大模型场景训练/推理"最后一公里"。

在央国企领域,基于司库应用,打造司库一体化产品,实现业财深度融合,在客户实际落地过程中,帮助客户对现有业务系统、管理模式改造升级,解决业务人工成本高、效率低等问题,帮助客户构筑数字化生产力堡垒,在集团建设可复用的业务及数据能力。

在教育领域,软通AI训推一体化平台基于AI硬件底座及通用大模型本地私有化部署,打造数字经济AI分析模型助手,实现自动批量提取经济新闻、热点、事件等关键信息并导出提取结果,可快速构建系统化数据库,并通过模拟人工操作以实现流程自动化,显著提升科研效率。

基于MindSpore模型迁移全流程

1  模型权重转换:模型分析与准备、权重转换

2  模型迁移:网络迁移开发、精度和性能调试

3  推理和训练代码迁移:单卡/多卡在线推理+精度验证、单卡/多卡finetune/peft +精度验证、单卡/多卡预训练 +精度验证等

4  模型精度对齐和模型测评:网络结构对比、网络正向结果对比、网络loss结果对比、基于开源数据集模型评测分数对比等。

未来,软通动力将携手华为,依托MindSpore框架,为客户打造更加优质的人工智能解决方案,不断提升在AI技术领域的服务能力,共同促进AI技术的进步和广泛应用。