7月9日,在"元脑中国行"全国巡展济南站上,浪潮信息发布AIStation 人工智能开发平台V5升级版,具备全面的大模型流程支持能力,帮助企业用户降低构建大模型微调任务门槛,提供标准、安全的大模型推理服务,并针对大模型业务资源需求优化了集群管理功能,助力行业客户快速开展大模型业务创新与落地,获得稳定、高效、易用、高精度的大模型服务。
随着大模型技术与产业化发展的快速迭代,企业用户在大模型开发和应用的过程中面临诸多新的挑战。一方面,用户在大模型微调过程通常会遇到环境算法配置复杂、模型结构多样适配繁琐、算力资源管理难等问题,模型精度难以提升;另一方面,在部署本地化、私有化大模型时,会面临部署经验不足、性能优化瓶颈、算力资源利用不合理等挑战,难以在保障数据与业务隐私的条件下构建和使用本地化大模型应用。
AIStation V5版本功能全面升级,支持端到端的大模型开发流程,新增适配50+大模型结构,内置10+微调数据集和20+可配置参数项,提供低代码大模型微调能力,让用户一键提交任务、统一管理任务,低门槛构建大模型微调任务、优化模型性能。同时,针对大模型算力资源占用高、训练稳定性难保障的问题,AIStation V5升级了针对大模型训练与微调的分布式任务一键配置能力,帮助用户高效、稳定地进行大模型微调。
AIStation V5集成了高性能推理服务框架,同等算力大模型批量推理服务承载量较原生部署方式提升1-3倍。通过对算力、服务、业务访问的全方位治理,以及多样化的推理服务部署机制,AIStation V5可以满足不同场景下用户自研模型的部署需求,让用户能够在大规模集群内更加细粒度的分配调度算力,部署和使用不同来源、不同结构、不同规模的大模型推理服务,就像在本地部署单个大模型、传统AI应用与服务一样简单。
此外,AIStation V5针对大模型业务特点持续优化集群管理核心功能,支持平台管控的数据模型下载任务管理和导入流程,实现了分钟级大模型训练异常自动恢复,能够有效降低大模型相关业务的人力投入和管理成本;优化升级算力池化与分配策略,实现多团队开发人员共用流程、共享环境,开发者与算力高效协同,助力企业客户提升各类AI创新业务的整体效率。
浪潮信息AIStation是面向企业级训练与推理场景开发的人工智能开发平台,实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付。通过统一管理计算资源、数据资源、深度学习软件栈资源,以及支持大模型业务全链条,AIStation能够为企业用户提供敏捷高效的一体化AI平台,加快AI开发应用创新落地。
评论排行