助力企业加速应用生成式AI

/美通社/ -- 北京灵奥科技基于亚马逊云科技的生成式AI、数据库和容器等云服务,打造大模型中间件,将基础模型优势和企业业务数据无缝结合,打通企业AI应用落地的最后一公里。灵奥科技现已服务全球超过30,000家用户,广泛覆盖电商、金融、法律、房地产、教育和能源等行业。

大模型中间件是基于基础模型与AI应用之间的中间层基础软件,主要解决基础模型应用过程中数据集成、应用集成、知识库(向量数据库)与基础模型融合等问题。作为一家快速成长的初创企业,灵奥科技自成立之初就加入了亚马逊云科技合作伙伴网络,推出了大模型中间件平台Vanus,提供语料的实时采集、数据清洗、过滤和嵌入。同时,作为上层应用访问基础模型与知识库的入口,提供基础模型与知识库的融合、应用部署和执行。

Vanus大模型中间件平台基于亚马逊云科技而构建,应用亚马逊云科技在计算、网络、存储、数据库和生成式AI等方面服务,实现了多个方面的好处。利用托管容器服务Amazon Elastic Kubernetes Service(Amazon EKS)的弹性扩展能力,Vanus可根据业务流量平滑伸缩,助力企业轻松应对流量洪峰,平均成本降低30%,性价比提高20%;在提高可用性和可靠性方面,利用亚马逊云科技全托管文档数据库服务Amazon DocumentDB多可用区、多副本的特性,Vanus可轻松实现数据跨区存储,实现无感灾难恢复,可用性达到99.99%;在降低延时方面,Vanus借助对象存储服务Amazon Simple Storage Service(Amazon S3)及数据库的高并发数据查询能力,结合亚马逊云科技全球网络节点加速能力,缩短基础模型上下文加载时间,将AI Agent回复系统延时降低40%;此外,Vanus借助全托管的生成式AI服务Amazon Bedrock提供的Claude系列模型,提升AI Agent的语言理解和逻辑推理能力,打造更加智能的服务体验。

目前,Vanus大模型中间件已在电商、金融、法律、房地产、教育等多个行业的业务场景中得到广泛应用。

某软件服务企业各部门沉淀了大量内部数据,但面临跨部门知识共享效率低和客服培训非常耗时的挑战。同时,客服人员基于传统搜索方式获取信息,导致响应时间较长,用户投诉率上升。Vanus基于亚马逊云科技的存储和数据库等云服务,帮助企业从文档、数据库、SaaS软件等多个数据源中实时抽取数据,构建统一的企业知识库;同时,借助Amazon Bedrock等服务,为企业客服人员构建AI 机器人,基于全域业务数据实时推理,快速提供回复建议,极大地降低了客服响应时间。现在,问题回复时间已从分钟级降至秒级,客服团队的人效提高70%,大幅降低了客服投入的成本。

南美洲某服饰类电商网站的产品高达7,000多种,每天面临大量关于产品、退换货和物流的客户咨询,不仅需要很多客服人员,也带来了较高的管理成本。尤其在客服团队非工作时间,客户问询未能得到及时回应,不仅导致客户满意度下降,更错失了许多商机。Vanus基于Amazon Bedrock等云服务为该企业构建了适合电商应用场景的客服机器人VanChat,能够提供7*24小时的即时问题回复服务,帮助该企业节省大量人力资源,提高客户满意度。此外,VanChat还提供用户意图识别和产品推荐等功能,加快用户的购买决策,推动网站销售业绩的增长。VanChat为该企业带来显著的经济效益,仅上线首月投资回报率就高达611%,同时还提供客户洞察,帮助企业更好地理解用户需求并优化营销策略。

北京灵奥科技CEO厉启鹏表示:"在生成式AI赋能方面,亚马逊云科技不仅为我们构建了底层基础设施,还提供了众多简单易用且功能强大的云服务和专家资源,加速了灵奥科技生成式AI产品的快速落地。展望未来,我们将继续深化与亚马逊云科技在数据库和基础模型领域的合作,进一步增强处理数据的能力,帮助客户充分释放生成式AI的商业潜力。"