众所周知,一家企业的业务数据繁多,但并非所有数据都具有高价值;因此,企业若想快速落地生成式AI应用,就必须从海量数据中筛选出与业务最相关的数据,并对这些数据进行预训练,以满足大模型应用需要。
2021年底成立的北京灵奥科技,正是聚焦企业这一业务痛点而生。作为一家快速成长的初创企业,北京灵奥科技致力于构建数据管道和大模型中间件,已先后推出了Vanus Connect、Vanus AI和VanChat三款SaaS产品,已经累计服务全球超过30000家用户,并获得靖亚资本、PNP等机构的多轮融资。
对于北京灵奥科技这样一家聚焦人工智能相关领域的初创企业来说,选择一家在云计算、人工智能、大数据领域都有着深厚技术积淀的合作伙伴,对于自身的产品研发和业务拓展至关重要,而亚马逊云科技无疑是最佳选择。
正如北京灵奥科技(Vanus)CEO厉启鹏所说:“亚马逊云科技提供了众多使用简单、功能强大的云服务,这是我们合作的基础。Vanus绝大部分的技术问题,在亚马逊云科技上都能找到答案,找到相关的云产品,这些产品能够增强性能、提升稳定性,为我们提供强有力的支撑。”
北京灵奥科技(Vanus)CEO厉启鹏
从数据入手,帮助企业打通大模型落地瓶颈
目前,数据问题已成为企业落地大模型的核心挑战之一。
厉启鹏认为这一挑战主要体现在四个层面:首先,企业业务数据类型繁多、格式杂乱且来源无法统一,模型需要深入理解企业多样化的业务数据;其次,业务数据随着企业运营实时变化,模型需不断学习不同来源、持续变化的业务信息;第三,企业既要让模型理解好数据,又需要做到安全合规;第四,不同大语言模型由于训练数据来源不同,侧重点有差异,导致模型会存在偏见,企业需要评估不同模型的能力并为不同业务场景选择合适的模型。
针对这些挑战,北京灵奥科技决定从大模型中间件入手,帮助企业解决数据问题,将大模型优势和业务数据无缝结合。大模型中间件介于大模型和应用之间,可以帮助企业解决数据问题,是打通大模型企业端落地最后一公里,是企业构建AI应用的必备组件。
在神经网络层,北京灵奥科技推出的Vanus Connect可以连接企业不同的数据源,实时感知企业业务事件的变化,并推送给神经中枢,然后接收神经中枢的指令去做执行。在神经中枢层,北京灵奥科技推出的Vanus AI结合知识库(向量数据库)和大模型,可以帮助企业进行业务决策。
据了解,目前北京灵奥科技的大模型中间件可提供Claude 3等多模型选择,并实现商品数据自动同步;此外,还可与网站、钉钉、飞书、企业微信等第三方应用无缝集成,助力企业灵活定制机器人,自定义聊天风格、欢迎词、外感颜色等。比如,VanChat作为基于Vanus AI专门为Shopify店主打造的销售类AI Agent,既是Shopify店铺的销售机器人,也是消费者的AI购物助手,可以帮助电商企业将网站访客转化成付费用户。
北京灵奥科技在持续推进产品创新的同时,也在不断深化与亚马逊云科技的合作。据了解,北京灵奥科技整个平台都是基于亚马逊云科技构建,并借助亚马逊云科技的基础云服务、大语言模型、数据存储三类云服务,为企业构建AI Agent平台,以服务全球数万家用户。
强强联合推进云上创新,助力生成式AI落地
对于北京灵奥科技来说,亚马逊云科技不仅提供基础的云服务,还提供全方位的技术服务,包含技术方案和架构师等,以加速Vanus的产品落地。此外,北京灵奥科技也在借助亚马逊云科技合作伙伴网络(APN)提供的推广资源和支持,加速产品进入市场,助力生成式AI普及。
厉启鹏认为,亚马逊云科技的优势主要体现在以下几个层面:首先,弹性可扩展:利用Amazon Elastic Kubernetes Service(Amazon EKS)基于网络流量的弹性扩展能力,Vanus AI构建的Agent可以根据用户业务流量平滑弹性伸缩,帮助企业平均成本降低30%,性价比提高20%。
其次,提高系统可用性:通过Amazon DocumentDB原生的3可用区、6副本的设计,提高可用性和可靠性,可以达到不低于99.99%正常运行时间的服务等级协议(SLA)。
第三,降低回复延时:借助Amazon Simple Storage Service(Amazon S3)及数据库高并发数据查询能力提高大模型上下文加载时间,同时借助亚马逊云科技全球网络节点加速能力,整体将Agent回复系统延时降低40%。
第四,推理能力强:通过Amazon Bedrock提供的Claude模型,为Vanus平台的AI Agent提供非常强的语言理解和逻辑推理能力。
在国内某ERP企业,各部门沉淀大量内部数据,但是跨部门知识共享效率低,需花费大量时间对客服进行培训;同时,客服人员基于传统搜索方式获取知识,响应时间长导致用户的投诉率较高。
为此,Vanus基于Amazon S3、数据库等云服务,帮助用户从文档、数据库、SaaS软件等多个数据源中实时抽取数据,构建统一的企业知识库;并借助Amazon Bedrock等服务,为企业客服人员构建AI Copilot,基于全域业务数据实时推理,为客服人员秒级提供回复建议,将问题回复时间从分钟级降至秒级,将客服团队的人效提高70%,大大降低了客服成本。
在南美某服饰电商企业,每天都有大量产品、退换货、物流等问题咨询,不仅需要大量客服人员,客服的响应速度也会影响客户满意度。为此,Vanus通过基于Amazon Bedrock、Amazon S3等云服务为Shopify电商客户构建客服类Agent VanChat,为网站购物者提供7*24小时即时问题回复,为企业节省大量人力资源,提高客户满意度;同时,VanChat提供的用户意图识别、产品推荐等功能,也加速用户产品购买,提升网站的销售额。
接下来,伴随着生成式AI的加速普及,北京灵奥科技也将进一步深化与亚马逊云科技的合作,尤其是在数据库、大模型等领域的合作,在支撑企业产品创新的同时,探索更多的生成式AI应用,帮助企业解决在生成式AI应用中的各种数据问题,进一步释放生成式AI的生产力。