滴普科技赵杰辉:生成式AI时代,如何让AI真正进入企业核心生产环节?|BAI Portfolio
作者：微信文章在过去的一年，中国企业已经经历了从数字化、云化，再到如今的人工智能革命等多个阶段。但这些变革，都离不开最底层的数字化——企业的数字化建设，相当于是这些变革的“地基”。BAI资本成员企业滴普科技，就是这样一家深耕企业数字化转型多年的数据智能基础设施服务商，正致力于产业生成式AI落地和基础平台建设。
在近期的36Kr WISE大会上，滴普科技董事长兼CEO赵杰辉带来了《产业生成式AI落地与基础平台建设》的主题分享。“因为生成式AI的产生和应用，让原来的数据平台市场在变大，”赵杰辉表示，“所有这个行业里的客户和供应商，都需要重塑自己的产品组合。”赵杰辉认为，企业只有大模型的通用、基础能力远远不够，必须在这个基础之上，和更小的垂直模型相结合，形成完整技术栈，才能让AI进入到核心的生产环节。
以下为演讲全文，经整理编辑：
大家好！去年在这个舞台上，我跟大家分享了关于企业服务这个市场和AI融合的一些初步思考，经过这一年的发展，我们深刻地感觉到：生成式AI在彻底地重构企业服务这个市场。今天，我将从这个角度继续分享一些我们的思考。
大家知道，企业服务市场之前主要聚焦于数据服务，但经过这一年的发展，我们发现AI正在深度重塑企业在数字平台建设上的市场格局。
这里分享几个要点。首先，生成式AI的产生和应用，让原来的数据平台市场变大，因为AI可以更好地发挥整个数据对于企业的价值；其次，所有这个行业里的客户和供应商需要重塑自己的产品组合，让数据平台的升级和客户落地，将服务AI落地赋能作为唯一目的。因为，没有与AI融合的数据平台和IT建设投入，都缺少一定的实际价值。
今天上午，我还跟一个客户在交流，当时我提到了一点：以后所有的数据平台，包括数据湖仓的建设，都指向一个目的——为了AI在产业里面落地。
今年，IDC发布了《2023年中国制造业大数据解决方案市场份额》报告，与AI深度融合的服务提供商排名都有提升，滴普科技的排名也大幅提升，跻身行业前列。自2018年创立至今的六年间，滴普科技的整体产品也随着AI的发展和落地产生了很大的变化。
在企业服务市场的早期，大家可能都知道，我们推出了包括数据中台、数据集成工具、湖仓引擎在内的四款产品。这些产品最终被统一重构为一个实时智能湖仓平台，即FastData。到了2022年下半年，随着模型的发展和数据的深度结合，我们的产品与国产算力平台融合，形成了一体机解决方案，最终构建了一个能够支持企业落地AI的基础平台。
目前平台升级为上图这个架构。不论何种场景，一个企业要想落地AI，首先要有一个比较有性价比的算力平台。对于那些仅需处理简单文档摘要任务的企业来说，可能并不需要一个复杂的数据融合平台。可一旦想让AI深入到业务本身的推理和决策过程，非常完善的企业融合数据平台和模型服务平台就是十分必要的。
这里所说的模型服务平台并不仅限于大语言模型，在落地模型时企业还要解决两个非常大的问题：
第一个问题，单靠大型语言模型无法满足企业的所有需求。大语言模型能处理简单的文档工作，但如果要做业务决策的辅助和推理，就必须与数据结合。FastData为此进行了针对性的深度升级。
第二个问题，只有大语言模型的话，当企业提供一堆的图纸、文档，包括很复杂的数据，这些很难变成语料，无法跟深入的专业机理模型配合。这个过程里面需要模型，跟原来的垂直模型或者小模型形成服务企业完整的模型技术栈，才能完成企业大模型的落地。
所以，企业AI的落地，需要从语料库的精心构建到多个小型及大型模型的协同作业，构建一套全面的技术体系，这也是我们FastAGI大模型服务平台致力于解决的问题。
目前我们的工作重心集中在几个关键领域：第一是大消费领域供应链快反的AI辅助，在与以百丽时尚为代表的头部零售企业的合作中，我们基于原有的平台做了深度的落地应用。第二是生产领域，我们在图纸的辅助设计、工艺参数的辅助调整等方面，同样实现了多项实际案例的落地。另外，我们还与香港医疗机构深度合作，开展AI for Healthcare方面的落地探索。
在面向大型企业的核心业务场景，从供应链到生产过程，我们已与多个行业的顶尖企业建立了深度合作关系。
总体上讲，企业真正要进行大模型的场景落地，融合数据平台是非常重要的前提。还有在模型服务上，除了大语言模型外，还要和多个垂直模型协同。比如说工艺方面，工艺编制模型以及原有模型要形成完整的技术栈，才能去工作。
在基础大模型这个事情上，我一直坚持一个观点：在大型企业做落地，一个大模型便能够切实的产生场景价值，目前我们看到的72B参数量以下的模型，就能够在现有条件下应对大多数应用场景。
如果在To B的客户落地大模型，并产生场景价值，是需要一定量级的模型参数，这样会导致一个问题，即成本和最后的收益不成正比。因此目前无论是我们做的供应链深度应用，还是生产过程的深度应用，大型企业To B场景的落地实践中，目前可以基于这个规模的模型为主，这主要考虑到企业落地过程中保证效果与成本的综合最优。
我们现在有两款基础模型，72B和32B，相对于做To C服务的模型，这两个模型最重要有几个特点：首先，要对企业经常用到的所有语料进行扩充；其次，在企业应用有三个重要的能力，都需要做到100%的精度。第一就是查数，自动生成精准SQL的能力需要极度的准确。第二就是对原有的各种系统的函数调用能力要做到100%准确。还有就是非常复杂的图纸、文档深度的RAG要非常精准。这些方面，滴普科技做了非常深度的工作。再者就是安全，企业信息安全这方面也非常重要。我们跟南方科技大学共同发布了中文的模型安全审查模型工具Deepexi-guard，为企业的模型安全提供服务。
回到刚才提到的模型服务平台，我们来看这个模型服务平台和基础模型之间的关系。可以发现，真正把模型落到企业场景时，大语言模型是底下的那一层，再往上，需要把所用到的垂直模型和大语言模型做非常好的深度融合和协同，才能够在企业里面用起来，产生业务价值。
比如说如果要做工艺参数优化，要有原来工艺的机理模型，要有图纸设计，要让垂直专业模型要跟底层的大模型很好地协同，形成基础的企业模型技术栈才可以。
当把这个事情部署在客户那里的时候，客户会给你大量的规范文档知识，以及对接客户大量的系统数据。这个时候，你要具备非常强的语料工程能力。
比如某头部工程设计集团，达成合作之后，给了我们大几十G的图纸和规范。我们要把基于这些材料数据通过多种切片规则和智能预处理预料合成的方式，构建融合数据企业级知识库，之后对模型进行专项任务精调，准确理解相关提问人员需求，从而提升回答精度。所以，模型工程同样重要。
当你认为这个模型已经调试好了，怎么评估它是不是可以上岗工作？模型评估就变得非常重要，再往上就是大家所知道的应用开发平台。
另外，我们会面临一个很大的问题。在国内算力供应情况下，大量企业怎么快速落地这件事情？
目前，我们推出了基于国内外主流芯片的大模型训推一体服务器Fast5000E。
在大型企业落地大模型的实践中，我们观察到，基础训练的实际需求并不像预期中那么庞大，而SFT（监督式微调SFT，Supervised Fine-Tuning）才是主流。
推理对算力的需求极为庞大，而国产芯片目前的性能水平已基本能够满足企业在推理方面的应用。此外，我们研发了一款加速卡，该产品能够使现有的英伟达芯片在安装后，运行特定参数的模型推理任务，并有效完成推理过程。针对众多端侧应用需求，例如生产线上对推理设备的使用，滴普科技计划在未来推出一系列端侧推理产品，以满足市场需求。
关于企业如何落地大模型，是选择租用算力中心的算力、使用云计算资源，还是自行构建一体机？我的看法如下：在初期的一至两年建设阶段，如果企业（通常是大型企业）具备充足的预算并能够将资源投入到大模型与实际场景结合的应用中，初期可以考虑购买训推一体机，以便快速搭建场景并不断进行优化，这样的方式效率较高。
随着人工智能在产业中的逐步成熟，大量的企业开始要去做这件事时，可能更多地就需要考虑租算力。这是一个重要的转变过程，随着客户需求和阶段的不同，选择也会有所变化。因此，在核心场景中落地大模型的初期，采用训练推理一体机的方式，可以有效加速大模型在企业核心场景中的应用探索。
一旦我们的软件体系在企业内部部署完成，客户通常可以实现开箱即用，大部分客户在两周内便能看到初步效果。例如，如果企业仅需整理会议纪要或文档，使用基础模型通常能够满足需求。然而，如果企业希望在实时业务中进行复杂的推理和决策辅助，那么对数据平台的升级显得尤为重要。
这里的关键在于，原有系统中的数据主要记录了业务的实时状态，但逻辑、知识、文档以及公司管理规范等内容则存在于业务的上下文逻辑中。这些因素的整合对于实现高效的决策支持至关重要。
现在市场需要的数据平台，是要具备把结构化的数据和非结构化的数据进行统一管理的能力，只有这样，让数据平台形成企业的实时业务状态数据，以及能做到业务上下文逻辑的结构化，非结构化数据统一管理。形成企业超级数据融合体，才能支撑在模型训练完之后，进行深度的推理。
我们滴普科技自2018年成立以来，获得了很多荣誉，也被纳入了诸多AI领域权威的榜单。目前在大企业的AI实际落地中也有了很多典型案例，非常欢迎大家一起参观交流。
最后总结一下，在企业以及大的行业里面要去落地人工智能和大模型，我们要思考的两个关键问题：第一，升级整个企业的结构化、非结构化数据平台统一管理，为AI深度业务落地形成数据基础。第二，企业需要完整的模型服务平台，它能够把多个垂直专业模型基于大语言模型进行整合，形成完整的模型技术栈，并能提供如语料工程、模型安全、模型评估等工程化。
谢谢大家！
https://mmbiz.qpic.cn/mmbiz_png/S24uQEVeictich3jnqWBqc07ZWTzjZEZMMKelyaIZdyBEdusKh70kqHAcgdibEclMNIwOu38PR8NG34rgVAOWF3vw/640?wx_fmt=other&from=appmsg&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp
页:
[1]