Tips：你可以關注"EosphorosAI"公眾號，回復“0912”獲取師文匯演講PPT

隨著大模型的出現(xiàn)，AI應用迎來了一次重大的變革。數(shù)據(jù)，不再僅僅是信息的載體，而是變成了智能應用成功的關鍵。師文匯指出，AI應用的發(fā)展經(jīng)歷了從數(shù)據(jù)積累到大模型的智能飛躍，我們正站在一個新的技術前沿。

AI應用的演化：從數(shù)據(jù)積累到大模型的智能飛躍

回顧應用研發(fā)方式的變革，早期以數(shù)據(jù)為核心的非智能化的應用，通常聚焦在某個特定的領域的特定問題，解決的是有明確答案的問題，比如支付、交易等業(yè)務。通過有限的狀態(tài)流轉實現(xiàn)業(yè)務邏輯推進，所有的流程都是標準化的。

在大模型出現(xiàn)以前，為了解決一個特定領域千人千面的問題，解空間已經(jīng)很難用狀態(tài)機描述，例如推薦、搜索，通過應用大量的數(shù)據(jù)積累以及小模型的的迭代，獲取越來越準確的小模型，實現(xiàn)了第一代的智能應用。這其實是以大量的數(shù)據(jù)和小的判別式模型所構成的。

現(xiàn)在，大模型使得我們能夠處理更加復雜和發(fā)散性的問題。數(shù)據(jù)的角色從輔助變?yōu)楹诵模蔀橹悄軕贸晒Φ年P鍵。在大模型時代，我們不再僅僅依賴應用來積累數(shù)據(jù)。我們可以做到數(shù)據(jù)先行，可以通過數(shù)據(jù)引入或者數(shù)據(jù)標注的方式沉淀這些數(shù)據(jù)。

我們認為構建以數(shù)據(jù)為核心的智能應用的關鍵因素是打造一個能力較好的大模型加上優(yōu)質(zhì)的行業(yè)數(shù)據(jù)。

對智能應用來說數(shù)據(jù)包含了兩種類別：

• 應用數(shù)據(jù)：傳統(tǒng)應用積累的結構化、半結構化以及非結構化數(shù)據(jù)；
• 引入數(shù)據(jù)：通過數(shù)據(jù)引入和標注手段獲取的數(shù)據(jù)。

數(shù)據(jù)來源不僅僅通過應用逐步的沉淀，通過引入數(shù)據(jù)可以真正做到數(shù)據(jù)先行。

AI原生應用研發(fā)的變革與挑戰(zhàn)

1.編程模型的轉變:
從以流程為核心到以數(shù)據(jù)為核心，我們的編程模型正在發(fā)生重大變革。以前，我們用C++等語言開發(fā)程序，流程是固定的，我們沉淀了很多的研發(fā)工具，做集成測試。在大模型時代，整個AI原生應用的設計會簡化原來狀態(tài)流轉和SOP，我們更多地關注如何處理和加工數(shù)據(jù)。

SQL定義了處理結構化數(shù)據(jù)的范式，在大模型時代下，我們現(xiàn)在需要新的方法來處理非結構化數(shù)據(jù)，如音頻、視頻和圖片，甚至文本。我們是不是可以創(chuàng)新出一種全新的類似SQL的范式去處理這些非結構化的數(shù)據(jù)，這是一個長期的過程，需要我們不斷探索和創(chuàng)新積累。

2.研發(fā)范式的不確定性：
大模型的本質(zhì)是概率模型，我們很難解決幻覺問題，或者準確性的問題。但很多應用需要嚴格的執(zhí)行結果。我們?nèi)绾谓档痛竽Ｐ偷牟淮_定性失效成本，提升研發(fā)迭代效率，是后續(xù)非常重要的一環(huán)。

3.與現(xiàn)有系統(tǒng)的交互：
在建設新的數(shù)據(jù)為核心的AI應用時，無論是建立新的應用、還是升級老的系統(tǒng)，如何高效的利用已有系統(tǒng)的能力，也能夠讓已有系統(tǒng)更好的利用新的A原生應用的能力也是一個非常關鍵的問題。傳統(tǒng)的RPC都是面向二進制來設計的，如何高效的在網(wǎng)絡上傳輸，如何建立新的規(guī)范幫助AI Agent、AI原生應用的交流是一個很關鍵的問題。

AI原生應用框架的思考

我們希望構建沉淀一個新的框架，去應對解決AI原生的數(shù)據(jù)應用面臨的數(shù)據(jù)編程、不確定的問題。

面向數(shù)據(jù)編程：

• 泛ETLs：我們要把數(shù)據(jù)處理（ETL）做得更加廣泛，不僅僅像以前是為了做報表或幫助ML清洗數(shù)據(jù)，基本上是for人類、for決策的；我們現(xiàn)在的ETL為了大模型更智能，從數(shù)據(jù)到知識的能力。

• 實驗反饋：模型的架構決定了模型能力的下限，數(shù)據(jù)決定了整個AI應用的質(zhì)量和上限，我們?nèi)绾渭庸じ哔|(zhì)量的數(shù)據(jù)，其實是非常大的挑戰(zhàn)，在這里最重要的是我們要建立起一套完整的端到端的實驗反饋體系，通過框架提升反饋閉環(huán)的效率。

應對不確定性：

• 我們希望加快AI原生應用的開發(fā)迭代，減少因模型不確定性導致的失敗成本。
• 通過標準的SOP來約束應用的流程，確保業(yè)務流程的關鍵流程和路徑是可控的，同時SOP也能夠幫助LLM獲取足夠的信息。e.g.想象一下，我們要開發(fā)一個旅游AI助手，它在給你推薦旅行計劃前，得先知道你的預算、目的地和想?yún)⒂^的景點。我們希望通過SOP編排的方式，用一種有序的步驟安排，來確保這個助手能根據(jù)這些關鍵信息點，為你做出最合適的建議。

AI原生應用的探索

第一階段：從Talk to DB（0.1版本）到 Talk to Data（0.4版本），我們嘗試讓所有人能用自然語言與數(shù)據(jù)交互。在V0.1中我們希望通過自然語言對DB數(shù)據(jù)的處理來完成業(yè)務邏輯，如取數(shù)、分析、AI/BI等等。在V0.4中，我們開始全面支持talk to data，以結構化數(shù)據(jù)為核心，通過大語言模型實現(xiàn)自然語言與不同種類、不同來源的數(shù)據(jù)交互。盡管這個產(chǎn)品在能解決的問題上還有局限。

第二階段：Data-Driven Agent（0.5版本），在這期間業(yè)界有了非常多對于Agent的探討，我們開始支持以Agent為核心的構建，Agent的靈活表達支持更多的場景。同時，2023年8月正式成立星辰智能社區(qū)，組織名Eosphoros-AI，由螞蟻集團、京東、阿里、美團、唯品會、騰訊以及學界多名優(yōu)秀的社區(qū)同學組成，希望能夠共同探索Data-Driven Agent為核心的應用構建。

第三階段：AI Native Data Apps（0.6版本），在社區(qū)的實踐中，我們發(fā)現(xiàn)了一些Agent無法解決的問題，如金融、工廠等嚴謹場景下，智能體的編排、決策往往不如人意。于是社區(qū)開始探索AI原生的數(shù)據(jù)為核心的應用，以應用為核心，支持通過AWEL的嚴格SOP設計，支持快速、構建部署AI應用，既可以是chatbot、也可以是一個和Java應用互通的Service。通過DB-GPT和低代碼技術，使AI應用的開發(fā)和控制更加高效。

DB-GPT通過以下方法解決AI應用開發(fā)中的三大核心難題：

1.系統(tǒng)交互：Pugin&Tools打通傳統(tǒng)應用和AI APP的橋梁，實現(xiàn)SOA應用和AI應用元數(shù)據(jù)的互通，協(xié)議的互通和轉化。

2.低代碼開發(fā)：通過低代碼AWEL進行邏輯以及Agent嚴格模式編排，使AI應用的開發(fā)迭代更加簡單高效。通過整合現(xiàn)有的工具和API，AWEL語言能夠高效管控并編排Agent的工作流程，同時提供了一系列強大的功能，如數(shù)據(jù)處理、RAG（檢索增強生成）和數(shù)據(jù)庫訪問等。此外，我們提供了一系列系統(tǒng)級Agents，以加速應用構建過程。其中，DATA Agents能夠理解自然語言指令，直接從數(shù)據(jù)湖或數(shù)據(jù)庫中檢索所需信息。GPT-Vis能夠根據(jù)Agent、LLM或者應用的輸出自動構建可視化組件，降低UI/可視化的研發(fā)成本。

3.數(shù)據(jù)處理：整個框架提供了RAG/LLM ETL工具、端到端的評估工具，幫助開發(fā)者更好的對數(shù)據(jù)進行編程和迭代。

Agents是AI原生應用構建的核心。DB-GPT的Agents可以提供服務并能與多種系統(tǒng)兼容，具備全面功能性，覆蓋了從感知到?jīng)Q策到plugin，再到執(zhí)行的全流程。

插件支持三種模式：

• 嚴格模式：所有流程和關鍵點都是可控的，適合需要精確控制的應用。
• 預編譯研究：適合有明確目標和特定狀態(tài)空間的應用，如螞蟻正在應用的基礎設施助理Kevin，可以通過COT或TOT面向決策樹編排。
• 大模型協(xié)作ReAct：在目標不明確或解釋發(fā)散的場景中，利用大模型的協(xié)作能力，如財報或年報的調(diào)研。

對于AWEL語言來說，我們其實關注兩點，一點是要支持嚴格模式，不光整個流程是可以通過嚴格模式來編排的，所有中間的通信協(xié)議也可以通過AWEL語言來編排。另外一點靈活應用，我們希望AWEL兼容大數(shù)據(jù)領域主流的框架（如airflow），能夠讓現(xiàn)在已有的ETL的流程比較簡單的接入到AWEL的流程，方便實現(xiàn)從數(shù)據(jù)處理到RAG服務的端到端的流程。

此外，在構建原生應用的時候，我們提供了很多系統(tǒng)的Agent，這些Agent幫大家可以快速地構建系統(tǒng)應用。如GPT-Vis Agent，它是可以通過自然語言去動態(tài)適配應該輸出什么樣的格式。比如你輸出的文本里有一個表格樣式的數(shù)據(jù)，它可以幫你輸出一個表格。如果有些數(shù)據(jù)更適合用餅圖或者折線圖，它都自動幫你做適配。同時它支持了非常多的可視化組件。

另外一個Agent是我們一直持續(xù)打磨的，叫Data Agent，Data Agent支持大部分的數(shù)據(jù)庫、湖倉引擎等。Agent對于數(shù)據(jù)本身的理解是至關重要的，例如一個表格的意義、一個列的意義，甚至是一個常量的意義，大語言模型需要“數(shù)據(jù)元信息的ETL”來實現(xiàn)這一過程，后續(xù)我們也會考慮如何在DB-GPT的數(shù)據(jù)處理框架里和社區(qū)一起共建這部分的能力。

RAG & 數(shù)據(jù)引擎：

• RAG作為AI原生框架里最核心的模塊，可以作為算子，也可以作為Agent，方便構建AI應用或者Agent。為了實現(xiàn)更好的RAG效果，高質(zhì)量數(shù)據(jù)處理的仍然是最先考慮的因素，DB-GPT支持基于文本Trunk、圖譜的數(shù)據(jù)加工和處理，用戶可以根據(jù)實際情況進行定制，在構建我們的RAG應用之前一個比較關鍵的事情是準備評測和驗證的數(shù)據(jù)集。
• 很多場景下單獨用文本向量做召回準確度是不夠的，現(xiàn)在比較流行的一種方式，是通過知識圖譜的方式去做檢索或者召回。我理解大模型對世界的理解不應該僅僅是一個strings，應該是一個具體的thing（事物）。embedding是不可控、不可知的，但圖譜這種形式其實是比較可控，且可編輯的。因此，我們在DB-GPT上增加了整個基于圖的RAG的能力，今天我們做了一個測試，在GraphRAG同樣場景、同樣準確性的情況下，會比微軟的GraphRAG少50%的token。

我們認為向量檢索是后續(xù)提升RAG性能和效果的重要支柱。同時也為了能支持大規(guī)模圖、文本、圖片、音視頻等存儲上的向量索引，我們研發(fā)了VSAG向量索引庫提供高性能的向量存儲、檢索、實時更新等能力，幫助計算和存儲引擎實現(xiàn)vector as an index，同時也可以作為獨立的組件支持RAG應用中的向量檢索，無論是圖片還是文本。

VSAG向量庫正式開源

我們高興地宣布，VSAG向量庫現(xiàn)在已經(jīng)正式開源了。這是一個強大的工具，能夠處理達到百億級別的數(shù)據(jù)索引，特別是圖片和音視頻這類多媒體內(nèi)容。VSAG不僅能夠輕松處理大規(guī)模數(shù)據(jù)，通過融合多種分類算法以及基于線性分類器的剪枝技術，顯著提高了檢索效率和減少了計算量，性能提升最高達90%。后續(xù)會更加廣泛的支持業(yè)界的RAG方案，如LLama Index、LangChain等等。

螞蟻及社區(qū)應用實踐

在螞蟻集團，我們采用了兩種智能輔助模式：Copilots和Agents。

Copilots作為一個編程輔助工具，能夠給開發(fā)者提供智能的建議和風險評估，幫助編寫更安全的代碼，提升BI、分析、ETL等工作的效率。Agents有很多有意思的應用，例如它們能夠主動分析并預測潛在的系統(tǒng)問題，提前防范系統(tǒng)故障。

我們還提供了一個用戶友好的自助分析工具，用戶可以用自然語言提出需求，比如詢問如何快速到達某個地點，工具會自動生成詳細的分析。

DB-GPT應用框架目前已在政企、出行、新零售、金融、互娛領域有廣泛引用，典型的解決方案范式如數(shù)據(jù)助手、智能管家和AI/BI、Copilots等多種應用場景的創(chuàng)新。

應用案例廣泛分布千行百業(yè)：通過DB-GPT構建的水務智能管家、水務行業(yè)通用知識庫、水務企業(yè)專有知識庫，方便普通用戶通過QA問答獲取水務行業(yè)的專業(yè)知識，并提供客戶服務、管網(wǎng)運行、水廠生產(chǎn)等各種應用場景的數(shù)據(jù)查詢和數(shù)據(jù)分析能力。同時，在出行領域，某大型機場集團通過DB-GPT搭建的人資管理助手、人資招聘助手、知識庫問答等，通過自動化技術，覆蓋從人力資源管理到報告生成的各個業(yè)務環(huán)節(jié)。另外，DB-GPT在京東、唯品會等頭部互聯(lián)網(wǎng)公司均有應用。

未來展望：構建全面的數(shù)據(jù)智能應用生態(tài)

今天，我們正式宣布發(fā)布 DB-GBT 0.6的版本，該版本支持AI原生應用的全生命周期管理，能夠?qū)崿F(xiàn)完整的GraphRAG能力支持，同時在Data Agent方面支持Graph，Text2GQL等能力。同時，我們基于GPT-Vis構建了應用生態(tài)倉庫，任何開發(fā)者都可以在這個倉庫里共享各自的應用。未來，社區(qū)還計劃發(fā)布面向數(shù)據(jù)基礎設施的新應用，以及面向ChatBI的全新應用。

星辰智能社區(qū)目標是構建全面的數(shù)據(jù)智能應用生態(tài)，覆蓋從數(shù)據(jù)收集、ETL處理、RAG技術到原生應用框架的完整生命周期。我們始終與生態(tài)伙伴、社區(qū)伙伴緊密合作，從去年開始開源DB-GPT，到最近開源了RAG的核心向量索引庫VSAG，以及孵化出更多像GPT-Vis的優(yōu)秀工具。未來，我們還計劃與更多產(chǎn)品、社區(qū)開放合作，讓基于AI構建原生應用更簡單更便捷。