圍繞使用AI助手減少手動工作、利用代碼生成器提高軟件開發者生產力和通過生成式AI進行創新，業界正掀起一股熱潮。這些商業機遇促使許多開發團隊構建知識庫，使用向量數據庫，并將大型語言模型（LLMs）嵌入到他們的應用中。

構建具有LLM功能的應用程序的一些通用用例包括搜索體驗、內容生成、文檔摘要、聊天機器人和客戶服務應用。行業實例包括在醫療保健領域開發患者門戶、在金融服務領域改善初級銀行家的工作流程，以及在制造業中為工廠的未來鋪平道路。

投資于LLMs的公司面臨一些初步挑戰，包括改進數據質量方面的數據治理、選擇LLM架構、解決安全風險以及制定云基礎設施計劃。

我更擔心的是組織如何計劃測試他們的LLM模型和應用。引起關注的問題包括一家航空公司兌現了其聊天機器人提供的退款、因版權侵權而引發的訴訟以及降低“幻覺”風險。

Roadz公司的聯合創始人兼首席運營官阿米特·杰恩（Amit Jain）表示：“測試LLM模型需要一種多方面的方法，這超出了技術嚴謹性的范疇。團隊應該進行迭代改進，并創建詳細的文檔，以記錄模型的開發過程、測試方法和性能指標。與研究社區合作，以基準測試和分享最佳實踐也是有效的。”

1.嵌入式大型語言模型（LLMs）的四種測試策略

開發團隊需要一套針對LLM的測試策略。在為嵌入在自定義應用中的LLMs制定測試策略時，可以考慮以下作為起點的實踐方法：

創建測試數據以擴展軟件質量保證

自動化模型質量和性能測試

根據用例評估RAG質量

制定質量指標和基準

2.創建測試數據以擴展軟件質量保證

大多數開發團隊不會創建通用的大型語言模型，而是為特定的最終用戶和使用場景開發應用。為了制定測試策略，團隊需要了解涉及的用戶角色、目標、工作流程和質量基準。“測試LLMs的首要要求是了解LLM應能夠解決的任務，”Mindbreeze的首席技術官Jakob Praher說，“對于這些任務，人們會構建測試數據集，以建立LLM性能的指標。然后，人們可以系統地優化提示或微調模型。”

例如，一個為客戶服務設計的大型語言模型可能包含一個包含常見用戶問題和最佳響應的測試數據集。其他LLM用例可能沒有直接評估結果的手段，但開發人員仍可以使用測試數據進行驗證。“測試LLM最可靠的方法是創建相關的測試數據，但挑戰在于創建此類數據集的成本和時間，”Solix Technologies的工程副總裁Kishore Gadiraju說，“與其他軟件一樣，LLM測試包括單元測試、功能測試、回歸測試和性能測試。此外，LLM測試還需要進行偏差、公平性、安全性、內容控制和可解釋性測試。”

Gadiraju分享了以下LLM測試庫和工具：

AI Fairness 360，一個開源工具包，用于檢查、報告和緩解機器學習模型中的歧視和偏見；

DeepEval，一個類似于Pytest但專用于LLM輸出單元測試的開源LLM評估框架；

Baserun，一個用于幫助調試、測試和迭代改進模型的工具；

Nvidia NeMo-Guardrails，一個為LLM輸出添加可編程約束的開源工具包。

IBM數據和人工智能部門的數據科學工具和運行時主管Monica Romila分享了企業在使用LLM時的兩個測試領域：

模型質量評估使用學術和內部數據集評估模型質量，用于分類、提取、摘要、生成和增強生成（RAG）等用例。

模型性能測試驗證模型的延遲（數據傳輸所用時間）和吞吐量（在特定時間段內處理的數據量）。

Romila表示，性能測試取決于兩個關鍵參數：并發請求的數量和生成的令牌數量（模型使用的文本塊）。“測試各種負載大小和類型，并將性能與現有模型進行比較，以查看是否需要更新，這一點很重要。”

DevOps和云架構師應考慮進行LLM應用程序的性能和負載測試所需的基礎設施要求。SADA解決方案工程部總經理Heather Sundheim表示：“為大型語言模型部署測試基礎設施涉及設置強大的計算資源、存儲解決方案和測試框架。自動化配置工具（如Terraform）和版本控制系統（如Git）在可重復部署和有效協作中發揮著關鍵作用，強調了平衡資源、存儲、部署策略和協作工具對于可靠LLM測試的重要性。”

3.根據用例評估RAG質量

提高LLM準確性的一些技術包括集中內容、用最新數據更新模型以及在查詢流程中使用RAG。RAG對于將LLM的強大功能與公司的專有信息相結合至關重要。

在典型的LLM應用中，用戶輸入提示，應用程序將其發送到LLM，然后LLM生成響應，應用程序再將響應發送回用戶。使用RAG時，應用程序首先將提示發送到信息數據庫（如搜索引擎或向量數據庫），以檢索相關和主題相關的信息。應用程序將提示和這種上下文信息發送到LLM，LLM用它來制定響應。因此，RAG將LLM的響應限制在相關和上下文信息范圍內。

Pryon公司的創始人兼首席執行官Igor Jablokov表示：“RAG更適用于企業級部署，在這些部署中，需要對源內容進行可驗證的歸因，尤其是在關鍵基礎設施中。”

研究表明，使用RAG與LLM一起可以減少幻覺并提高準確性。但是，使用RAG也增加了一個新組件，需要對其相關性和性能進行測試。測試的類型取決于評估RAG和LLM響應的難易程度，以及開發團隊能夠在多大程度上利用最終用戶的反饋。

我最近與Forethought公司的首席執行官Deon Nicholas就他公司用于生成式客戶支持AI的RAG評估選項進行了交流。他分享了三種不同的方法：

（1）黃金標準數據集，即針對查詢的正確答案的人類標注數據集，可作為模型性能的基準；

（2）強化學習，即在真實場景中測試模型，例如在用戶與聊天機器人交互后詢問其滿意度；

（3）對抗網絡，即訓練一個二級LLM來評估一級LLM的性能，這種方法通過不依賴人類反饋提供自動化評估。

Nicholas表示：“每種方法都有其取舍，需要在人類投入和忽略錯誤的風險之間取得平衡。最佳的系統會跨系統組件利用這些方法，以最小化錯誤并促進穩健的AI部署。”

4.制定質量指標和基準

一旦你有了測試數據、新的或更新的大型語言模型（LLM）以及測試策略，下一步就是根據既定的目標驗證質量。

ContractPodAi的首席產品官阿提娜·雷哈尼（Atena Reyhani）表示：“為確保開發出安全、可靠和值得信賴的人工智能，制定具體、可衡量的關鍵績效指標（KPIs）和建立明確的防護欄至關重要。需要考慮的一些標準包括準確性、一致性、速度和與特定領域用例的相關性。開發人員需要評估目標領域中的整個LLM生態系統和運營模型，以確保其能夠提供準確、相關且全面的結果。”

值得借鑒的一個工具是Chatbot Arena，它是一個開放的環境，用于比較LLM的結果。它采用Elo評級系統，這是一種常用于競技游戲排名玩家的算法，但在評估不同LLM算法或版本產生的響應時，它同樣奏效。

Immuta的研究副總裁喬·雷根斯伯格（Joe Regensburger）表示：“人類評估是測試的核心部分，特別是在將LLM強化以適應現實世界中出現的查詢時。Chatbot Arena是眾包測試的一個例子，這類人類評估者研究可以提供重要的反饋循環，以便整合用戶反饋。”

IBM數據與人工智能部門的羅米拉（Romila）分享了根據LLM的不同用例需要考慮的三個指標。

（1）F1分數是精確度和召回率的綜合得分，適用于LLM用于分類或預測的情況。例如，客戶支持LLM可以通過評估其推薦行動方案的準確性來進行評估。

（2）RougeL可用于測試RAG和LLM在摘要用例中的性能，但通常需要一個由人類創建的摘要作為基準來評估結果。

（3）sacreBLEU原本是一種用于測試語言翻譯的方法，現在也被用于對LLM響應進行定量評估，以及其他方法，如TER、ChrF和BERTScore。

一些行業有特定的質量和風險指標需要考慮。Aisera的產品管理和營銷副總裁Karthik Sj表示：“在教育領域，評估年齡適宜性和避免毒性內容至關重要，但在面向消費者的應用中，應優先考慮響應的相關性和延遲。”

模型部署后并不意味著測試結束，數據科學家應尋求最終用戶的反應、性能指標和其他反饋，以改進模型。Amplitude的工程副總裁兼首席信息安全官Dustin Pearce表示：“部署后，將結果與行為分析相結合變得至關重要，它提供了快速反饋和更清晰的模型性能衡量標準。”

為生產準備的一個重要步驟是在應用程序中使用特性開關。AI技術公司Anthropic、Character.ai、Notion和Brex在構建產品時都使用了特性開關，以便協作測試應用程序，逐步向大量用戶引入功能，并針對不同的用戶群體進行定向實驗。

盡管出現了驗證LLM應用的新技術，但這些技術都不易實施或提供確切的結果。目前，與RAG和LLM集成來構建應用程序可能相對容易，但與測試和支持改進工作相比，這僅僅是冰山一角。