同時，為了考察軒轅大模型在金融實際任務上的能力，軒轅團隊還特別組織了金融專家為對話大模型進行人工評測。任務的設計均是從金融行業(yè)實際應用場景出發(fā)，去判斷軒轅是否在各項金融任務上具備“實戰(zhàn)能力”。

（人工金融評測集任務構成）

最終結(jié)果顯示，軒轅大模型各個參數(shù)上均具有“以小搏大”的實力，達到自己2倍甚至5倍參數(shù)量的模型水平。在各項金融評測任務上，XuanYuan-6B表現(xiàn)超越市面最新13B中文開源模型（左圖），XuanYuan-13B表現(xiàn)超越市面最新72B中文開源模型（中圖），XuanYuan-72B-V2表現(xiàn)可以媲美GPT4（右圖），并且在金融法規(guī)、金融產(chǎn)品信息等中文場景上超越。

（軒轅擁有遠超同參數(shù)水平的金融能力）

02通用能力

將軒轅大模型在MMLU、CEVAL、CMMLU、GSM8K、HumanEval等中外主流評測集上進行評測，觀察大模型在知識、邏輯、代碼等通用能力上的表現(xiàn)。同時加入類似參數(shù)矩陣的LLaMA2系列進行比較，結(jié)果顯示軒轅不同參數(shù)大模型在各項榜單成績上均有優(yōu)異表現(xiàn)，在CMMLU、C-Eval等多個中文評測榜單上，更是有超越GPT-4的水準。

進一步分析發(fā)現(xiàn)，經(jīng)過專門優(yōu)化以增強考試能力的XuanYuan-6B和XuanYuan-13B模型，在C-Eval和CMMLU這兩個中文考試評測指標上有了顯著提升。然而，需要注意的是，“高分”并不意味著“高能力”。評測集成績可通過優(yōu)化模型考試能力來提升，不直接等同于模型在實際應用中的優(yōu)勢。因此，盡管小參數(shù)模型在某些評測中表現(xiàn)出色，這并不意味著它們的各方面真實能力均超越了同系列大參數(shù)模型。

（軒轅大模型在各個評測集上的分數(shù)）

「軒轅」技術解析：對齊技術突破能力瓶頸，面向公眾開放自動化訓練框架

度小滿軒轅大模型團隊在過去一年，對大模型訓練的各個環(huán)節(jié)積累了豐富的經(jīng)驗。這包括建立了一套完整的數(shù)據(jù)處理流水線、采用更適配領域模型的高效訓練方法等，以及本次突破性的利用人類偏好對齊技術，極大地提升了6B、13B、70B模型的對話能力，顯著增強了模型的場景適應性。

軒轅系列大模型使用DeepSpeed分布式訓練框架，引入動態(tài)評估與調(diào)整機制以優(yōu)化訓練過程。在微調(diào)階段，軒轅特別的采用了Self-QA策略來收集指令微調(diào)數(shù)據(jù)。該方法能夠在沒有人工標注的情況下生成大量高質(zhì)量的問答數(shù)據(jù)，為模型提供有監(jiān)督的訓練樣本，有效提升模型的學習效率和質(zhì)量。

（軒轅大模型Self-QA數(shù)據(jù)構造方法）

針對金融領域的特定需求，軒轅大模型還開發(fā)了一種混合微調(diào)訓練框架，旨在通過融合通用與特定領域數(shù)據(jù)來增強模型性能及適應性。這種混合微調(diào)方法不僅顯著提高了模型在特定任務的表現(xiàn)，也增強了其整體的泛化能力和適應性，為金融領域任務的性能提升開辟了新途徑。

度小滿創(chuàng)新地在金融領域大模型中引入了人類偏好對齊技術，開創(chuàng)了領域內(nèi)強化對齊訓練的先河。通常，領域大模型僅在微調(diào)階段引入特定領域數(shù)據(jù)，但這種方法在實際應用中常常顯示出局限性。金融行業(yè)的復雜性要求模型能夠更深入地理解并適應行業(yè)特定的需求，而強化對齊訓練有助于突破僅依靠微調(diào)所能達到的性能瓶頸。

軒轅團隊精心構建了涵蓋通用性、安全性和金融特性的Prompt數(shù)據(jù)集，并組織了專業(yè)的標注團隊對成對的回答進行偏好標注。接下來，團隊通過一系列實踐、分析和改進，成功完成了獎勵模型（Reward Model）和后續(xù)的強化（采用近端策略優(yōu)化算法）訓練。下圖以XuanYuan-6B為例展示了模型在通用性和金融能力的綜合評估結(jié)果。從圖中可以看出，在兩個領域，經(jīng)過人類偏好對齊后，模型的能力都有了極大的提升，證明了強化對齊訓練的有效性。

（RLHF-model vs SFT-model）

（通用能力：RLHF-model vs SFT-model）

（金融能力：RLHF-model vs SFT-model）

度小滿軒轅大模型團隊一向貫徹開源開放的原則。為了讓廣大開發(fā)者能夠更容易的上手使用大模型，使用真實數(shù)據(jù)和真實代碼作為示例，詳細介紹了訓練模型的每個關鍵步驟?，F(xiàn)在相關代碼已經(jīng)上傳開源社區(qū)，供廣大用戶實操體驗。

金融行業(yè)需要怎樣的大模型？

金融領域?qū)Υ竽Ｐ偷囊筮h超過基本的“判斷”與“生成”能力，更加強調(diào)在“分析”與“決策”過程中的高級能力，這些能力是觸及金融企業(yè)核心利益的關鍵。大模型的價值體現(xiàn)在其能否在核心業(yè)務場景中發(fā)揮實際作用，如通過綜合分析用戶信息以支持風險評估、客戶畫像繪制、精準營銷策略，或通過企業(yè)數(shù)據(jù)分析支持財務審查、智能投顧和行業(yè)研究。

金融大模型的最終目標是提高企業(yè)ROI。這意味著，高效的金融大模型應當能夠在實際應用中，如客服場景，通過提升對話處理、指令遵循和意圖理解能力，不僅短期內(nèi)提高客服效率，長期還可能實現(xiàn)機器人客服的全面替代，重塑客戶服務流程，推動金融服務向更高智能化水平邁進。

結(jié)束語：關于度小滿「軒轅」大模型

度小滿軒轅大模型系列具有以下特色：

· 多尺寸開源，開發(fā)者友好。

· 擁抱開源，免費下載使用。

· 版本快速迭代，社區(qū)持續(xù)更新。

· 持續(xù)面向金融行業(yè)伙伴交流共建。

在今年的政府工作報告中，提出了“大力發(fā)展科技金融、綠色金融、普惠金融、養(yǎng)老金融、數(shù)字金融”。在這樣的宏觀背景下，AI大模型落地金融場景，為行業(yè)帶來全新的智能化發(fā)展機遇，是金融行業(yè)本身的發(fā)展意愿，也是“新質(zhì)生產(chǎn)力”的客觀要求。

作為“實戰(zhàn)派”的度小滿軒轅，已經(jīng)應用在金融領域的各個業(yè)務場景，并且初見成效。未來，度小滿軒轅會成為金融行業(yè)的一個支點，為更多智能化探索打開大門。

欲知“軒轅”大模型詳情，可移步Github官網(wǎng)。