智能客服一直被視為大模型最適合的應(yīng)用場景之一，而京東在大模型出現(xiàn)后，不僅推出了京東言犀大模型，還利用這些模型升級(jí)了智能客服、交互式營銷、數(shù)字人等產(chǎn)品，并在實(shí)際場景中逐步落地，取得了顯著成果。在本次“極客有約”對(duì)話節(jié)目中，魚哲和京東云言犀算法總監(jiān)祝天剛討論了大模型在智能服務(wù)領(lǐng)域的落地要點(diǎn)。

亮點(diǎn)：

大模型在數(shù)據(jù)需求上相對(duì)較低，能夠更接近端到端處理，生成結(jié)果更自然流暢，提供更好的用戶體驗(yàn)。

更新不僅限于基礎(chǔ)模型的更新，還包括知識(shí)庫的更新。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復(fù)雜性。

沒有一個(gè)通用的模板或規(guī)則來告訴我們應(yīng)該使用哪個(gè)模型。

技術(shù)的選擇應(yīng)該基于深刻理解的業(yè)務(wù)需求，以確保問題得到最好的解決。

嘉賓簡介：

魚哲，Lepton AI 創(chuàng)始團(tuán)隊(duì)成員，產(chǎn)品負(fù)責(zé)人。

祝天剛，京東云言犀算法總監(jiān)，主要負(fù)責(zé)智能客服、交互式營銷等產(chǎn)品的算法研發(fā)，大模型應(yīng)用落地等工作，產(chǎn)品服務(wù)于京東域內(nèi)百萬商家，域外政府、銀行、企業(yè)等眾多應(yīng)用場景。

在哪些業(yè)務(wù)場景里應(yīng)用了大模型

魚哲：京東作為電商領(lǐng)域的佼佼者，在大規(guī)模模型的嶄露頭角后，不管是從商家端還是用戶體驗(yàn)方面，表現(xiàn)都非常出色。我們今天將深入探討京東在自然語言處理和客服技術(shù)上的挑戰(zhàn)和應(yīng)用場景。從京東云言犀的首頁能看出京東非常貼近實(shí)際業(yè)務(wù)場景，呈現(xiàn)了多種實(shí)際業(yè)務(wù)場景的應(yīng)用。在大模型技術(shù)流行之后，京東云言犀團(tuán)隊(duì)采取了哪些措施？京東是如何采納這一技術(shù)的，以及如何將這些新技術(shù)應(yīng)用到業(yè)務(wù)中的？

祝天剛：你剛才提到言犀似乎更貼近業(yè)務(wù)，這點(diǎn)我非常認(rèn)同。我們部門堅(jiān)持一個(gè)基本原則，即研究和探索應(yīng)該源自實(shí)際業(yè)務(wù)需求。一旦我們做出研究并取得成果，我們必須將其應(yīng)用到業(yè)務(wù)中，以評(píng)估技術(shù)在業(yè)務(wù)中是否能帶來收益和價(jià)值，以及是否能影響更多人。

關(guān)于大模型的興起，特別是在言犀和智能客服領(lǐng)域，我們也采用了一些新的技術(shù)。我的主要關(guān)注點(diǎn)是言犀，這是一個(gè)智能對(duì)話平臺(tái)，我們?cè)谶@個(gè)領(lǐng)域進(jìn)行了許多工作。在對(duì)話過程中，涉及到問答和內(nèi)容生成，機(jī)器人也主動(dòng)提問。生成的內(nèi)容不僅僅用于對(duì)話，還用于其他場景。因此，在客服對(duì)話和內(nèi)容生成方面，我們進(jìn)行了許多創(chuàng)新和嘗試，并已將這些創(chuàng)新應(yīng)用到實(shí)際業(yè)務(wù)中，有很多具體的落地應(yīng)用。

魚哲：在電商領(lǐng)域，客服介入在消費(fèi)者和商家之間的互動(dòng)中起著關(guān)鍵作用。無論是在消費(fèi)者選擇商品之前，還是在購買后，我認(rèn)為客服在這兩個(gè)環(huán)節(jié)中發(fā)揮著最大的作用。您可以詳細(xì)展開一下，例如在售后環(huán)節(jié)中，我們目前是否嘗試應(yīng)用了 AIGC 或大模型技術(shù)？

祝天剛：客服工作可以簡單地分為售前和售后兩個(gè)基本流程。售前工作通常涉及引導(dǎo)和導(dǎo)購，而售后工作則更側(cè)重解決咨詢、商品使用以及各項(xiàng)售后相關(guān)問題。在售后工作中，主要方向是解答問題和問題解決。在解答問題時(shí)，我們努力提供實(shí)際的答案，這可能直接滿足需求，也可能引導(dǎo)用戶進(jìn)入解決流程。售后工作可能涉及諸如產(chǎn)品質(zhì)保和價(jià)格保障等問題，所以我們的目標(biāo)是提供明確的解決方案。

另一個(gè)方面是質(zhì)檢，這不僅僅局限于對(duì)話。在售后，我們進(jìn)行對(duì)話質(zhì)量檢測，以確保對(duì)話的質(zhì)量，并監(jiān)督保證下一次對(duì)話的質(zhì)量。這有助于提高智能客服的體驗(yàn)，也可以在輔助人工客服起到作用。

最后，我們還進(jìn)行對(duì)話后的內(nèi)容分析，以引導(dǎo)下一次對(duì)話和提高客服效率。分析結(jié)果可以輔助客服或商家做出后續(xù)決策。

大模型給業(yè)務(wù)帶來了哪些變化

魚哲：電商領(lǐng)域的客服，特別是售后客服。這個(gè)領(lǐng)域雖然不能說非常成熟，但一直存在，一直在不斷進(jìn)行改進(jìn)和創(chuàng)新。我想請(qǐng)問一下，你能否舉一個(gè)具體的場景例子，說明在沒有大模型之前，業(yè)務(wù)的效率或效果是怎樣的？然后引入大模型后，業(yè)務(wù)的狀態(tài)有何變化？我們想了解一下大模型在這個(gè)業(yè)務(wù)中到底有何顯著改進(jìn)，它帶來了哪些變化？

祝天剛：客服領(lǐng)域，無論是否有大模型，都已相對(duì)成熟，尤其是在售后方面更為成熟。大模型的引入，究竟帶來了什么改變？舉一個(gè)經(jīng)典例子，就像我剛才提到的，解答用戶問題的過程。

在引入大模型之前，處理用戶問題的意圖分類或者叫意圖理解的過程，通常需要依賴模型，甚至可能通過一些關(guān)鍵詞來解決。這種方法雖然有一定的準(zhǔn)確性，但泛化性能有限。

在傳統(tǒng)“小”模型方法中，需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行構(gòu)建，例如訓(xùn)練一個(gè)分類模型，以便將用戶的問題分類為不同的意圖。同樣，回答用戶問題的方式也需要模型的處理，因?yàn)槭酆髥栴}的多樣性，有的需要直接回答，有的需要引導(dǎo)用戶執(zhí)行一系列步驟來解決。對(duì)于這種情況，需要更精細(xì)的模型來處理。另一個(gè)挑戰(zhàn)是訓(xùn)練數(shù)據(jù)的質(zhì)量，它對(duì)模型效果產(chǎn)生直接影響。因此，傳統(tǒng)模型訓(xùn)練需要高質(zhì)量的訓(xùn)練數(shù)據(jù)，這是一個(gè)重要的工作。這也是傳統(tǒng)“小”模型的一個(gè)特點(diǎn)。

現(xiàn)在，回到問題的核心，大模型是否具有優(yōu)勢？首先，大模型不需要高質(zhì)量領(lǐng)域標(biāo)注的訓(xùn)練數(shù)據(jù)，因?yàn)樗呀?jīng)在訓(xùn)練中積累了大量知識(shí)，并擁有豐富的指令來引導(dǎo)它進(jìn)行訓(xùn)練。這使得它對(duì)訓(xùn)練數(shù)據(jù)的需求相對(duì)較低。

此外，大模型在處理流程方面也具有優(yōu)勢。傳統(tǒng)的流程通常是由多個(gè)小模型組成的流水線，前一個(gè)模型負(fù)責(zé)一個(gè)階段，然后傳遞給下一個(gè)模型。這種流水線形式可能存在錯(cuò)誤傳遞和效率問題。大模型能夠整合多個(gè)流程，可能更接近端到端的處理，直接生成結(jié)果。大模型通常是生成式的，它能夠生成更流暢和人性化的答案，不像小模型那樣需要將答案填充到模板中。

概括而言，大模型在數(shù)據(jù)需求上相對(duì)較低，能夠更接近端到端處理，生成結(jié)果更自然流暢，提供更好的用戶體驗(yàn)。這是大模型引入前后的一個(gè)顯著區(qū)別。

大模型的優(yōu)缺點(diǎn)

魚哲：您剛剛提到了大模型的優(yōu)點(diǎn)，但您也提到了我們需要考慮其優(yōu)缺點(diǎn)。在使用大模型的過程中，您認(rèn)為有哪些缺點(diǎn)，是否可以簡要介紹一下？

祝天剛：大模型存在一些缺點(diǎn)。這個(gè)問題可以用一個(gè)比喻來說明。大模型就像一個(gè)有知識(shí)的年輕人，可以回答問題，但不是所有問題都能回答。有時(shí)，當(dāng)問題涉及到他未涉及的領(lǐng)域時(shí)，可能會(huì)提供不準(zhǔn)確的答案，或者根本不知道如何回答。雖然大模型具備理解問題和回答的能力，但在某些情況下，當(dāng)問題不在其知識(shí)范圍內(nèi)時(shí)，會(huì)變得無法應(yīng)對(duì)。

如果我們將大模型比作聊天伙伴，那么無論你問什么問題，它通常會(huì)提供一些合理的答案，邏輯上都可以接受。但當(dāng)我們需要將其應(yīng)用到更嚴(yán)肅的行業(yè)場景中，要求根據(jù)特定領(lǐng)域的知識(shí)來回答問題，而模型沒有足夠的領(lǐng)域知識(shí)時(shí)，就會(huì)出現(xiàn)問題。這時(shí)，控制大模型的回答，使其按照領(lǐng)域知識(shí)來回應(yīng)變得更加困難。如果大模型類似于大學(xué)生，他可能會(huì)有自己的觀點(diǎn)和思辨能力，而不是像小孩子那樣聽話。這會(huì)導(dǎo)致可控性降低，難以滿足特定要求。

除此之外，大模型的使用需要更多的計(jì)算資源，這可能在資源受限的情況下造成問題。此外，大模型可能會(huì)在某些情況下提供不恰當(dāng)?shù)拇鸢福黾恿税踩蛡惱韱栴}。

魚哲：我有一個(gè)與實(shí)際體驗(yàn)相關(guān)的問題，例如，當(dāng)京東的業(yè)務(wù)團(tuán)隊(duì)考慮采用新技術(shù)并保留當(dāng)前 pipeline 時(shí)，您認(rèn)為新技術(shù)在成本和效果方面是否足夠有動(dòng)力來使您選擇停用之前 pipeline 并過渡到新的大模型？您對(duì)此有何看法？

祝天剛：在大模型、甚至模型出現(xiàn)之前，客服團(tuán)隊(duì)已經(jīng)存在。也許隨著大模型的引入，客服會(huì)變得更加智能化。

我們已經(jīng)看到大模型在多個(gè)領(lǐng)域取得了成功，人們對(duì)其寄予厚望，希望它能在客服方面帶來一些變化。但關(guān)鍵問題是，它將如何改變客服，大模型是會(huì)改變整個(gè)客服流程，還是只對(duì)客服流程的局部部分進(jìn)行調(diào)整？我們是否應(yīng)該先放下當(dāng)前的 pipeline，專注于以大模型為核心構(gòu)建全新的客服系統(tǒng)？目前，我們正在實(shí)踐和探索兩種方法。第一種方法是分析當(dāng)前 pipeline，找出其中存在的問題。在某些部分，我們可能會(huì)發(fā)現(xiàn)普通或小型模型在某些環(huán)節(jié)達(dá)到了瓶頸。在這些局部，我們可以將這些節(jié)點(diǎn)合并成一個(gè)大模型，以提高整體性能。與此同時(shí)，我們也在努力探索另一種方法，即圍繞大模型構(gòu)建全新的客服架構(gòu)和體驗(yàn)。這兩種方法我們都在實(shí)踐和探索中。

魚哲：您剛才提到的是使用多個(gè)小型模型結(jié)合意圖分析（或稱為意圖映射）的方法。我們可以理解為，如果我們今天有一個(gè)相對(duì)輕量的模型，它可能不需要像大模型那么龐大，而是可以與一系列較小的模型協(xié)同工作，構(gòu)建一種 MOE 的架構(gòu)，從而在解決特定業(yè)務(wù)場景時(shí)替代大模型的功能，前提是業(yè)務(wù)問題保持不變。

祝天剛：在某種程度上，用“替代”這個(gè)詞也許有點(diǎn)絕對(duì)。根據(jù)我的理解以及我在實(shí)踐中的觀察，大模型的角色通常不是互相替代，而是相互配合。在我們明確了大模型的擅長和不擅長，以及小模型的優(yōu)缺點(diǎn)之后，在這種相互協(xié)作中，有一些相對(duì)簡單容易、無需高度擬人化的任務(wù)，小模型已經(jīng)足夠勝任。

對(duì)于那些需要更流暢表達(dá)、需要精細(xì)判斷，或者在訓(xùn)練數(shù)據(jù)方面要求較高的任務(wù)，通過指令方式來執(zhí)行，大模型可以派上用場。同時(shí)，根據(jù)不同業(yè)務(wù)領(lǐng)域的需求，我們也在嘗試使用一些模型來單獨(dú)解決特定任務(wù)，而整體任務(wù)則以 MOE 的形式合并和協(xié)同解決?？偟膩碚f，大、小模型之間并不是完全的替代關(guān)系，而是相互依存于整體業(yè)務(wù)特點(diǎn)，形成一種相互協(xié)作的關(guān)系。

大模型的幻覺問題

魚哲：您剛才提到的大模型的可控性和幻覺問題確實(shí)是相當(dāng)嚴(yán)重的挑戰(zhàn)。就我了解的情況來看，業(yè)界在控制大模型的輸出方面，通常采取以下方式，要么通過精細(xì)的提示工程，編寫極為詳細(xì)的指令，要么創(chuàng)建一種與相關(guān)度較高的內(nèi)容的輸入，或者使用 fine tuning 等方法來影響模型的輸出。

在考慮不同技術(shù)使用方式時(shí)，我認(rèn)為并沒有一種方法是絕對(duì)最佳的，也不應(yīng)認(rèn)為某種方式能夠完全取代其他方式?；氐轿覀兊臉I(yè)務(wù)場景，在京東，特別是在智能客服系統(tǒng)中，我們面臨的業(yè)務(wù)挑戰(zhàn)相對(duì)于傳統(tǒng)聊天場景來說更為復(fù)雜。這是因?yàn)槲覀冃枰瑫r(shí)應(yīng)對(duì)用戶、京東的坐席客服以及商家等多個(gè)參與方的狀態(tài)，將智能客服融入其中，形成一個(gè)四方互動(dòng)的生態(tài)系統(tǒng)。在系統(tǒng)優(yōu)化方面，您是怎么思考的，以滿足多方需求？

祝天剛：在這個(gè)情境中，我們需要關(guān)注四個(gè)主要參與方：C 端用戶，坐席客服，商家，以及引入的智能客服。這些參與方之間存在復(fù)雜的相互制約關(guān)系。用戶希望獲得準(zhǔn)確、即時(shí)的答案。坐席客服需要迅速找到答案以回應(yīng)用戶的問題。而商家則期望回答用戶問題的同時(shí)，分析用戶的需求，并希望能夠推廣其商品。

現(xiàn)在，我們引入智能客服以滿足這些參與方的需求。從技術(shù)角度來看，我們的首要任務(wù)是確保智能客服能夠提供高質(zhì)量和準(zhǔn)確的答案。對(duì)于用戶來說，高質(zhì)量的答案可以提供最佳的用戶體驗(yàn)。對(duì)于坐席客服，我們需要提供可信賴的答案，同時(shí)在輔助判斷和決策方面提供支持。商家方面，高質(zhì)量的答案配合有關(guān)商品的推廣材料，才能幫助他們提高轉(zhuǎn)化率。所以答得準(zhǔn)是關(guān)鍵。

通用大模型和垂直領(lǐng)域模型

魚哲：在面向各種不同行業(yè)并處理大量不同的產(chǎn)品 SKU 的情況下，我們是使用通用的大型模型，還是專門訓(xùn)練垂直領(lǐng)域的模型？如何做這方面的決策呢？

祝天剛：目前，我們采用一個(gè)通用的大型模型來支持所有商品品類。在此之前，我們?cè)鴩L試將機(jī)器人和模型分別應(yīng)用于不同品類，例如大家電、服飾、鞋靴、箱包等，但后來我們發(fā)現(xiàn)這種結(jié)構(gòu)不合理。分別為每個(gè)品類訓(xùn)練一個(gè)模型會(huì)導(dǎo)致資源浪費(fèi)，因?yàn)槠渌I(lǐng)域的模型也需要這樣的訓(xùn)練，例如搜索引擎的排序模型會(huì)面對(duì)更繁雜的品類。為了能夠適應(yīng)不同的品類，我們決定使用一個(gè)通用的大模型，這個(gè)模型需要擁有廣泛的知識(shí)范圍，以應(yīng)對(duì)各種商品品類的需求。

對(duì)于一些特定品類，它們可能有一些特殊的要求。但即使在這些特殊領(lǐng)域，我們?nèi)匀皇褂没A(chǔ)模型加上特定領(lǐng)域后處理的方式來解決，這樣可以在資源與效果之間達(dá)到一個(gè)平衡。

我們的目標(biāo)是建立一個(gè)能夠滿足電商領(lǐng)域、零售行業(yè)各種需求的大型模型，該模型在基礎(chǔ)模型的訓(xùn)練和指令微調(diào)中融入了電商數(shù)據(jù)，即京東言犀大模型，是一個(gè)產(chǎn)業(yè)大模型。

數(shù)據(jù)漂移問題

魚哲：我很關(guān)注您剛才提到了模型的更新和數(shù)據(jù)漂移的問題。因?yàn)橐坏┠Ｐ陀?xùn)練完成，它就好像是一棵成熟的白菜，總有一天會(huì)爛掉。這就導(dǎo)致了數(shù)據(jù)漂移的問題，因此需要根據(jù)新數(shù)據(jù)進(jìn)行模型的更新或微調(diào)，以更新模型的權(quán)重。在以前的系統(tǒng)中，為了追求數(shù)據(jù)的實(shí)時(shí)性，有些應(yīng)用每隔一定時(shí)間就會(huì)更新一次模型，例如每隔 15 分鐘或 30 分鐘。

對(duì)于京東這樣的平臺(tái)，要保持基礎(chǔ)模型的知識(shí)跟得上人們?nèi)找嬖鲩L的需求，這是一項(xiàng)重要的挑戰(zhàn)。我們需要不斷迭代基礎(chǔ)模型，以確保它保持最新。關(guān)于更新的周期，你們有沒有評(píng)估過多久需要迭代一次？

祝天剛：我們確保更新不僅限于基礎(chǔ)模型的更新，還包括知識(shí)庫的更新。在客服領(lǐng)域，很多答案都是基于商家的知識(shí)庫來提供的。我們的目標(biāo)是確保模型具備基本的通識(shí)能力，就像之前提到的大學(xué)生的例子，大模型就像一名大學(xué)生，我們確保它具備了閱讀理解和答題的能力。

如果我們將客服比作一個(gè)開卷考試，我們要求模型具備開卷考試的能力。我們提供一些材料，然后提出問題，模型能夠根據(jù)提供的材料給出答案。當(dāng)您提到與知識(shí)相關(guān)的更新時(shí)，這就像提供新材料給學(xué)生，只要大模型具備足夠的理解能力和答題能力，不管提供的材料如何改變，它都可以應(yīng)對(duì)。

總的來說，我們的京東言犀大模型是有產(chǎn)業(yè)相關(guān)的知識(shí)支持的，大模型在基礎(chǔ)訓(xùn)練和指令微調(diào)時(shí)會(huì)根據(jù)特定領(lǐng)域的需求進(jìn)行訓(xùn)練。而對(duì)實(shí)時(shí)的知識(shí)進(jìn)行應(yīng)答，主要表現(xiàn)在建立智能知識(shí)庫應(yīng)答上。

魚哲：我對(duì)你們的知識(shí)庫的構(gòu)建方式很感興趣。你們是使用了向量或者直接訪問數(shù)據(jù)庫等流行方法，還是采用了其他方式來進(jìn)行知識(shí)的檢索和召回工作？

祝天剛：當(dāng)我們談到知識(shí)庫時(shí)，一種現(xiàn)在流行的方式是基于向量進(jìn)行檢索，但也有傳統(tǒng)的召回方法，例如基于詞或短語的檢索，這些方法都有各自的優(yōu)缺點(diǎn)。并不是說向量檢索一定比詞語檢索好，它們各自有自己的特點(diǎn)和用途，我們現(xiàn)在采用的是二者相結(jié)合的形式，發(fā)揮他們各自特點(diǎn)的檢索方式。

模型輸出的評(píng)估難題

魚哲：在京東的智能客服領(lǐng)域，有時(shí)候可以直接生成答案并提供給用戶。然而，對(duì)于大型模型，控制其輸出通常相對(duì)困難。這帶來了模型輸出的評(píng)估難題。在如京東這樣規(guī)模龐大的環(huán)境下，如何更智能地進(jìn)行評(píng)估是一個(gè)挑戰(zhàn)。一種可能的解決方法是主觀目視檢查，即通過人工審查來判斷效果。這種方式至少在主觀上看起來準(zhǔn)確。但在像京東這樣的規(guī)模下，如何實(shí)現(xiàn)更智能的評(píng)估呢？

祝天剛：在評(píng)估大型模型時(shí)，我們需要明確評(píng)估的是什么。如果我們關(guān)注的是大模型的質(zhì)量，業(yè)界有各種已被公認(rèn)的評(píng)估方法，但這是否等同于大模型應(yīng)用的效果是值得商榷的。實(shí)際上，更重要的是進(jìn)行業(yè)務(wù)評(píng)估。客戶反饋以及運(yùn)營同學(xué)的反饋是重要的，如果他們認(rèn)為大模型提供的答案更準(zhǔn)確，那么這就是有效的評(píng)估。

在以前，業(yè)務(wù)指標(biāo)通常是以問題回答的形式來衡量，比如問題應(yīng)答覆蓋率，它衡量了用戶提出的問題中，有多少被回答了。大模型的引入不一定會(huì)導(dǎo)致這些指標(biāo)的變化，但是大模型的引入可能會(huì)為用戶提供除了答案之外的更多的原因和解釋。在這種情況下，新的指標(biāo)就需要被引入，來評(píng)估大模型帶來的變化和新的收益，以及如何滿足用戶需求。

舉例來說，如果用戶詢問水壺的容量，我們會(huì)告訴水杯容量是 1.5 升，并給出它適合幾口之家使用。然而，如果問是否適合戶外運(yùn)動(dòng)，那機(jī)器人可能在回答問題后，給出有關(guān)戶外運(yùn)動(dòng)的建議。這種大模型帶來的新的應(yīng)答方式，能額外給用戶帶來對(duì)商品特點(diǎn)的更好的理解，以滿足其需求。

大模型的成本問題

魚哲：大模型領(lǐng)域已經(jīng)出現(xiàn)了多個(gè)強(qiáng)者競逐，但選擇合適的資源和模型以滿足特定任務(wù)的需求仍然是一個(gè)具有挑戰(zhàn)性的問題。例如，相同的提示和數(shù)據(jù)集在不同的模型上可能表現(xiàn)不同，這意味著每次切換模型需要耗費(fèi)較高的適配成本。京東有沒有遇到過這樣的問題，你們是如何解決的？

祝天剛：你提到的問題確實(shí)存在。即使我們稱這些模型為“大模型”，實(shí)際上每個(gè)模型的架構(gòu)和性能都可能不同。有些模型的架構(gòu)可能是開源的，但也有一些模型并沒有公開詳細(xì)的架構(gòu)信息。同時(shí)，相同的任務(wù)在不同的模型上可能需要不同的 prompt 才能達(dá)到相同的效果，這也是常見的情況。

使用大模型在某種程度上為我們提供了更多的可能性，但也引入了更多的復(fù)雜性。為了更好地理解和利用不同類型和品牌的大模型，我們需要不斷進(jìn)行實(shí)驗(yàn)和嘗試。這需要一種靈活的方法，通過不斷試驗(yàn)來理解不同模型的特點(diǎn)和優(yōu)勢，以便在特定任務(wù)上獲得最佳性能。因此，沒有一個(gè)通用的模板或規(guī)則來告訴我們應(yīng)該使用哪個(gè)模型。這是一項(xiàng)需要根據(jù)具體任務(wù)和模型特點(diǎn)進(jìn)行實(shí)驗(yàn)和探索的工作。為了提高效率，我們需要同時(shí)了解業(yè)務(wù)需求以及大模型的性能和特點(diǎn)，以便更好地進(jìn)行任務(wù)適配和模型選擇。這需要雙向的理解和實(shí)踐。

11.11 活動(dòng)中會(huì)應(yīng)用哪些大模型產(chǎn)品

魚哲：在 11.11 這個(gè)特殊的購物節(jié)日期間，除了聊天形式，大模型在京東的應(yīng)用還涉及哪些方面？

祝天剛：除了客服領(lǐng)域，大模型還在其他方面發(fā)揮關(guān)鍵作用。例如，在營銷文案生成領(lǐng)域也用的到。為什么大模型在這個(gè)領(lǐng)域如魚得水呢？首先，我們常常將大模型稱為生成式大模型，因?yàn)樗哪Ｐ驮硖焐瞄L文本生成。因此，我們自然會(huì)嘗試在這個(gè)領(lǐng)域的應(yīng)用和探索。

以前的生成模型通常過于依賴訓(xùn)練數(shù)據(jù)。特別是在先前的序列到序列模型中，這種依賴性較為明顯。如果你考慮從事文案生成的工作，你必須明確質(zhì)量和風(fēng)格的可控性等方面的要求。這些控制能力在很大程度上受訓(xùn)練數(shù)據(jù)的質(zhì)量和規(guī)模所限制，因此，模型的性能上限直接關(guān)聯(lián)到你所擁有的訓(xùn)練數(shù)據(jù)。

現(xiàn)在的大模型具有天然的生成潛力，其基礎(chǔ)模型已經(jīng)蘊(yùn)含了廣泛的知識(shí)。大模型的參數(shù)數(shù)量巨大，蘊(yùn)含了豐富的信息，這意味著它可以在可控性和風(fēng)格等方面更加靈活。這一切都可以通過適當(dāng)?shù)闹噶顏韺?shí)現(xiàn)，大模型擅長的一個(gè)場景就是通過指令影響生成內(nèi)容，這使其成為處理文案生成等任務(wù)的理想選擇。

此外，言犀多模態(tài)數(shù)字人在電商直播場景也有很多應(yīng)用。在 11.11 期間，言犀虛擬主播已經(jīng)在超過 4000 個(gè)品牌直播間開播，基于自研電商領(lǐng)域知識(shí)增強(qiáng)模型 K-PLUG，僅需在直播后臺(tái)上傳商品鏈接，便能夠智能“閱讀”商品詳情，自動(dòng)生成更真實(shí)、生動(dòng)、可閱讀性強(qiáng)的直播文案，24h 自動(dòng)開播。

魚哲：在營銷文案生成中，是只負(fù)責(zé)生成文案，還是可能會(huì)包括生成商品的相關(guān)配圖以及整個(gè)展示區(qū)的設(shè)計(jì)呢？

祝天剛：這兩個(gè)方面是結(jié)合在一起的。既生成文案，又生成相關(guān)的圖像，但需要說明的是，圖像生成是由我的同事組負(fù)責(zé)的，而我負(fù)責(zé)生成文案。

如何應(yīng)對(duì)技術(shù)的快速迭代

魚哲：京東作為一家技術(shù)實(shí)力雄厚的公司，早在 2018 年就開始積極涉足大模型領(lǐng)域，并進(jìn)行了相關(guān)技術(shù)積累。在這段時(shí)間內(nèi)，大模型技術(shù)的認(rèn)知和應(yīng)用方式可能發(fā)生了一些變化。從 2018 年到現(xiàn)在，對(duì)大模型認(rèn)知有哪些改變？

祝天剛：京東是一家在技術(shù)領(lǐng)域擁有深厚積累的公司?；仡欉^去幾年，大模型的概念發(fā)生了顯著的變化。以下是對(duì)于大模型認(rèn)知演變的一些觀察：

參數(shù)規(guī)模定義的變化：隨著技術(shù)的進(jìn)步，對(duì)于“大模型”這一概念的認(rèn)知也發(fā)生了變化。在過去，億級(jí)別參數(shù)的模型被認(rèn)為是大模型，但隨著時(shí)間的推移，百億級(jí)、千億級(jí)參數(shù)的模型已經(jīng)成為新的標(biāo)準(zhǔn)。因此，"大"這個(gè)概念變得更加相對(duì)。

模型架構(gòu)的多樣性：大模型的架構(gòu)也在不斷演化。GPT 系列模型（decoder-only）目前是大模型的代表，但不同的研究方向和實(shí)踐也在探索其他架構(gòu)。例如，還有 encoder-decoder 型的模型，它們的參數(shù)規(guī)模和應(yīng)用也在擴(kuò)大。這表明大模型不僅局限于特定的架構(gòu)，還涵蓋了多種類型。

技術(shù)的突破和創(chuàng)新：技術(shù)領(lǐng)域不斷創(chuàng)新，包括模型訓(xùn)練的并行方式，模型推理的加速，甚至模型服務(wù)的部署等工程化問題，也在不斷法神該變化。

隨著時(shí)間的推移，大模型的認(rèn)知不僅涉及參數(shù)規(guī)模的變化，還包括模型架構(gòu)和應(yīng)用的多樣性。這種多樣性和不斷的技術(shù)進(jìn)步豐富了大模型領(lǐng)域，為不同領(lǐng)域的應(yīng)用提供了更多可能性。

魚哲：技術(shù)變化這么快，你自己是如何跟進(jìn)這些技術(shù)的？有沒有一個(gè)明確的 roadmap？

祝天剛：對(duì)于技術(shù)的持續(xù)跟進(jìn)，我認(rèn)為有一個(gè)經(jīng)典的比喻，就是技術(shù)就像你手中的工具箱。假設(shè)你工具箱里只有一把錘子，你會(huì)發(fā)現(xiàn)無論遇到什么任務(wù)，似乎都是在處理釘子。即使明明有一個(gè)需要用鋸子切斷一段木頭的任務(wù)，你仍然傾向于使用你手頭唯一的工具，也就是錘子。這種情況下，你需要不斷充實(shí)自己的技術(shù)知識(shí)，以及積極地了解業(yè)務(wù)需求，這樣你才能明智地選擇適當(dāng)?shù)墓ぞ?，無論是錘子還是鋸子。

當(dāng)你同時(shí)擁有鋸子和錘子這兩個(gè)工具時(shí)，你必須在使用哪一個(gè)工具時(shí)做出決策。這個(gè)選擇過程不僅需要技術(shù)洞察力，還需要深刻理解業(yè)務(wù)需求，以便判斷哪個(gè)工具更適合解決問題。

在跟進(jìn)技術(shù)時(shí)，我通常將業(yè)務(wù)需求放在首位，即去看到釘子和木頭，努力深入理解各種業(yè)務(wù)問題，以便更好地選擇或者豐富我的工具，即技術(shù)。同時(shí)，當(dāng)我了解到新技術(shù)時(shí)，我首先思考這個(gè)技術(shù)是什么，它的優(yōu)勢在哪里，它可以解決哪些問題，以及它是否適用于我當(dāng)前面臨的挑戰(zhàn)。

隨著我掌握了新技術(shù)，我會(huì)將其應(yīng)用于解決業(yè)務(wù)問題，有時(shí)甚至?xí)淖儐栴}的處理方式。繼續(xù)沿用剛剛的比喻，假設(shè)我們正在使用鋸子切割一段木頭，當(dāng)木頭馬上要鋸?fù)?，還剩 5% 就能斷開的時(shí)候，如果你對(duì)技術(shù)和工具非常了解，你可能會(huì)決定停止使用鋸子，而改用錘子，因?yàn)殄N子可能更快速、更有效地完成任務(wù)，而且木頭的切口也更平整。

總結(jié)來說，就是根據(jù)業(yè)務(wù)需求去探索新的技術(shù)，技術(shù)要用于解決問題；要深刻的理解業(yè)務(wù)需求和技術(shù)原理，靈活的使用技術(shù)解決業(yè)務(wù)問題。

在技術(shù)領(lǐng)域，我們必須不斷學(xué)習(xí)、跟進(jìn)新的發(fā)展?；ヂ?lián)網(wǎng)的開放性為我們提供了學(xué)習(xí)和理解技術(shù)的機(jī)會(huì)，因?yàn)榭倳?huì)有人分享清晰的技術(shù)知識(shí)，也有人不斷探索新的領(lǐng)域。我們應(yīng)該積極主動(dòng)地學(xué)習(xí)新技術(shù)。

此外，需要定期回顧自己的技術(shù)知識(shí)，確保技能保持最新，以適應(yīng)不斷演進(jìn)的技術(shù)和業(yè)務(wù)環(huán)境。業(yè)務(wù)需求應(yīng)該在技術(shù)之前，因?yàn)榧夹g(shù)是解決業(yè)務(wù)問題的工具，而不是目標(biāo)。

技術(shù)跟進(jìn)和業(yè)務(wù)理解應(yīng)該相互補(bǔ)充，構(gòu)建一個(gè)螺旋上升的學(xué)習(xí)和應(yīng)用過程。技術(shù)的選擇應(yīng)該基于深刻理解的業(yè)務(wù)需求，以確保問題得到最好的解決。

審核編輯：黃飛