1. GameGPT進(jìn)軍游戲制作，全自動(dòng)生成游戲，時(shí)間可縮百倍

原文：https://36kr.com/p/2491906953123720

不得了了！GPT技能樹(shù)再成長(zhǎng)，現(xiàn)在直接連游戲都能做了！？要知道，現(xiàn)在這個(gè)時(shí)代，已經(jīng)不是過(guò)去那個(gè)做個(gè)小游戲就可以搶占市場(chǎng)的時(shí)代了。如今的游戲開(kāi)發(fā)流程超級(jí)復(fù)雜。先說(shuō)人力，每個(gè)游戲團(tuán)隊(duì)的人員都是數(shù)以幾十甚至上百來(lái)記。有人負(fù)責(zé)編程，有人負(fù)責(zé)美工，有人負(fù)責(zé)維護(hù)，等等。每個(gè)游戲還都有龐大的代碼庫(kù)、素材庫(kù)。結(jié)果就是，開(kāi)發(fā)一款優(yōu)秀的游戲大作，需要大量人員，投入大量時(shí)間才能完成。而這個(gè)時(shí)間周期，往往要長(zhǎng)達(dá)數(shù)年。更直觀的，就是錢(qián)。游戲團(tuán)隊(duì)開(kāi)發(fā)一款能讓人們記住并且愛(ài)玩兒的大作，預(yù)算動(dòng)不動(dòng)就要超過(guò)1億美元。要不然怎么說(shuō)，游戲制作算是一種用愛(ài)發(fā)電呢。現(xiàn)在，情況有變！有研究人員開(kāi)發(fā)了一個(gè)叫GameGPT的模型，GameGPT可以整合多個(gè)AI智能體（agent）來(lái)自動(dòng)完成游戲開(kāi)發(fā)中的部分流程。而不同的智能體各司其職，工作起來(lái)井井有條。有智能體負(fù)責(zé)審查游戲的設(shè)計(jì)計(jì)劃，并進(jìn)行相應(yīng)的修改和調(diào)整；有的負(fù)責(zé)將任務(wù)轉(zhuǎn)化為具體的代碼；有的負(fù)責(zé)對(duì)上一步生成的代碼進(jìn)行檢查，對(duì)運(yùn)行結(jié)果進(jìn)行審核；還有智能體負(fù)責(zé)驗(yàn)證全部的工作是否符合初始預(yù)期。

如此這般，通過(guò)細(xì)化分解工作流程，GameGPT就可以簡(jiǎn)化AI智能體的工作。這種各司其職會(huì)更加有效率，實(shí)現(xiàn)起來(lái)也比一個(gè)全能型的智能體完成一切要簡(jiǎn)單得多。研究人員表示，GameGPT可以簡(jiǎn)化傳統(tǒng)游戲開(kāi)發(fā)流程中一些重復(fù)和死板的內(nèi)容，比如代碼測(cè)試。大量開(kāi)發(fā)人員就可以從繁雜的檢驗(yàn)工作中解放出來(lái)，專注于AI所不能替代的，更有挑戰(zhàn)性的設(shè)計(jì)環(huán)節(jié)。當(dāng)然，這篇論文目前還處于一個(gè)比較初步的階段。目前還沒(méi)有任何具體的結(jié)果或者實(shí)驗(yàn)來(lái)證明性能上的提高。換句話說(shuō)，還沒(méi)人用GameGPT真的開(kāi)發(fā)過(guò)游戲，這個(gè)模型目前還處在概念形成階段，在有具體的應(yīng)用結(jié)果以及可量化的數(shù)據(jù)之前，咱也不好評(píng)估。不過(guò)，總歸是個(gè)努力的方向。有網(wǎng)友表示，人們對(duì)LLM的想法是有一定偏差的?，F(xiàn)在，研究人員有了一種能夠100%解決NLP問(wèn)題的工具，而人們卻只關(guān)心如何實(shí)現(xiàn)某些工作流程的自動(dòng)化。舉例來(lái)說(shuō)，想象一下如果游戲世界對(duì)你的決定做出的反應(yīng)，要比你在五分鐘內(nèi)判斷出基于規(guī)則的硬編碼引擎的反應(yīng)更正常，那將會(huì)是怎樣的情景。再想象一下，如果一款游戲能根據(jù)你做出的決定（比如在路上隨機(jī)屠殺你看到的敵人等），為你臨時(shí)安排一些支線任務(wù)，那會(huì)是什么場(chǎng)景。而開(kāi)發(fā)者在創(chuàng)建這樣一個(gè)系統(tǒng)時(shí)，會(huì)使用提示工程來(lái)指導(dǎo)LLM，而不是編碼這些東西。但是，這樣做的目的不是為了節(jié)省成本，而是為了在以前無(wú)法制作更多游戲的階段制作游戲（是不是有點(diǎn)拗口）。GameGPT首先，讓我們來(lái)看看GameGPT模型的大框架——全流程。

可以看到，作者將每個(gè)智能體擬人化，更生動(dòng)地展示了他們是如何各司其職的。流程最左側(cè)是用戶端，向GameGPT輸入prompt，然后開(kāi)發(fā)經(jīng)理和審核進(jìn)行初步計(jì)劃。接著，再把需求發(fā)送給開(kāi)發(fā)工程師，以及游戲引擎工程師，來(lái)執(zhí)行具體的任務(wù)，生成代碼。最后檢查一下有沒(méi)有遺漏，有的話發(fā)回左側(cè)，再跑一遍。沒(méi)有就繼續(xù)向右，由負(fù)責(zé)檢查的工程師來(lái)進(jìn)行testing。AI開(kāi)發(fā)游戲？？實(shí)際上，AI開(kāi)發(fā)游戲歷史的雛形也許可以追溯到更早。AI在游戲開(kāi)發(fā)中的應(yīng)用可以追溯到「星際爭(zhēng)霸」和「暗黑破壞神」等經(jīng)典游戲。在當(dāng)時(shí)，開(kāi)發(fā)人員需要用AI系統(tǒng)來(lái)制作交互式的虛擬世界和角色。而這些系統(tǒng)已成為此類互動(dòng)平臺(tái)開(kāi)發(fā)的標(biāo)準(zhǔn)配置。早期和游戲開(kāi)發(fā)AI相關(guān)的研究強(qiáng)調(diào)控制非玩家的角色（NPC），而隨著自然語(yǔ)言處理（NLP）技術(shù)的發(fā)展，出現(xiàn)了一些利用深度學(xué)習(xí)技術(shù)生成關(guān)卡的開(kāi)創(chuàng)性工作。其中代表作是MarioGPT，它通過(guò)微調(diào)的GPT-2模型成功生成了「超級(jí)馬里奧兄弟」中的部分關(guān)卡。而眾所周知，LLM又在今年取得了巨大進(jìn)步，在NLP和計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域都取得了不錯(cuò)的成績(jī)。我們知道，LLM的訓(xùn)練是一個(gè)多階段的過(guò)程。初始階段包括在廣泛的語(yǔ)料庫(kù)中訓(xùn)練這些模型，促進(jìn)基本語(yǔ)言能力的獲得。隨后就是更重要的階段了，通過(guò)指令（instruction）生成各種NLP任務(wù)的數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。這種指令調(diào)整，增強(qiáng)了模型在廣泛應(yīng)用中的泛化能力，從而可以讓LLM能夠在之前訓(xùn)練中沒(méi)有執(zhí)行過(guò)的任務(wù)中取得零誤差的性能。最后，人類反饋強(qiáng)化學(xué)習(xí)（RLHF）階段保證了模型的結(jié)構(gòu)完整性和可靠性。

這里還有一點(diǎn)需要注意——RLHF階段能讓模型生成模仿人類風(fēng)格的內(nèi)容，從而增強(qiáng)其作為智能體的多功能性。此外，LLM的進(jìn)步還促進(jìn)了智能體在軟件開(kāi)發(fā)過(guò)程中的自動(dòng)化。許多研究都曾經(jīng)把目光放在過(guò)這個(gè)問(wèn)題上——如何開(kāi)發(fā)一個(gè)基于LLM的智能體，用來(lái)執(zhí)行不同的任務(wù)。比方說(shuō)AutoGPT就曾經(jīng)采用LLM智能體來(lái)處理現(xiàn)實(shí)世界中的某些決策任務(wù)，而HuggingGPT則采用的是單個(gè)LLM作為一種控制器，來(lái)協(xié)調(diào)完成更加復(fù)雜的AI任務(wù)。雖說(shuō)這些方法都依賴于唯一的LLM智能體，但它們都加入了一個(gè)審核者（就是上面流程圖里的reviewer）來(lái)完善決策。還是拿AutoGPT舉例，模型會(huì)從監(jiān)督學(xué)習(xí)器中獲取一些輔助性的意見(jiàn)來(lái)提高自身性能，HuggingGPT也可以接入GPT-4，弄成一個(gè)reviewer，來(lái)評(píng)估決策的準(zhǔn)確性。還有一些別的例子，比方說(shuō)MetaGPT就引入了一個(gè)多智能體框架，可以用于各種軟件的自動(dòng)化開(kāi)發(fā)。而回到我們今天討論的游戲開(kāi)發(fā)，我們要知道，與一般的軟件開(kāi)發(fā)不同，游戲開(kāi)發(fā)行業(yè)的運(yùn)作需要緊跟潮流，因此整個(gè)開(kāi)發(fā)過(guò)程必須更加精確和簡(jiǎn)潔，以達(dá)到最佳效率。此外，在沒(méi)有幻覺(jué)和高精度的情況下，調(diào)整和使用單個(gè)LLM來(lái)服務(wù)于游戲開(kāi)發(fā)的整個(gè)開(kāi)發(fā)周期是不切實(shí)際的，而且成本高昂。因此，游戲開(kāi)發(fā)AI的框架需要多個(gè)reviewer參與，這樣就能有效緩解語(yǔ)言模型所固有的幻覺(jué)傾向。研究人員還發(fā)現(xiàn)，在游戲開(kāi)發(fā)中，語(yǔ)言模型還有另一個(gè)局限性——冗余性。LLM在游戲生成時(shí)，可能會(huì)生成不必要的、無(wú)信息量的任務(wù)或代碼片段。為了有效解決幻覺(jué)和冗余問(wèn)題，今天的主角——GameGPT戰(zhàn)略性地采用了多種方法來(lái)解決這個(gè)問(wèn)題，包括雙重協(xié)作、通過(guò)內(nèi)部詞匯庫(kù)進(jìn)行指令調(diào)整以及代碼的解耦。值得我們關(guān)注的是，雙重協(xié)作涉及到LLM與小型深度學(xué)習(xí)模型之間的互動(dòng)，以及負(fù)責(zé)執(zhí)行的智能體與reviewer智能體之間的協(xié)作參與。研究人員表示，這些協(xié)同作用已被證明，在減輕GameGPT的幻覺(jué)和冗余方面是有效的。方法介紹接下來(lái)，研究人員從全流程剖析一下GameGPT的創(chuàng)新。首先，在游戲設(shè)計(jì)階段，在收到用戶請(qǐng)求后，GameGPT的任務(wù)包括生成整個(gè)游戲的開(kāi)發(fā)計(jì)劃。這個(gè)計(jì)劃階段是關(guān)鍵步驟之一，極大地影響了整個(gè)開(kāi)發(fā)過(guò)程的無(wú)縫進(jìn)展。這個(gè)階段由基于LLM的游戲開(kāi)發(fā)經(jīng)理策劃，先提出一個(gè)初始計(jì)劃，隨后分解成任務(wù)列表。值得注意的是，由于LLM固有的局限性，這個(gè)初始計(jì)劃經(jīng)常會(huì)出現(xiàn)幻覺(jué)，從而產(chǎn)生意想不到的任務(wù)，包括沒(méi)有信息或不必要的冗余任務(wù)。為了應(yīng)對(duì)這些問(wèn)題，研究人員提出了四項(xiàng)可以減輕這些難題的策略，這四種策略相互正交的，并且可以分層執(zhí)行以獲得更好的效果。方案一：對(duì)傳入請(qǐng)求進(jìn)行分類，目的是辨別游戲的類型。目前，GameGPT框架支持五種不同游戲類型的開(kāi)發(fā)，即:動(dòng)作、策略、角色扮演、模擬和冒險(xiǎn)。對(duì)于每種類型，研究人員都會(huì)提供標(biāo)準(zhǔn)化的計(jì)劃模板，指導(dǎo)游戲開(kāi)發(fā)經(jīng)理智能體使用相關(guān)信息完成模板。通過(guò)采用這種方法，冗余任務(wù)的頻率顯著降低，同時(shí)減少了幻覺(jué)發(fā)生的可能性。策略二：涉及計(jì)劃審查員智能體的參與，這是另一個(gè)基于LLM的代理。這個(gè)智能體通過(guò)精心設(shè)計(jì)的prompt進(jìn)行操作，以此來(lái)對(duì)任務(wù)計(jì)劃進(jìn)行全面的審查。它的主要目標(biāo)是盡量減少幻覺(jué)和冗余的發(fā)生。該智能體評(píng)估計(jì)劃并提供反饋，旨在改進(jìn)并提高其準(zhǔn)確性、效率和簡(jiǎn)潔性。同時(shí)，這一部分生成的指令可以作為游戲開(kāi)發(fā)經(jīng)理智能體的新輸入，使任務(wù)計(jì)劃更加準(zhǔn)確和完善。策略三：通過(guò)專門(mén)的指令來(lái)調(diào)整游戲開(kāi)發(fā)經(jīng)理智能體的LLM本身，以便更好的進(jìn)行游戲開(kāi)發(fā)層面的規(guī)劃。這個(gè)微調(diào)過(guò)程的目的就是讓模型能生成一個(gè)既準(zhǔn)確又簡(jiǎn)潔的計(jì)劃。為了方便起見(jiàn)，研究團(tuán)隊(duì)收集并整合了一個(gè)內(nèi)部數(shù)據(jù)集，其中包括許多輸入輸出的搭配。雖然這些組合在長(zhǎng)度或結(jié)構(gòu)上不符合標(biāo)準(zhǔn)格式，但它們都圍繞著游戲開(kāi)發(fā)的要求。這部分固定搭配由業(yè)內(nèi)的開(kāi)發(fā)人員提供。通過(guò)采用這種方法，研究人員有效地彌合了LLM的一般語(yǔ)言能力與游戲開(kāi)發(fā)規(guī)劃能力之間的差距。策略四：規(guī)劃階段的「安全網(wǎng)」。在整個(gè)計(jì)劃過(guò)程中，游戲開(kāi)發(fā)經(jīng)理智能體始終在前端界面上與用戶分享中期結(jié)果，使其余的智能體能夠隨時(shí)了解正在進(jìn)行的開(kāi)發(fā)是什么。為了增強(qiáng)這一點(diǎn)，研究人員集成了一種交互式方法，使用戶能夠根據(jù)他們的期望積極地審查、糾正和增強(qiáng)計(jì)劃。這種方法也保證了設(shè)計(jì)計(jì)劃和用戶需求之間的一致性。說(shuō)完了這些策略，我們來(lái)看看GameGPT的優(yōu)越性。

首先，這個(gè)模型中的任務(wù)分類過(guò)程要求在識(shí)別任務(wù)類型及其對(duì)應(yīng)參數(shù)方面具有很高的準(zhǔn)確性。因此，研究人員為了確保這一階段的準(zhǔn)確性，創(chuàng)建了一個(gè)名為游戲開(kāi)發(fā)工程師的智能體。該智能體由兩個(gè)模型共同組成，它們協(xié)同參與任務(wù)分類的流程。這種協(xié)作方法提高了任務(wù)識(shí)別的準(zhǔn)確性和有效性。同時(shí)為了避免LLM幻覺(jué)的出現(xiàn)，提高任務(wù)分類的準(zhǔn)確性，研究人員提供了游戲開(kāi)發(fā)中可能出現(xiàn)的任務(wù)類型列表。為了對(duì)此進(jìn)行更好的分類，他們采用了BERT模型。BERT模型已經(jīng)用內(nèi)部數(shù)據(jù)集進(jìn)行了完整的訓(xùn)練。該數(shù)據(jù)集包含針對(duì)游戲開(kāi)發(fā)任務(wù)所量身定制的各項(xiàng)數(shù)據(jù)條目。而輸入則是從預(yù)定列表中繪制任務(wù)，而輸出對(duì)應(yīng)的則是任務(wù)的指定類別。任務(wù)類型和參數(shù)的審閱都在這個(gè)階段進(jìn)行，引入一個(gè)叫做任務(wù)審閱人員的智能體，主要負(fù)責(zé)每個(gè)類別的識(shí)別和參數(shù)是否合理。評(píng)審（review）的過(guò)程包括審核任務(wù)類型是否在預(yù)定范圍內(nèi)，是否是最適合的任務(wù)。同時(shí)，它還會(huì)檢查參數(shù)列表，看看它是否與任務(wù)一致。某些場(chǎng)景下，比如一些基于上下文任務(wù)信息的，或者用戶請(qǐng)求無(wú)法推斷參數(shù)的情況，GameGPT采用了一種主動(dòng)的方法來(lái)解決。Reviewer通過(guò)在前端界面上啟動(dòng)提示，并請(qǐng)求參數(shù)所需的附加信息來(lái)吸引用戶注意。這種交互方法的好處在于，即使在自動(dòng)推理不足的情況下也能確保論證細(xì)節(jié)的完整性。此外，還有另一個(gè)智能體負(fù)責(zé)識(shí)別任務(wù)之間的依賴關(guān)系，并構(gòu)造一個(gè)封裝這些關(guān)系的圖表。在建立該圖之后，再采用算法來(lái)對(duì)該圖進(jìn)行遍歷篩選，由此產(chǎn)生一個(gè)確定的任務(wù)執(zhí)行順序。這個(gè)過(guò)程確保了模型可以按照任務(wù)的依賴關(guān)系有序和系統(tǒng)地執(zhí)行，從而產(chǎn)生連貫和結(jié)構(gòu)化的開(kāi)發(fā)流程。另一個(gè)問(wèn)題是，使用LLM生成冗長(zhǎng)的代碼會(huì)帶來(lái)更大的幻覺(jué)和出現(xiàn)冗余的風(fēng)險(xiǎn)。為了解決這個(gè)問(wèn)題，研究人員引入了一種新的方法來(lái)解耦游戲設(shè)計(jì)中出現(xiàn)的代碼，簡(jiǎn)化了LLM的推理過(guò)程，從而極大程度減輕了幻覺(jué)和冗余。這個(gè)方法也并不難理解——研究人員會(huì)將預(yù)期的腳本劃分為許多長(zhǎng)度更短的代碼片段，以供LLM處理。這種解耦方法大大簡(jiǎn)化了LLM的工作。還有一種叫做上下文學(xué)習(xí)的有效推理方法，也可以有效地減輕幻覺(jué)。此外，GameGPT中應(yīng)用的另一種消除幻覺(jué)的技術(shù)，包括為每個(gè)任務(wù)生成一組K個(gè)代碼的代碼片段。這些代碼片段隨后會(huì)在虛擬環(huán)境中進(jìn)行測(cè)試，并同時(shí)呈現(xiàn)給用戶。測(cè)試過(guò)程和用戶反饋都被用來(lái)識(shí)別和消除有問(wèn)題的代碼片段，最終只留下最可行的選項(xiàng)來(lái)執(zhí)行。這種方法同樣有助于進(jìn)一步減少幻覺(jué)的發(fā)生。此外，研究人員還有一個(gè)內(nèi)部的庫(kù)，包含為游戲開(kāi)發(fā)設(shè)計(jì)的大量代碼片段。每一個(gè)代碼片段都由標(biāo)簽器進(jìn)行了注釋，提供了明確說(shuō)明其預(yù)期目的的說(shuō)明。概括一下就是，為了讓代碼不冗余，不幻覺(jué)，開(kāi)發(fā)人員做了兩手準(zhǔn)備，事前的和事中的。同時(shí)，上面提到的這個(gè)庫(kù)也是對(duì)模型進(jìn)行微調(diào)的寶貴資源。代碼審查和改進(jìn)在游戲引擎智能體生成代碼之后，代碼審查智能體會(huì)對(duì)代碼庫(kù)進(jìn)行徹底的審查和檢查。該智能體會(huì)進(jìn)行全面的評(píng)估，努力找出任何可能會(huì)偏離原始請(qǐng)求的實(shí)例，或代碼中出現(xiàn)的意外幻覺(jué)。經(jīng)過(guò)徹底的審查，智能體不僅能標(biāo)記出潛在的差異，而且還能據(jù)此提供改進(jìn)代碼的建議，最終產(chǎn)生更為合理的版本。在審查過(guò)程之后，修改后的代碼以及智能體的反饋都將通過(guò)前端界面與游戲引擎工程師智能體和用戶共享。如果用戶認(rèn)為有必要，可以直接通過(guò)前端界面提供代碼修改建議。之后這些建議會(huì)繼續(xù)傳遞給代碼審查智能體，它會(huì)進(jìn)行評(píng)估，并有選擇性的合并這些建議，從而進(jìn)一步生成一種協(xié)作和迭代的方法來(lái)增強(qiáng)代碼。最后，一旦代碼生成完畢，該干的也都干完了，責(zé)任就落到了游戲引擎測(cè)試智能體的身上，由這個(gè)智能體來(lái)負(fù)責(zé)執(zhí)行生成的代碼。在這一階段，該智能體還會(huì)遵循在前一階段所制定的執(zhí)行順序。具體的執(zhí)行過(guò)程包括將每個(gè)單獨(dú)任務(wù)的代碼發(fā)送到游戲引擎，進(jìn)行執(zhí)行，并在執(zhí)行期間持續(xù)跟蹤，生成日志。在完成執(zhí)行序列中指定的所有任務(wù)后，智能體會(huì)合并整個(gè)執(zhí)行過(guò)程中生成的所有日志。最終，這種編譯生成了一個(gè)簡(jiǎn)潔而全面的摘要，再通過(guò)前端界面呈現(xiàn)給用戶。此外，測(cè)試工程師智能體還會(huì)識(shí)別并報(bào)告在執(zhí)行過(guò)程中觀察到的任何回溯情況的出現(xiàn)。這些回溯會(huì)作為關(guān)鍵的指示器，指示AI對(duì)執(zhí)行流程或代碼進(jìn)行更進(jìn)一步的調(diào)整，使整個(gè)過(guò)程得以細(xì)化，并有助于生成一個(gè)完美的最終產(chǎn)品。最后，再來(lái)看下多個(gè)代理同時(shí)工作的框架公式：首先，在GameGPT中，每個(gè)代理都有一個(gè)私有的記憶系統(tǒng)，并且它們可以訪問(wèn)共享的公共內(nèi)容，以獲取必要的信息來(lái)指導(dǎo)其決策過(guò)程。對(duì)于時(shí)間步長(zhǎng)為t的代理i來(lái)說(shuō)，這一過(guò)程可表示為：

其中pθi對(duì)應(yīng)的是和代理i相關(guān)的LLM或?qū)＜夷Ｐ?，Oit表示代理i在時(shí)間步長(zhǎng)為t時(shí)的產(chǎn)出或可交付成果，Mit和Pt分別指截至?xí)r間步長(zhǎng)t內(nèi)，所有的私人記憶和必要的公共記錄。由于游戲開(kāi)發(fā)行業(yè)的特殊性和大語(yǔ)言模型的局限性，在GameGPT中，具有不同角色的多個(gè)代理的存在至關(guān)重要。鑒于游戲開(kāi)發(fā)周期通常長(zhǎng)達(dá)數(shù)月，如果只依賴一個(gè)擁有全面記憶和上下文信息的單個(gè)代理，語(yǔ)言模型（包括LLM）的效率將大打折扣。而隨著時(shí)間的推移，項(xiàng)目變得越來(lái)越復(fù)雜，這種方法也會(huì)帶來(lái)可擴(kuò)展性方面的挑戰(zhàn)。此外，考慮到LLM所處理的標(biāo)記數(shù)量的限制，在大型游戲開(kāi)發(fā)項(xiàng)目中使用具有全面內(nèi)存的單獨(dú)代理并不實(shí)用。還有，在LLMs中觀察到的幻覺(jué)和冗余等固有問(wèn)題凸顯了多個(gè)代理之間協(xié)作的重要性，尤其是那些具有批判性角色的代理。這種協(xié)作對(duì)于減輕LLM幻覺(jué)和冗余帶來(lái)的挑戰(zhàn)意義重大。因此，GameGPT才利用一系列不同的角色來(lái)促進(jìn)其運(yùn)作，包括整個(gè)游戲開(kāi)發(fā)周期的職責(zé)。這些角色包括上文提到的游戲內(nèi)容設(shè)計(jì)師、游戲開(kāi)發(fā)經(jīng)理、計(jì)劃審核員、游戲開(kāi)發(fā)工程師、任務(wù)審核員，還有游戲引擎工程師、代碼審核員和游戲引擎測(cè)試工程師。在整個(gè)游戲開(kāi)發(fā)過(guò)程中，每個(gè)角色都承擔(dān)著不同的任務(wù)。參考資料：https://arxiv.org/pdf/2310.08067.pdf

2. 美國(guó)出口管制影響英偉達(dá)AI芯片業(yè)務(wù)，對(duì)全球AI市場(chǎng)產(chǎn)生深遠(yuǎn)影響

原文：https://www.sohu.com/a/731453805_121411737

10月25日，全球領(lǐng)先的圖形處理器和人工智能（AI）技術(shù)巨頭英偉達(dá)（NASDAQ: NVDA）在向美國(guó)證券交易委員會(huì)（SEC）遞交的一份文件中披露，美國(guó)政府已通知公司，針對(duì)適用于總處理性能大于等于4800TTP并為數(shù)據(jù)中心設(shè)計(jì)或銷售的產(chǎn)品的相關(guān)出口管制立即生效。這一新政策將直接影響英偉達(dá)的A100、A800、H100、H800和L40S產(chǎn)品。

首先，從宏觀經(jīng)濟(jì)角度看，美國(guó)的出口管制政策將對(duì)全球AI市場(chǎng)產(chǎn)生深遠(yuǎn)影響。英偉達(dá)作為全球最大的AI芯片供應(yīng)商之一，其產(chǎn)品在全球范圍內(nèi)廣泛應(yīng)用，包括云計(jì)算、大數(shù)據(jù)處理、自動(dòng)駕駛等多個(gè)領(lǐng)域。此次出口管制政策的實(shí)施，無(wú)疑將對(duì)全球AI市場(chǎng)的供應(yīng)鏈造成一定沖擊，可能導(dǎo)致相關(guān)產(chǎn)品的供應(yīng)短缺，進(jìn)而推高價(jià)格。

其次，從行業(yè)競(jìng)爭(zhēng)角度看，美國(guó)的出口管制政策可能會(huì)改變?nèi)駻I芯片市場(chǎng)的競(jìng)爭(zhēng)格局。由于英偉達(dá)的產(chǎn)品在全球市場(chǎng)上具有領(lǐng)先地位，其他競(jìng)爭(zhēng)對(duì)手可能會(huì)借此機(jī)會(huì)提升自身的市場(chǎng)份額。然而，這也取決于這些競(jìng)爭(zhēng)對(duì)手是否有足夠的技術(shù)和生產(chǎn)能力來(lái)填補(bǔ)英偉達(dá)產(chǎn)品的空缺。再次，從英偉達(dá)自身角度看，美國(guó)的出口管制政策將對(duì)其業(yè)務(wù)發(fā)展產(chǎn)生重大影響。一方面，由于出口管制，英偉達(dá)的部分產(chǎn)品可能無(wú)法進(jìn)入某些市場(chǎng)，從而影響其全球業(yè)務(wù)的擴(kuò)張。另一方面，由于供應(yīng)短缺，英偉達(dá)的產(chǎn)品可能會(huì)出現(xiàn)價(jià)格上漲，這可能會(huì)影響其在全球市場(chǎng)上的競(jìng)爭(zhēng)力。總的來(lái)說(shuō)，美國(guó)的出口管制政策將對(duì)全球AI市場(chǎng)、行業(yè)競(jìng)爭(zhēng)格局以及英偉達(dá)自身的業(yè)務(wù)發(fā)展產(chǎn)生深遠(yuǎn)影響。未來(lái)，市場(chǎng)將密切關(guān)注這一政策的進(jìn)一步動(dòng)態(tài)以及英偉達(dá)的應(yīng)對(duì)策略。

3. Jina AI 推出全球首個(gè)開(kāi)源 8K 文本嵌入模型，號(hào)稱“超越 OpenAI”

原文：https://www.ithome.com/0/727/817.htm

IT之家 10 月 26 日消息，Jina AI 在其官網(wǎng)發(fā)布新聞稿，宣布推出 jina-embeddings-v2 模型，號(hào)稱是目前是唯一支持 8K（8192 個(gè) token）上下文長(zhǎng)度的開(kāi)源產(chǎn)品，在功能和性能上與 OpenAI 的 text-embedding-ada-002 類似。在大規(guī)模文本嵌入基準(zhǔn) (MTEB) 排行榜方面，IT之家發(fā)現(xiàn)，官方進(jìn)行如下解釋：

與 OpenAI 的 8K 模型 text-embedding-ada-002 進(jìn)行比較，jina-embedding-v2 在分類平均值、重排平均值、檢索平均值和摘要平均值方面均優(yōu)于 OpenAI 的 text-embedding-ada-002。

官方表示，jina-embeddings-v2 模型，是從頭開(kāi)始構(gòu)建的。在過(guò)去的三個(gè)月里，Jina AI 團(tuán)隊(duì)進(jìn)行了密集研發(fā)、數(shù)據(jù)收集和調(diào)整。Jina AI 同時(shí)聲稱， jina-embeddings-v2 8K 的上下文長(zhǎng)度有利于以下應(yīng)用場(chǎng)景：

法律文件分析：確保對(duì)大量法律文本中的每一個(gè)細(xì)節(jié)進(jìn)行捕捉和分析。醫(yī)學(xué)研究：為了進(jìn)行高級(jí)分析和發(fā)現(xiàn)，全面地嵌入科學(xué)論文。文學(xué)分析：深入研究長(zhǎng)篇內(nèi)容，捕捉微妙的主題元素。財(cái)務(wù)預(yù)測(cè)：通過(guò)詳細(xì)的財(cái)務(wù)報(bào)告獲得卓越的洞察力。會(huì)話式 AI：提升聊天機(jī)器人對(duì)復(fù)雜用戶查詢的響應(yīng)能力。

4. 訊飛星火 V3.0：給 AI 注入靈魂，“哪吒”“諸葛亮”多種人設(shè)可定制

原文：https://www.ithome.com/0/727/814.htm

對(duì)開(kāi)發(fā)者而言，1024 是計(jì)算機(jī)操作系統(tǒng)的進(jìn)程單位，也是程序員們的特殊紀(jì)念日。在 10 月 24 日這一天，科大訊飛全球 1024 開(kāi)發(fā)者節(jié)在合肥拉開(kāi)帷幕。但與往年不同的是，今年隨著 AIGC 浪潮席卷全球，科大訊飛率先投身大模型研發(fā)領(lǐng)域，并在“1024”這一天發(fā)布了足以匹敵 ChatGPT 的星火認(rèn)知大模型 V3.0（簡(jiǎn)稱“星火 V3.0）。熟悉星火大模型的用戶都知道，早在 5 月 6 日星火“首發(fā)”時(shí)，科大訊飛董事長(zhǎng)劉慶峰就給出了年內(nèi)的三大迭代“時(shí)間表”。其中 10 月 24 日分量最重，關(guān)注度最高，因?yàn)樾腔饘⑾?ChatGPT 發(fā)起挑戰(zhàn)。在星火 V3.0 發(fā)布會(huì)上，劉慶峰表示：“自訊飛星火發(fā)布以來(lái)，代碼能力持續(xù)升級(jí)，星火 3.0 已基本整體超越 ChatGPT，正在追趕 GPT-4”。

是什么給了星火超越 ChatGPT 的“底氣”？那就是技術(shù)端的穩(wěn)步迭代，應(yīng)用端的百花齊放。早在 5 月 6 日首場(chǎng)發(fā)布會(huì)上，訊飛就引入認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室牽頭設(shè)計(jì)的標(biāo)準(zhǔn)化評(píng)測(cè)體系，通過(guò)對(duì)影響大模型聰明度的七大能力分項(xiàng)考核，實(shí)現(xiàn)對(duì)星火大模型能力的通盤(pán)評(píng)估。依托這套評(píng)測(cè)體系構(gòu)建的測(cè)試集，星火 V3.0 七大能力持續(xù)提升，其中代碼能力、語(yǔ)言理解、邏輯推理與 AI 人設(shè)重點(diǎn)升級(jí)，而這也是決定大模型“聰明與否”的關(guān)鍵能力。因此，星火 V3.0 在中文能力客觀評(píng)測(cè)層面超越了 ChatGPT，在英文能力對(duì)標(biāo) ChtaGPT 48 項(xiàng)任務(wù)結(jié)果相當(dāng)，兌現(xiàn)了“中文超越、英文相當(dāng)”的諾言。據(jù)國(guó)務(wù)院發(fā)展研究中心國(guó)研經(jīng)濟(jì)研究院的測(cè)評(píng)報(bào)告，星火 V3.0 不僅綜合能力超越 ChtaGPT，達(dá)到國(guó)內(nèi)領(lǐng)先、國(guó)際一流水平，更在醫(yī)、法、教等諸多行業(yè)表現(xiàn)突出。

在應(yīng)用端，星火大模型以“小助手”形態(tài)深入行業(yè)、遍地開(kāi)花，現(xiàn)有的 15000 + 助手開(kāi)發(fā)者，已開(kāi)發(fā)出 29000 + 助手應(yīng)用，這些都是靈感匯聚的窗口。但之前星火小助手還缺乏靈魂，也就是我們常說(shuō)的“人格化”，而此次星火 V3.0 就完美補(bǔ)齊了這個(gè)短板。在訊飛研究院院長(zhǎng)劉聰?shù)难菔鞠拢摂M人格應(yīng)用“星火友伴”成為了全場(chǎng)最靚的仔。劉聰通過(guò)對(duì)星火賦予“哪吒”和“諸葛孔明”的人設(shè)，瞬間讓字里行間充滿人格魅力。諸如哪吒三太子標(biāo)志性的“我命由我不由天”的口頭禪，以及諸葛亮評(píng)定大模型可助主公解惑、亦可用于治國(guó)安邦的評(píng)語(yǔ)，都結(jié)合了人物的歷史背景和表達(dá)習(xí)慣，讓溝通充滿人情味。除了通用智能應(yīng)用端，星火還持續(xù)賦能千行百業(yè)，尤其是被譽(yù)為現(xiàn)代文明基石的工業(yè)。根據(jù)數(shù)據(jù)顯示，中國(guó)約有 800 萬(wàn)軟件從業(yè)人員，2022 年軟件業(yè)務(wù)收入 10.8 萬(wàn)億元，占 GDP 比重高達(dá) 8.93%，2028 年預(yù)測(cè)將達(dá)到 20 萬(wàn)億，因此大模型賦能工業(yè)首先要賦能代碼。這次，星火 V3.0 帶來(lái)了進(jìn)一步升級(jí)的智能編程助手 iFlyCode 2.0，根據(jù)訊飛內(nèi)部項(xiàng)目應(yīng)用實(shí)踐統(tǒng)計(jì)，其在設(shè)計(jì)、編碼和自測(cè)三大階段的提效幅度分別達(dá)到 50%、37% 和 44%。而在對(duì)外數(shù)據(jù)上，iFlyCode 應(yīng)用在“智慧課堂”的產(chǎn)品跨平臺(tái)改造中，將傳統(tǒng)開(kāi)發(fā)方式所需 3 個(gè)月的耗時(shí)，直接縮短至 1 個(gè)月。目前，iFlyCode 在京東云、軟通動(dòng)力等 107 家機(jī)構(gòu)實(shí)現(xiàn)深度對(duì)接應(yīng)用。

對(duì)訊飛而言，賦能教育也是星火自誕生以來(lái)的堅(jiān)定方向。這次星火 V3.0 帶來(lái)了 AI 心理伙伴，通過(guò)多模態(tài)情感識(shí)別、共情表達(dá)、尋因式提問(wèn)、個(gè)性化心理指導(dǎo)四大能力，幫助青少年排憂解難，疏導(dǎo)心理。星火 V3.0 還帶來(lái)了啟發(fā)互動(dòng)式英語(yǔ) AI 答疑輔學(xué)，通過(guò)引導(dǎo)式提問(wèn)、個(gè)性化解答和探究式互動(dòng)學(xué)習(xí)，激發(fā)孩子的探究欲，讓他們從厭學(xué)變成想學(xué)。據(jù)悉，科大訊飛 AI 學(xué)習(xí)機(jī) T20 系列、Lumie 系列將在 11 月 1 日期開(kāi)啟免費(fèi)升級(jí)。從外行不看好，到同行趕不上，星火 V3.0 一步一個(gè)腳印朝著趕超 ChatGPT 的目標(biāo)不斷前進(jìn)。但劉慶峰也清醒的意識(shí)到國(guó)產(chǎn)大模型與 GPT-4 的差距，他表示：“國(guó)產(chǎn)大模型在復(fù)雜知識(shí)推理、小樣本快速學(xué)習(xí)、超長(zhǎng)文本處理、跨模態(tài)統(tǒng)一理解上距 GPT4 還有差距。”但既然找到問(wèn)題所在，星火不斷查漏補(bǔ)缺，總有一天會(huì)實(shí)現(xiàn)對(duì) GPT-4 的追趕。

出于對(duì)大模型原研技術(shù)的自信，劉慶峰給出了星火對(duì)標(biāo) GPT-4 的時(shí)間點(diǎn)，當(dāng)大屏幕上出現(xiàn)“2024 年上半年”的時(shí)候，無(wú)論是線下的來(lái)賓還是線上的觀眾都備受鼓舞。隨著以訊飛星火大模型為代表的第一梯隊(duì)的不斷追趕，中國(guó)自己的大模型將屹立于世界舞臺(tái)，與 ChatGPT 在切磋較量中而占據(jù)上風(fēng)！

5. 生成式AI落地，高通向上突圍

原文：https://www.sohu.com/a/731277316_100106801

10月25日，高通公司召開(kāi)2023驍龍峰會(huì)，正式發(fā)布了全新第三代驍龍8移動(dòng)平臺(tái)、驍龍X Elite、第一代無(wú)線音頻平臺(tái)S7系列，以及跨終端制造商和操作系統(tǒng)（OS）實(shí)現(xiàn)多終端無(wú)縫協(xié)作的Snapdragon Seamless。作為峰會(huì)重頭戲，驍龍8 Gen 3基于臺(tái)積電N4P工藝制程打造，采用了1+5+2的全新架構(gòu)設(shè)計(jì)，包含1顆Cortex-X4超大核、5顆Cortex-A720大核和2顆Cortex-A520小核。GPU采用了新一代Adreno GPU，值得一提的是，驍龍8 Gen 3的AI性能提升了98%，能效提升40%。此前，高通公司宣稱驍龍8 Gen 3是首款專為生成式AI而設(shè)計(jì)的移動(dòng)平臺(tái)，也是市場(chǎng)上最強(qiáng)大和功能最齊全的移動(dòng)平臺(tái)，并表示驍龍8 Gen 3將會(huì)“挑戰(zhàn)主機(jī)”和“高端級(jí)別”。全新的智能PC計(jì)算平臺(tái)驍龍X Elite也是一大亮點(diǎn)。驍龍X Elite基于定制的Oryon CPU核心，相同功耗下CPU性能可達(dá)到x86處理器競(jìng)品的2倍；峰值多線程CPU性能比Arm處理器蘋(píng)果M2芯片高出 50%。GPU方面，算力達(dá)到4.6 TOPS，支持4K、120Hz、HDR10顯示，支持三個(gè)4K或者雙5K輸出。AI算力方面更是達(dá)到了45 TOPS，相較2017年性能提升了約100倍。不難發(fā)現(xiàn)，芯片行業(yè)已行至十字路口，擁有更強(qiáng)大的性能或許只是基本功，而擁有強(qiáng)悍的AI能力，才能承載起引領(lǐng)下一個(gè)時(shí)代的重任。一、押注混合AI，掌握話語(yǔ)權(quán)自2007年的驍龍S系列處理器問(wèn)世，到后來(lái)的“驍龍+數(shù)字”系列，再到2022年11月發(fā)布的驍龍8 Gen 2，高通公司的芯片已被廣泛應(yīng)用在國(guó)產(chǎn)高端旗艦手機(jī)、平板等移動(dòng)終端，建立起了舉足輕重的話語(yǔ)權(quán)。根據(jù)市場(chǎng)調(diào)研機(jī)構(gòu)Counterpoint的數(shù)據(jù)，2021年全球安卓智能手機(jī)芯片市場(chǎng)，高通公司在中高端（300-499美元）的智能手機(jī)細(xì)分市場(chǎng)，占據(jù)了高達(dá)65%的市場(chǎng)份額，在500美元以上的高端市場(chǎng)，也占據(jù)了55%的市場(chǎng)份額。盡管地位一直很穩(wěn)固，競(jìng)爭(zhēng)對(duì)手也幾乎難以撼動(dòng)，但對(duì)于高通公司而言，在單純比拼參數(shù)的時(shí)代結(jié)束之后，如何繼續(xù)掌握行業(yè)話語(yǔ)權(quán)，仍是不得不深度思考的難題。高通公司將2023年驍龍峰會(huì)主題定為“讓AI觸手可及”，其解決方案已經(jīng)擺在臺(tái)面上：無(wú)論是驍龍8 Gen 3，還是驍龍X系列，AI性能才是核心競(jìng)爭(zhēng)力，“AI能力”將成為芯片行業(yè)的角力點(diǎn)。事實(shí)上，從驍龍8 Gen 1開(kāi)始，高通公司就已十分重視芯片的AI算力，驍龍8 Gen 1的AI算力可以達(dá)到9 INT8 TOPS（每秒萬(wàn)億次操作），而在驍龍8 Gen 2上，AI算力提升了4.35倍，約為39 INT8 TOPS。AI算力仍在持續(xù)提升中。高通公司在《混合AI是AI的未來(lái)》白皮書(shū)中提到，高通已經(jīng)在移動(dòng)端運(yùn)行超過(guò)10億參數(shù)的AI運(yùn)算。隨著生成式AI的飛速普及和計(jì)算需求的日益增長(zhǎng)，混合處理的重要性空前突顯，AI處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)模化擴(kuò)展并發(fā)揮其最大潛能。與僅在云端進(jìn)行處理不同，混合AI在云端和邊緣終端之間分配并協(xié)同處理AI工作負(fù)載。云端和邊緣終端（如智能手機(jī)、汽車、PC和物聯(lián)網(wǎng)終端）協(xié)同工作，能夠?qū)崿F(xiàn)更強(qiáng)大、更高效且高度優(yōu)化的AI。高通公司認(rèn)為，混合AI將支持生成式AI應(yīng)用開(kāi)發(fā)者和提供商利用邊緣側(cè)終端的計(jì)算能力降低成本?；旌螦I架構(gòu)或僅在終端側(cè)運(yùn)行AI，能夠在全球范圍帶來(lái)高性能、個(gè)性化、隱私和安全等優(yōu)勢(shì)。2023年2月，高通公司在社交平臺(tái)上發(fā)布了一段視頻，演示了在Android手機(jī)上本地運(yùn)行生成超10億級(jí)數(shù)據(jù)的AI圖像，整個(gè)過(guò)程不到15秒，向外界展示了高通公司在混合AI方面的成就。在2023驍龍峰會(huì)上，高通公司CEO克里斯蒂亞諾·安蒙表示，第三代驍龍8移動(dòng)平臺(tái)率先支持多模態(tài)通用AI模型，現(xiàn)已支持運(yùn)行超100億個(gè)參數(shù)的大模型。AI時(shí)代已來(lái)臨，高通公司正打算借助自研架構(gòu)的優(yōu)勢(shì)，將混合AI推廣到更多產(chǎn)品上。不過(guò)，理論距離實(shí)際落地還需要很長(zhǎng)的路要走，混合AI究竟會(huì)不會(huì)成為高通公司向上的突破口，還有待時(shí)間和市場(chǎng)的檢驗(yàn)。二、驍龍X能否變革PC行業(yè)？手機(jī)芯片之外，高通公司決心以驍龍X Elite為切入點(diǎn)，加碼PC市場(chǎng)。高通公司預(yù)測(cè)，“2024年將成為PC行業(yè)的轉(zhuǎn)折點(diǎn)，驍龍X計(jì)算平臺(tái)將帶來(lái)更高水平的性能、AI、連接和電池續(xù)航?！?/span>高通公司對(duì)驍龍X Elite寄予厚望：一方面，近年來(lái)傳統(tǒng)PC行業(yè)主要升級(jí)點(diǎn)集中在硬件性能的提升，通過(guò)堆疊更多的硬件來(lái)實(shí)現(xiàn)設(shè)備體驗(yàn)的升級(jí)，AI能力缺失；另一方面，PC行業(yè)正在逐漸向智能化、生態(tài)化方向演進(jìn)，并逐漸成為智慧終端設(shè)備生態(tài)體系中的一個(gè)關(guān)鍵節(jié)點(diǎn)。加碼PC市場(chǎng)，不僅能擴(kuò)展芯片的應(yīng)用場(chǎng)景，同時(shí)還能緩解智能手機(jī)出貨量逐年下降而帶來(lái)的危機(jī)。雖然PC出貨量比不過(guò)智能手機(jī)，但依然是個(gè)巨大的市場(chǎng)。根據(jù)市場(chǎng)調(diào)查機(jī)構(gòu)IDC的統(tǒng)計(jì)數(shù)據(jù)，2023年第三季度，全球PC出貨量環(huán)比增長(zhǎng)了11%，出貨量為6820萬(wàn)臺(tái)，盡管全球經(jīng)濟(jì)依然低迷，但過(guò)去兩個(gè)季度的PC發(fā)貨量均有所增長(zhǎng)，表明PC市場(chǎng)已經(jīng)走出低谷期。與此同時(shí)，PC行業(yè)也亟需一場(chǎng)變革。根據(jù)《2020年筆記本電腦九大消費(fèi)新趨勢(shì)》報(bào)告，消費(fèi)者購(gòu)買(mǎi)筆記本電腦時(shí)除了關(guān)注綜合性能和整體外觀設(shè)計(jì)之外，智慧交互成為消費(fèi)者購(gòu)買(mǎi)時(shí)新的關(guān)注點(diǎn)，移動(dòng)化辦公成為常態(tài)之后，不同設(shè)備間的信息流轉(zhuǎn)、交互，已成為消費(fèi)者的剛需。有觀點(diǎn)認(rèn)為，高通公司此時(shí)推出驍龍X Elite，是在直接對(duì)標(biāo)蘋(píng)果M系列芯片，“驍龍X Elite強(qiáng)調(diào)的性能、功率，以及神經(jīng)處理功能，這些都是蘋(píng)果M系列芯片的強(qiáng)項(xiàng)，如果驍龍X Elite真能提供與M芯片相近的體驗(yàn)，那Windows用戶或?qū)⒂瓉?lái)全新的PC體驗(yàn)”。不過(guò)，在智慧PC領(lǐng)域，蘋(píng)果仍是當(dāng)之無(wú)愧的霸主，其先后從系統(tǒng)和硬件兩個(gè)方面切入，其有著完整的底層系統(tǒng)和完整的生態(tài)設(shè)備，通過(guò)賬號(hào)打通了智能手機(jī)、平板和PC之間的數(shù)據(jù)通道，同時(shí)也實(shí)現(xiàn)了不同平臺(tái)應(yīng)用的跨平臺(tái)使用、隨航、隔空投送等功能。相比之下，高通公司仍有所欠缺。然而不可否認(rèn)的是，驍龍X Elite是一項(xiàng)重要的技術(shù)創(chuàng)新，尤其是其AI處理能力是競(jìng)品的4.5倍，異構(gòu)AI引擎性能可達(dá)75 TOPS，為PC行業(yè)帶來(lái)了更高效、更智能的計(jì)算體驗(yàn)，有望在英特爾、蘋(píng)果等競(jìng)爭(zhēng)對(duì)手的圍追堵截下，帶來(lái)PC行業(yè)的變革。三、開(kāi)拓汽車領(lǐng)域，布局第二曲線一直以來(lái)，智能手機(jī)芯片都是高通公司的核心業(yè)務(wù)，但隨著智能手機(jī)市場(chǎng)增長(zhǎng)放緩，市場(chǎng)空間趨于飽和，高通公司近年來(lái)正從智能手機(jī)芯片向汽車芯片轉(zhuǎn)型。汽車行業(yè)已成為高通公司重點(diǎn)發(fā)力的領(lǐng)域。2023財(cái)年第二財(cái)季財(cái)報(bào)顯示，高通公司的總營(yíng)收和凈利潤(rùn)雙雙出現(xiàn)了同比下降的情況，但來(lái)自汽車芯片業(yè)務(wù)的收入?yún)s十分亮眼，財(cái)報(bào)顯示，汽車芯片業(yè)務(wù)收入同比增長(zhǎng)20%至4.47億美元。此前，高通公司在投資者日活動(dòng)上表示，未來(lái)十年內(nèi)，圍繞芯片和軟件的市場(chǎng)規(guī)模將達(dá)到約7000億美元，其中汽車市場(chǎng)占據(jù)1000億美元，主要分布在車聯(lián)網(wǎng)芯片相關(guān)的160億美元、智能座艙的250億美元以及智能駕駛的590億美元這三個(gè)領(lǐng)域。每輛汽車在以上三個(gè)領(lǐng)域所需的芯片和軟件費(fèi)用從基礎(chǔ)的200美元起步，到高端的3000美元。隨著智能網(wǎng)聯(lián)汽車的飛速發(fā)展，汽車芯片早已成為高通公司的潛在市場(chǎng)。高通公司首席執(zhí)行官Cristiano Amon在慕尼黑IAA車展期間表示，高通預(yù)計(jì)到2026年其汽車業(yè)務(wù)的收入將達(dá)到40億美元，到2030年將增至90億美元，“我們一直關(guān)注于尋找新的增長(zhǎng)領(lǐng)域，而汽車就是其中之一?！?/span>為了實(shí)現(xiàn)第二增長(zhǎng)曲線，高通公司在智能汽車領(lǐng)域進(jìn)行了大量的技術(shù)布局，比如恩智浦、瑞薩等傳統(tǒng)汽車電子巨頭仍采用22nm工藝時(shí)，14nm的智能座艙芯片驍龍820A已經(jīng)完美兼容QNX、CarPlay、Android Auto等主流座艙系統(tǒng)，車企可以通過(guò)OTA向車主發(fā)送最新固件，而車主可以像升級(jí)智能手機(jī)一樣獲取最新最強(qiáng)大的車載系統(tǒng)。不只是智能座艙領(lǐng)域，高通公司也在不斷往智能駕駛方向滲透。2021年10月，高通公司聯(lián)合紐約投資機(jī)構(gòu)SSW Partners，以45億美元的最終價(jià)格收購(gòu)了汽車技術(shù)公司維寧爾，獲得后者軟件部門(mén)Arriver的100%控制權(quán)。收購(gòu)?fù)瓿珊?，高通將Arriver的計(jì)算機(jī)視覺(jué)、駕駛策略和駕駛輔助資產(chǎn)與Snapdragon Ride平臺(tái)進(jìn)行整合，形成一個(gè)可擴(kuò)展的產(chǎn)品組合。2023年5月，高通公司還公布了其面向自動(dòng)駕駛的驍龍Ride系列芯片，包含自動(dòng)駕駛芯片Ride SoC、艙駕一體芯片Ride FlexSoC，算力進(jìn)一步增強(qiáng)。從智能手機(jī)芯片到汽車芯片，再到將混合AI融入旗下所有產(chǎn)品中，高通公司正試圖從一個(gè)智能手機(jī)芯片制造商，轉(zhuǎn)變成為一個(gè)多元化的半導(dǎo)體供應(yīng)商，但不容忽視的是，轉(zhuǎn)型之路仍然任重道遠(yuǎn)。

6. 《時(shí)代》雜志發(fā)布“2023 年最佳發(fā)明”榜單，14 個(gè) AI 項(xiàng)目一覽

原文：https://36kr.com/p/2490611172221060

10 月 24 日，《時(shí)代》雜志發(fā)布“2023 年最佳發(fā)明”榜單，涵蓋了如人工智能、綠色能源和可持續(xù)發(fā)展等重點(diǎn)領(lǐng)域。據(jù)悉，此次評(píng)選的標(biāo)準(zhǔn)包括獨(dú)創(chuàng)性、效率、影響力等，共計(jì) 200 項(xiàng)突破性發(fā)明（以及 50 項(xiàng)特別獎(jiǎng)發(fā)明）入選，這些發(fā)明正在改變我們的生活、工作、娛樂(lè)方式，以及對(duì)可能事物的思考。以下是 AI 領(lǐng)域 14 項(xiàng)入選發(fā)明的簡(jiǎn)介：1. 跳出框框自由編輯：Adobe Photoshop Generative Expand 和 Generative Fill

Adobe 通過(guò)在全球最受歡迎的圖像編輯器 Photoshop 中內(nèi)置人工智能技術(shù)，讓數(shù)百萬(wàn)人掌握了強(qiáng)大的 AI 功能。在 Adobe 的 AI 圖像生成器 Firefly 的支持下，Photoshop 現(xiàn)在包含了“生成擴(kuò)展”（Generative Expand）和“生成填充”（Generative Fill）功能。前者允許用戶在照片的邊界之外無(wú)縫填充想象的內(nèi)容。后者只需輸入一些簡(jiǎn)單的文字，就能在現(xiàn)有圖像中添加或刪除內(nèi)容。這兩種功能都不需要專業(yè)技術(shù)。Adobe 數(shù)字媒體高級(jí)副總裁 Ashley Still 說(shuō)：這些選項(xiàng)使“客戶能夠以想象的速度將他們的愿景變?yōu)楝F(xiàn)實(shí)”。2. 改變游戲規(guī)則的聊天機(jī)器人：OpenAI GPT-4

OpenAI 的 GPT-4 自 3 月份發(fā)布以來(lái)已有 8 個(gè)月，而它仍然是公眾可以使用的最強(qiáng)大的聊天機(jī)器人。其前身 ChatGPT 的表現(xiàn)僅優(yōu)于 10% 參加律師資格考試的學(xué)生，而 GPT-4 的表現(xiàn)則超過(guò)了 90%。它擅長(zhǎng)語(yǔ)言推理，能把復(fù)雜的概念分解成簡(jiǎn)單的語(yǔ)言，甚至能解釋一個(gè)笑話為什么好笑。今年 9 月，OpenAI 開(kāi)始推出通過(guò)語(yǔ)音與模型互動(dòng)以及使用圖像作為輸入的功能。更新后的 GPT-4 V 在為視障人士提供工具的組織 Be My Eyes 中進(jìn)行了測(cè)試，可以用自然語(yǔ)言口頭描述圖片內(nèi)容。3. 別出心裁的電影剪輯：Runway Gen-2

Runway 是一家由谷歌支持的初創(chuàng)公司，其視覺(jué)特效工具曾被用于制作奧斯卡獲獎(jiǎng)影片《Everything Everywhere All At Once》中令人匪夷所思的畫(huà)面。6 月，Runway 推出了 Gen-2 模型。新版本允許任何人通過(guò)文字提示、圖片或其他視頻生成完整的視頻。Runway 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Cristóbal Valenzuela 將這項(xiàng)新技術(shù)比作 200 年前照相機(jī)的發(fā)明。他說(shuō)：“人工智能是一種新型照相機(jī)，它將永遠(yuǎn)重塑講故事的方式，并帶來(lái)完全生成的完整故事片。”

4. 人工智能鑒定真?zhèn)危篈litheon FeaturePrint 解決價(jià)值數(shù)萬(wàn)億美元的假冒商品問(wèn)題的方法可能很簡(jiǎn)單，只需將手機(jī)的攝像頭對(duì)準(zhǔn)手表或手提包，然后讓智能軟件確定其真?zhèn)渭纯伞eaturePrint 是一種光學(xué)人工智能技術(shù)，它首先能“看到”實(shí)物微小的表面細(xì)節(jié)，并將其“指紋化”為獨(dú)特的數(shù)學(xué)標(biāo)識(shí)。然后，只需點(diǎn)擊一下按鈕，它就能告訴你一件物品的真假。Alitheon 首席執(zhí)行官 Roei Ganzarski 說(shuō)：“不需要貼紙、標(biāo)簽或標(biāo)記?？蛻糁皇?Argor-Heraeus，該公司為各國(guó)銀行生產(chǎn)金條?！?/span>5. 天空之眼：Dedrone 全城無(wú)人機(jī)探測(cè) 無(wú)人機(jī)既能帶來(lái)破壞，也能帶來(lái)益處。Dedrone 的全城無(wú)人機(jī)探測(cè)產(chǎn)品可在某一地理區(qū)域周圍投擲虛擬防護(hù)罩，如果無(wú)人機(jī)進(jìn)入指定空域，可在數(shù)秒內(nèi)向執(zhí)法部門(mén)發(fā)出警告。Dedrone 跟蹤無(wú)人機(jī)發(fā)出的專有混合信號(hào)，包括無(wú)線電頻率、ADS-B 數(shù)據(jù)（也用于飛機(jī)）和 RemoteID 信標(biāo)，以確定入侵位置。公司首席營(yíng)銷官 Mary-Lou Smulders 將其比作無(wú)人機(jī)的空中交通管制系統(tǒng)，這在此前所沒(méi)有的。客戶包括 Con Edison，該公司正在用它來(lái)保護(hù)自己的基礎(chǔ)設(shè)施；巴塞羅那的警察部隊(duì)；以及數(shù)量不詳?shù)臋C(jī)場(chǎng)。6. 翻譯大師：Meta SeamlessM4T

Meta 公司將其 SeamlessM4 T 人工智能模型比作《銀河系漫游指南》中的萬(wàn)能語(yǔ)言翻譯器巴別魚(yú)（Babel Fish）。該公司的軟件能夠從語(yǔ)音或文本中理解近 100 種語(yǔ)言，并能以語(yǔ)音到語(yǔ)音、文本到文本、語(yǔ)音到文本或文本到語(yǔ)音等多種形式實(shí)時(shí)翻譯這些語(yǔ)言。據(jù) Meta 公司稱，除了可處理的語(yǔ)言遠(yuǎn)多于前代產(chǎn)品外，該系統(tǒng)的效率更高，出錯(cuò)率更低，甚至可以破譯同一句子中混合在一起的多種語(yǔ)言。Meta 已將該模型開(kāi)源，這意味著全世界的研究人員都可以使用其代碼。7. 驚人的模仿：So-VITS-SVC 今年早些時(shí)候，一位名叫 Ghostwriter 的匿名創(chuàng)作者創(chuàng)作的一首名為《Heart on My Sleeve》的歌曲引起了轟動(dòng)。（這首歌很快就被合法的流媒體服務(wù)撤下，但在此之前，它已經(jīng)成為了病毒式的傳播）。這些聲音是通過(guò)名為 So-VITS-SVC 的開(kāi)源軟件生成的，該軟件允許技術(shù)人員對(duì)歌手的聲音進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，然后使用人工智能生成的聲音制作任何歌曲。愛(ài)好者們?cè)?Discord 社區(qū)交換語(yǔ)音模型，從 Bad Bunny 到 Taylor Swift，再到 James Hatfield。與此同時(shí)，采用該軟件的用戶友好型網(wǎng)站也如雨后春筍般涌現(xiàn)。8. AI 消防員：AlertCalifornia 和 Cal Fire AI 野火探測(cè)器 在野火蔓延之前對(duì)其進(jìn)行檢測(cè)是目前困擾世界許多地區(qū)的一項(xiàng)挑戰(zhàn)。加州大學(xué)圣迭戈分校的公共安全項(xiàng)目 AlertCalifornia 正在利用人工智能提供幫助。該項(xiàng)目與加州消防局（Cal Fire）合作，訓(xùn)練人工智能從遍布全州森林的 1050 多個(gè)攝像頭網(wǎng)絡(luò)中檢測(cè)煙霧和其他早期火災(zāi)跡象。系統(tǒng)一旦發(fā)現(xiàn)異常，就會(huì)通過(guò)短信向當(dāng)?shù)叵啦块T(mén)發(fā)出警報(bào)。在最初的兩個(gè)月里，該系統(tǒng)在接到任何報(bào)警電話之前就正確識(shí)別出了 77 起火災(zāi)。AlertCalifornia 的聯(lián)合首席調(diào)查員 Falco Kuester 說(shuō)：“這個(gè)（系統(tǒng)）最大的成功案例就是那些你從未聽(tīng)說(shuō)過(guò)的火災(zāi)?！?/span>9. 輕松創(chuàng)建音樂(lè)：Stable Audio

Stable Audio 由 Stability AI 公司創(chuàng)建，它利用人工智能的生成能力，只需幾個(gè)簡(jiǎn)單的文字提示，就能生成幾乎任何你想要的聲音或歌曲。（例如，輸入 "ambient techno, drum machine, peaceful, instrumental"，就能生成一首輕松的新時(shí)代音樂(lè)，放在時(shí)髦的休息室里也毫不突兀）。該模型是在一個(gè)庫(kù)存音頻網(wǎng)站的數(shù)據(jù)集上訓(xùn)練出來(lái)的（所以都是合法的），其中包含 80 多萬(wàn)個(gè)音頻文件，總計(jì) 2 萬(wàn)小時(shí)，可用于專業(yè)和業(yè)余項(xiàng)目。10. 動(dòng)物保護(hù)者：TrailGuard AI 在印度和非洲的部分地區(qū)，偷獵仍然是大象和大型貓科動(dòng)物滅絕的最大威脅，即使在保護(hù)區(qū)內(nèi)也是如此。美國(guó)環(huán)保組織 Resolve 創(chuàng)建的人工智能蹤跡保護(hù)系統(tǒng)（TrailGuard AI）利用英特爾（Intel）技術(shù)驅(qū)動(dòng)的微型攝像頭來(lái)監(jiān)控瀕危物種和發(fā)現(xiàn)偷獵者。該系統(tǒng)利用手機(jī)或遠(yuǎn)距離無(wú)線電信號(hào)，在短短 30 秒內(nèi)就能將圖像傳送到當(dāng)局的手機(jī)上。TrailGuard 定制的人工智能模型經(jīng)過(guò)訓(xùn)練后，不僅能偵測(cè)人類，還能偵測(cè)從老虎到鬣狗等任何感興趣的物種。該技術(shù)在東非的測(cè)試階段逮捕了 30 多名偷獵者，目前正在老虎密集的印度中部進(jìn)行大規(guī)模測(cè)試。11. 畫(huà)出你的想象：OpenAI Dall-E 3 當(dāng) OpenAI 在去年 11 月向全世界發(fā)布 ChatGPT 時(shí)，它徹底改變了人工智能的格局。該公司希望 DALL-E 3（其人工智能圖像生成器的全新改進(jìn)版）也能產(chǎn)生同樣的影響。DALL-E 3 的發(fā)明者、OpenAI 的 Aditya Ramesh 說(shuō)，以前的圖像生成器需要學(xué)習(xí)一門(mén)新的技術(shù)語(yǔ)言，包括在字符串中添加減號(hào)和數(shù)字，才能獲得最佳效果。而 DALL-E 3 則不同，它可以折疊到 ChatGPT 中，這樣用戶就可以輸入會(huì)話命令，獲得符合其描述的圖像。12. 聽(tīng)好了：古騰堡計(jì)劃開(kāi)放式有聲讀物合集 古騰堡計(jì)劃（Project Gutenberg）是歷史最悠久的數(shù)字圖書(shū)館，成立于 1971 年，旨在讓人們更容易獲得電子圖書(shū)。但首席執(zhí)行官 Greg Newby 說(shuō)，它“既不擅長(zhǎng)創(chuàng)建，也不擅長(zhǎng)傳播”。因此，微軟和麻省理工學(xué)院聯(lián)手制作了“開(kāi)放式有聲讀物合集”，利用文本到語(yǔ)音技術(shù)將 5000 本圖書(shū)轉(zhuǎn)化為免費(fèi)的合成旁白有聲讀物，現(xiàn)在可在 Spotify 上下載。推動(dòng)該項(xiàng)目的軟件也免費(fèi)發(fā)布。13. 節(jié)拍：AudioShake

當(dāng)最偉大的搖滾樂(lè)隊(duì)之一最近達(dá)成協(xié)議，在廣告中使用其 1970 年代的熱門(mén)歌曲時(shí)，其成員欣喜若狂。但有一個(gè)問(wèn)題：廣告制作人只想要樂(lè)器，而樂(lè)隊(duì)擁有的只是最終的混音。因此，搖滾樂(lè)隊(duì)的團(tuán)隊(duì)聯(lián)系了 AudioShake，該公司的人工智能程序可以隔離預(yù)先錄制的音頻元素，將其分解為各個(gè)組成部分?！拔覀兪挂纛l具有交互性和可編輯性，并能夠推動(dòng)這些真正實(shí)用的用途，幫助藝術(shù)家賺錢(qián)，”聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Jessica Powell 說(shuō)。14. 反思智能手機(jī)：Humane Ai Pin 創(chuàng)辦 Humane 的兩位前蘋(píng)果公司高管設(shè)想了一個(gè)無(wú)屏幕的未來(lái)，Ai Pin 就是他們邁出的第一步。一旦輕巧的 Humane Ai Pin 通過(guò)磁力吸附在你的衣服上，它就會(huì)成為你的人工智能個(gè)人助理。該設(shè)備結(jié)合使用專有軟件和 OpenAI 的 GPT，讓您可以完成各種操作，從提出復(fù)雜的問(wèn)題到撥打電話和發(fā)送短信，所有這些都只需你一聲令下即可完成。同時(shí)，內(nèi)置攝像頭可以識(shí)別事物并提供上下文信息，例如食物的卡路里估值。每當(dāng) Pin 的攝像頭、麥克風(fēng)或輸入傳感器處于激活狀態(tài)時(shí)，一個(gè)名為“信任燈”的顯著隱私指示燈就會(huì)亮起，以確保周圍的人都知道它在監(jiān)聽(tīng)或錄音。如果你需要視覺(jué)效果，一個(gè)微型投影儀會(huì)將它們直接投射到你伸出的手掌上。這款產(chǎn)品計(jì)劃于 11 月 9 日推出。注：Humane 投資者包括《時(shí)代》周刊的聯(lián)合主席和所有者 Marc Benioff 和 Lynne Benioff 夫婦

———————End———————

點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)

原文標(biāo)題：【AI簡(jiǎn)報(bào)20231027期】英偉達(dá)AI芯片業(yè)務(wù)遭管制，生成式AI落地，高通向上突圍

文章出處：【微信公眾號(hào)：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

RT-Thread

RT-Thread

+關(guān)注

關(guān)注
32

文章
1646

瀏覽量
45306

原文標(biāo)題：【AI簡(jiǎn)報(bào)20231027期】英偉達(dá)AI芯片業(yè)務(wù)遭管制，生成式AI落地，高通向上突圍

文章出處：【微信號(hào)：RTThread，微信公眾號(hào)：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

日B视频亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

搜索歷史

【AI簡(jiǎn)報(bào)20231027期】英偉達(dá)AI芯片業(yè)務(wù)遭管制，生成式AI落地，高通向上突圍

1. GameGPT進(jìn)軍游戲制作，全自動(dòng)生成游戲，時(shí)間可縮百倍

2. 美國(guó)出口管制影響英偉達(dá)AI芯片業(yè)務(wù)，對(duì)全球AI市場(chǎng)產(chǎn)生深遠(yuǎn)影響

3. Jina AI 推出全球首個(gè)開(kāi)源 8K 文本嵌入模型，號(hào)稱“超越 OpenAI”

4. 訊飛星火 V3.0：給 AI 注入靈魂，“哪吒”“諸葛亮”多種人設(shè)可定制

5. 生成式AI落地，高通向上突圍

6. 《時(shí)代》雜志發(fā)布“2023 年最佳發(fā)明”榜單，14 個(gè) AI 項(xiàng)目一覽

評(píng)論

搜索歷史

【AI簡(jiǎn)報(bào)20231027期】英偉達(dá)AI芯片業(yè)務(wù)遭管制，生成式AI落地，高通向上突圍

1. GameGPT進(jìn)軍游戲制作，全自動(dòng)生成游戲，時(shí)間可縮百倍

2. 美國(guó)出口管制影響英偉達(dá)AI芯片業(yè)務(wù)，對(duì)全球AI市場(chǎng)產(chǎn)生深遠(yuǎn)影響

3. Jina AI 推出全球首個(gè)開(kāi)源 8K 文本嵌入模型，號(hào)稱“超越 OpenAI”

4. 訊飛星火 V3.0：給 AI 注入靈魂，“哪吒”“諸葛亮”多種人設(shè)可定制

5. 生成式AI落地，高通向上突圍

6. 《時(shí)代》雜志發(fā)布“2023 年最佳發(fā)明”榜單，14 個(gè) AI 項(xiàng)目一覽

評(píng)論

【AI簡(jiǎn)報(bào)20231027期】英偉達(dá)AI芯片業(yè)務(wù)遭管制，生成式AI落地，高通向上突圍

1. GameGPT進(jìn)軍游戲制作，全自動(dòng)生成游戲，時(shí)間可縮百倍

2. 美國(guó)出口管制影響英偉達(dá)AI芯片業(yè)務(wù)，對(duì)全球AI市場(chǎng)產(chǎn)生深遠(yuǎn)影響

3. Jina AI 推出全球首個(gè)開(kāi)源 8K 文本嵌入模型，號(hào)稱“超越 OpenAI”

5. 生成式AI落地，高通向上突圍

6. 《時(shí)代》雜志發(fā)布“2023 年最佳發(fā)明”榜單，14 個(gè) AI 項(xiàng)目一覽