LLaMA2上下文長(zhǎng)度暴漲至100萬tokens，只需調(diào)整1個(gè)超參數(shù)

目前的Transformer位置編碼方法，有絕對(duì)位置編碼（將位置信息融入到輸入）、相對(duì)位置編碼（將位置信息寫入attention分?jǐn)?shù)計(jì)算）和旋轉(zhuǎn)位置編碼...

2023-10-22 標(biāo)簽：參數(shù)人工智能大模型 1.5k 0

谷歌重磅新作PaLI-3：視覺語(yǔ)言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語(yǔ)言模型大模型 3.7k 0

智能駕駛感知算法梳理 高階自動(dòng)駕駛落地關(guān)鍵分析

　　感知算法升級(jí)是L2級(jí)向L 3級(jí)智能駕駛系統(tǒng)跨越的關(guān)鍵。與傳統(tǒng)2D+CNN算法相比，BEV+ Transformer算法優(yōu)勢(shì)體現(xiàn)在： 1）感知輸出信息...

2023-10-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)智能駕駛感知算法 1k 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 4.4k 0

主流大模型推理框架盤點(diǎn)解析

vLLM是一個(gè)開源的大模型推理加速框架，通過PagedAttention高效地管理attention中緩存的張量，實(shí)現(xiàn)了比HuggingFace Tra...

2023-10-10 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 7.7k 0

深度學(xué)習(xí)模型部署與優(yōu)化：策略與實(shí)踐；L40S與A100、H100的對(duì)比分析

隨著生成式AI應(yīng)用的迅猛發(fā)展，我們正處在前所未有的大爆發(fā)時(shí)代。在這個(gè)時(shí)代，深度學(xué)習(xí)模型的部署成為一個(gè)亟待解決的問題。盡管GPU在訓(xùn)練和推理中扮演著關(guān)鍵角...

2023-10-07 標(biāo)簽：gpuAI深度學(xué)習(xí) 3.2k 0

大模型正在被加速，AI不是只有大模型

目前最新的第四代至強(qiáng) 可擴(kuò)展處理器的單顆CPU核數(shù)已經(jīng)增長(zhǎng)到最高60核。而在數(shù)據(jù)訪問速度上，各級(jí)緩存大小、內(nèi)存通道數(shù)、內(nèi)存訪問速度等都有一定程度的優(yōu)化，...

2023-09-28 標(biāo)簽：處理器英特爾AI 1.2k 0

未來人機(jī)交互趨勢(shì)：多模態(tài)大模型

在實(shí)踐中，主做視覺算法的公司和主做語(yǔ)音算法的公司在做方案的時(shí)候各自有側(cè)重點(diǎn)，不一定能完全根據(jù)主機(jī)廠的意愿來優(yōu)化。假如提供視覺算法的供應(yīng)商把結(jié)果優(yōu)化地很好...

2023-09-28 標(biāo)簽：傳感器人機(jī)交互手勢(shì)識(shí)別 2.7k 0

大模型壓縮首篇綜述來啦

模型壓縮涉及將大型資源密集型模型轉(zhuǎn)化為適合在受限移動(dòng)設(shè)備上存儲(chǔ)的緊湊版本。此外，它還可以優(yōu)化模型以實(shí)現(xiàn)更快的執(zhí)行速度和最小的延遲，或在這些目標(biāo)之間取得平衡。

2023-09-26 標(biāo)簽：模型數(shù)據(jù)集nlp 2.3k 0

多模態(tài)大模型最全綜述來了！

其中最后一個(gè)表示監(jiān)督信號(hào)是從圖像本身中挖掘出來的，流行的方法包括對(duì)比學(xué)習(xí)、非對(duì)比學(xué)習(xí)和masked image建模。在這些方法之外，文章也進(jìn)一步討論了多...

2023-09-26 標(biāo)簽：圖像AIGC大模型 3.7k 0

mlc-llm對(duì)大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實(shí)戰(zhàn)（3B模型Mac M2解碼可達(dá)26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 3.7k 0

為什么transformer性能這么好？Transformer的上下文學(xué)習(xí)能力是哪來的？

為什么 transformer 性能這么好？它給眾多大語(yǔ)言模型帶來的上下文學(xué)習(xí) (In-Context Learning) 能力是從何而來？在人工智能領(lǐng)...

2023-09-25 標(biāo)簽：人工智能深度學(xué)習(xí)DeepMind 2.5k 0

InfiniBand和RoCEv2網(wǎng)絡(luò)簡(jiǎn)介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.3萬 0

聽圖森CTO王乃巖淺談從L2到L4商用車自動(dòng)駕駛中的規(guī)?；?、可靠性與成本

算法冗余：針對(duì)單點(diǎn)算法失效的問題，圖森未來將整車運(yùn)行的算法分成兩大類，即Data driven算法和Principle based算法；Data dri...

2023-09-21 標(biāo)簽：自動(dòng)駕駛大模型圖森未來 1.3k 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語(yǔ)言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長(zhǎng)文本壓縮為簡(jiǎn)短的摘要，例如新聞文章、源代碼和跨語(yǔ)言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 1.2k 0

人工智能中常見的數(shù)據(jù)標(biāo)注方法

數(shù)據(jù)標(biāo)注（Data Annotations）是指對(duì)收集到的、未處理的原始數(shù)據(jù)或初級(jí)數(shù)據(jù)，包括語(yǔ)音、圖片、文本、視頻等類型的數(shù)據(jù)進(jìn)行加工處理，并轉(zhuǎn)換為機(jī)器...

2023-09-21 標(biāo)簽：人機(jī)交互人工智能大模型 3.9k 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1.9k 0

一文詳解6G內(nèi)生AI架構(gòu)及關(guān)鍵技術(shù)

6G作為下一代移動(dòng)通信技術(shù)，正在成為全球范圍內(nèi)通信行業(yè)的重要研究熱點(diǎn)。6G內(nèi)生AI架構(gòu)，將人工智能與無線網(wǎng)絡(luò)緊密結(jié)合，有望為未來的通信帶來革命性的改變。

2023-09-18 標(biāo)簽：無線網(wǎng)絡(luò)AI人工智能 2.5k 0