大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發(fā)表論文《Language Modeling Is Compression》，他們發(fā)現(xiàn) DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數(shù)據(jù)庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數(shù)據(jù)集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據(jù)介紹，Chinchilla 70B 主要是訓(xùn)練用于處理文本，但它在壓縮其它類型的數(shù)據(jù)集上的效果也表現(xiàn)優(yōu)異，甚至優(yōu)于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果。可以看到，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
無損壓縮
+關(guān)注
關(guān)注
0文章
12瀏覽量
8610 -
FLAC
+關(guān)注
關(guān)注
0文章
4瀏覽量
8769 -
png
+關(guān)注
關(guān)注
0文章
14瀏覽量
4720 -
大模型
+關(guān)注
關(guān)注
2文章
3805瀏覽量
5280
原文標(biāo)題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號(hào)：OSC開源社區(qū)，微信公眾號(hào)：OSC開源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
零基礎(chǔ)手寫大模型資料2026
Transformer核心結(jié)構(gòu)的大模型，揭示大模型從理論到落地的技術(shù)本質(zhì)。
一、數(shù)學(xué)基礎(chǔ)：大模型的三大基石
1. 矩陣運(yùn)算：神經(jīng)網(wǎng)絡(luò)的語言
大模型
發(fā)表于 05-01 17:44
面向嵌入式部署的神經(jīng)網(wǎng)絡(luò)優(yōu)化：模型壓縮深度解析
1.為什么需要神經(jīng)網(wǎng)絡(luò)模型壓縮？ 神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決復(fù)雜機(jī)器學(xué)習(xí)問題的強(qiáng)大工具。然而，這種能力往往伴隨著模型規(guī)模和計(jì)算復(fù)雜度的增加。當(dāng)輸入維度較大（例如長(zhǎng)時(shí)序窗口、高分辨率特征空間）時(shí)，模型
在AI基礎(chǔ)設(shè)施中部署大語言模型的三大舉措
文：Gartner研究副總裁周玲中國(guó)企業(yè)機(jī)構(gòu)已逐步在生產(chǎn)環(huán)境中運(yùn)行或者計(jì)劃運(yùn)行大語言模型，但在AI基礎(chǔ)設(shè)施的生產(chǎn)部署與高效運(yùn)營(yíng)方面仍面臨諸多挑戰(zhàn)。目前，中國(guó)正加速提升其生成式AI能力，覆蓋大語
什么是大模型，智能體...？大模型100問，快速全面了解！
一、概念篇1.什么是大模型？大模型是指參數(shù)規(guī)模巨大（通常達(dá)到數(shù)十億甚至萬億級(jí)別）、使用海量數(shù)據(jù)訓(xùn)練而成的人工智能模型。2.什么是大語言模型（
linux的壓縮和解壓操作
進(jìn)行壓縮，然后傳輸壓縮的文件，這樣可以減少文件傳輸所需要的帶寬和時(shí)間，在網(wǎng)絡(luò)接收到文件之后再解壓，就可以得到文件了。
文件的壓縮有兩種方式：有損壓縮和
發(fā)表于 12-23 06:56
電能質(zhì)量在線監(jiān)測(cè)裝置數(shù)據(jù)壓縮對(duì)裝置性能有哪些影響？
降至工業(yè)級(jí)可接受范圍， 不會(huì)影響核心監(jiān)測(cè)功能（如采樣精度、故障響應(yīng)） 。以下是分維度的專業(yè)解析： 一、核心性能影響維度（分裝置定位 + 壓縮類型） 1. CPU 占用：硬件加速是關(guān)鍵，無損壓縮影響極小 數(shù)據(jù)壓縮 / 解壓本質(zhì)是計(jì)
電能質(zhì)量在線監(jiān)測(cè)裝置支持哪些數(shù)據(jù)壓縮算法？
電能質(zhì)量在線監(jiān)測(cè)裝置支持 無損壓縮 和 有損壓縮 兩大類算法，適配不同數(shù)據(jù)類型（實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、波形數(shù)據(jù)）與應(yīng)用場(chǎng)景（存儲(chǔ) / 傳輸 / 故障追溯），且在基礎(chǔ)型、增強(qiáng)型、電網(wǎng)級(jí)裝置中支持力度逐步
如何利用NPU與模型壓縮技術(shù)優(yōu)化邊緣AI
，AI 模型體積龐大，部署在 NPU上常常面臨困難，這凸顯了模型壓縮技術(shù)的重要性。要實(shí)現(xiàn)高效的實(shí)時(shí)邊緣 AI，需要深入探討NPU 與模型壓縮
國(guó)慶出國(guó)游，時(shí)空壺新T1翻譯機(jī)，首個(gè)端側(cè)模型突破助力跨語言交流
的旗艦機(jī)型，最大亮點(diǎn)是搭載業(yè)內(nèi)首個(gè)端側(cè)AI翻譯模型。這一模型將原本依賴云端算力的復(fù)雜AI翻譯模型，通過先進(jìn)的模型剪枝、量化壓縮等技術(shù)，巧妙部
3萬字長(zhǎng)文！深度解析大語言模型LLM原理
我們正在參加全球電子成就獎(jiǎng)的評(píng)選，歡迎大家?guī)臀覀兺镀薄x謝支持本文轉(zhuǎn)自：騰訊技術(shù)工程作者：royceshao大語言模型LLM的精妙之處在于很好地利用數(shù)學(xué)解決了工業(yè)場(chǎng)景的問題，筆者基于過往工程經(jīng)驗(yàn)
利用自壓縮實(shí)現(xiàn)大型語言模型高效縮減
隨著語言模型規(guī)模日益龐大，設(shè)備端推理變得越來越緩慢且耗能巨大。一個(gè)直接且效果出人意料的解決方案是剪除那些對(duì)任務(wù)貢獻(xiàn)甚微的完整通道（channel）。我們?cè)缙诘难芯刻岢隽艘环N訓(xùn)練階段的方法——自壓縮
【教程】使用NS1串口服務(wù)器對(duì)接智普清言免費(fèi)AI大語言模型
AI大語言模型可以幫助我們解決各種問題，如翻譯、寫文案、創(chuàng)作詩歌、解決數(shù)學(xué)問題、情感陪伴等等。今天教大家如何使用NS1串口服務(wù)器模塊實(shí)現(xiàn)對(duì)接智普清言AI大語言模型，實(shí)現(xiàn)與大
歐洲借助NVIDIA Nemotron優(yōu)化主權(quán)大語言模型
NVIDIA 正攜手歐洲和中東的模型構(gòu)建商與云提供商，共同優(yōu)化主權(quán)大語言模型 (LLM)，加速該地區(qū)各行業(yè)采用企業(yè)級(jí) AI。
評(píng)論