?

首頁: 電子電路圖,電子技術(shù)資料網(wǎng)站首頁

電子資料下載: 電子資料下載頻道 -- 為電子工程師提供激發(fā)創(chuàng)新靈感的新方案、新的參考設(shè)計(jì)、新的設(shè)計(jì)構(gòu)想等可下載的電子資料！

電子技術(shù)應(yīng)用: 電子技術(shù)應(yīng)用頻道 -- 為電子工程師提供電子產(chǎn)品設(shè)計(jì)所需的技術(shù)分析、設(shè)計(jì)技巧、設(shè)計(jì)工具、測試工具等技術(shù)文章！

電子元器件: 專業(yè)的電子元器件平臺(tái) -- 及時(shí)發(fā)布大量最新IC、分立器件、模組等電子元器件產(chǎn)品信息！

電子電路圖: 電路圖頻道 -- 提供電子電路圖,原理圖,汽車電路圖,手機(jī)電路圖,功放電路圖,電源電路圖等電路圖紙

電子技術(shù)論壇: 構(gòu)建電子工程師交流的平臺(tái) -- 在交流中進(jìn)一步學(xué)習(xí)設(shè)計(jì)技巧、規(guī)劃技術(shù)人生、提升自我價(jià)值！

源碼下載: 源碼下載頻道; uCOS編程 C/C++語言編程 Symbian編程 Linux/uClinux/Unix編程 Windows編程 matlab源程序 php源碼下載 asp.net源碼下載 java源碼下載匯編編程驅(qū)動(dòng)程序單片機(jī)編程數(shù)值算法/人工智能

您的位置：電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

基于分段聚類壓縮和Hash recoding壓縮方法

大小：0.95 MB 人氣： 2017-11-24 需要積分：0

推薦 + 挑錯(cuò) + 收藏(0) + 用戶評(píng)論（0）

前往下載地址

分享到:

標(biāo)簽：壓縮(19296)聚類(14184)

　　今日頭條的服務(wù)器每天都會(huì)產(chǎn)生規(guī)模龐大的訓(xùn)練數(shù)據(jù)，為方便進(jìn)行訓(xùn)練，這些數(shù)據(jù)都具有特定的格式和分布特征。使用不同類型的通用壓縮算法（字典類型及非字典類型）進(jìn)行測試，發(fā)現(xiàn)單獨(dú)任何一種算法都無法在滿足業(yè)務(wù)需求（速率需求和CPU占比等）的同時(shí)獲得較為可觀的壓縮比。針對(duì)今日頭條的訓(xùn)練數(shù)據(jù)，提出了分段聚類壓縮和Hash recoding壓縮兩種策略。實(shí)驗(yàn)結(jié)果表明，分段聚類壓縮方式在更好地保證了壓縮率的同時(shí)提高了壓縮速率的目的；Hash recoding壓縮方式則更好地達(dá)到了以少量壓縮速率的損失換取更可觀的壓縮率的目的。分段聚類方式搭配Gzip壓縮算法的組合能使壓縮速率提高300%以上；Hash recoding方式匹配Snappy壓縮算法能使壓縮率縮小50%以上。根據(jù)實(shí)際需求，不論選擇哪種策略，對(duì)于降低今日頭條的運(yùn)營成本，提升業(yè)務(wù)處理的效率，提供更好的用戶體驗(yàn)，都有一定意義。

非常好我支持^.^

(0) 0%

不好我反對(duì)

(0) 0%

下載地址

不能下載？請(qǐng)通知我們