不解決好這 3 大矛盾，就別搞 DevOps 了>>>>>>

Tengine Lite?由?OPEN AI LAB?主導(dǎo)開發(fā)，該項(xiàng)目實(shí)現(xiàn)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型在嵌入式設(shè)備上快速、高效部署。為實(shí)現(xiàn)眾多?AIoT?應(yīng)用中跨平臺(tái)部署，本項(xiàng)目基于原有 Tengine 項(xiàng)目使用?C 語言進(jìn)行重構(gòu)，針對嵌入式設(shè)備資源有限的特點(diǎn)進(jìn)行深度框架裁剪。同時(shí)采用完全分離的前后端設(shè)計(jì)，利于 CPU、GPU、NPU 等異構(gòu)計(jì)算單元快速移植和部署。同時(shí)兼容 Tengine?框架原有 API 和 模型格式 tmfile，降低評估、遷移成本。

Tengine Lite 核心代碼由 4 個(gè)模塊組成：

• dev： NN Operators 后端模塊，當(dāng)前提供 CPU 代碼，后續(xù)逐步開源 GPU、NPU 參考代碼；
• lib：框架核心部件，包括 NNIR、計(jì)算圖、硬件資源、模型解析器的調(diào)度和執(zhí)行模塊；
• op：NN Operators 前端模塊，實(shí)現(xiàn) NN Operators 注冊、初始化；
• serializer：模型解析器，實(shí)現(xiàn) tmfile 格式的網(wǎng)絡(luò)模型參數(shù)解析。

架構(gòu)簡析

如何使用

編譯

• 快速編譯?基于 cmake 實(shí)現(xiàn)簡單的跨平臺(tái)編譯。

示例

• examples?提供基礎(chǔ)的分類、檢測算法用例，根據(jù) issue 需求持續(xù)更新。

模型倉庫

• Tengine model zoo?兼容原有 Tengine 的模型示例倉庫（密碼：hhgc）。

轉(zhuǎn)換工具

• 預(yù)編譯版本：提供 Linux 系統(tǒng)上預(yù)編譯好的模型轉(zhuǎn)換工具；
• 在線轉(zhuǎn)換版本：基于 WebAssembly 實(shí)現(xiàn)（瀏覽器本地轉(zhuǎn)換，模型不會(huì)上傳）；
• 源碼編譯：參考?Tengine-Convert-Tools?項(xiàng)目編譯生成。

速度評估

• Benchmark?基礎(chǔ)網(wǎng)絡(luò)速度評估工具，歡迎大家更新。

Roadmap

• Road map