Guru Network Limited 是一家全球化的娛樂與游戲公司，其開發(fā)的 CastFox 徹底改變了用戶與播客的交互方式，應(yīng)用上線僅 3 周下載量就突破 100 萬次。

通過將傳統(tǒng)的被動長音頻轉(zhuǎn)化為互動式知識庫，CastFox 意在打造比簡單播放更豐富的體驗。為了達成這一目標，CastFox 工程團隊需要一個高效穩(wěn)健的 AI 模型來支撐其語義檢索、智能亮點提取和節(jié)目內(nèi)聊天功能?；诔鮿?chuàng)團隊的預(yù)算考量，他們果斷選擇 Gemma 3n 作為這些核心功能的技術(shù)引擎，從而快速推進自身愿景的規(guī)模化進程。

面臨的挑戰(zhàn)

CastFox 團隊的目標是重塑播客體驗，從孤立的單集式收聽轉(zhuǎn)變?yōu)楦S富的主題式探索。這意味著，用戶可以在應(yīng)用的播客目錄中基于語義概念 (而不僅是關(guān)鍵詞) 進行搜索，先快速生成主題概覽再深入收聽完整劇集，甚至可以與音頻內(nèi)容本身進行交互對話。

為將這一愿景轉(zhuǎn)化為現(xiàn)實，團隊需要一種兼具可擴展性與經(jīng)濟高效的方式來處理海量的英語、日語和韓語音頻。這種處理能力對于摘要、亮點和問答的生成至關(guān)重要，而這些正是驅(qū)動應(yīng)用核心功能的基石。早期測試表明，許多基于 API 的模型要么在面對大規(guī)模需求時成本過高，要么缺乏團隊特定多語言用例所需的靈活性。

解決方案

在評估了 GPT 和 Claude 等大規(guī)模專有模型以及 Whisper 流水線后，CastFox 開發(fā)者最終選擇了 Gemma 3n E4B，因為它達到了精確度、速度和性價比這三者的最佳平衡。Gemma 能夠處理多語言內(nèi)容并可靠地返回 JSON 等結(jié)構(gòu)化輸出，這是贏得團隊青睞的關(guān)鍵。另外，它的開放也是一個強大優(yōu)勢: 由于該模型成本低且易于自托管，開發(fā)者可以快速構(gòu)建原型并持續(xù)優(yōu)化。Guru Network Limited 的 AI 負責(zé)人吳充表示: "Gemma 成本低且易于部署，助力團隊實現(xiàn)了快速迭代與低成本規(guī)?；?。這是真實場景下 AI 集成的理想切入點。"

該團隊在輕量級 GPU 和 CPU 基礎(chǔ)設(shè)施上使用 Ollama 運行 Gemma 3n，這種架構(gòu)有效規(guī)避了模型再訓(xùn)練的高成本與復(fù)雜性。開發(fā)者發(fā)現(xiàn)，他們無需微調(diào)模型，僅通過提示工程和輕量級后處理 (例如驗證 JSON 架構(gòu)和平滑處理時間戳)，就能實現(xiàn)高精度結(jié)果。

Guru Network Limited 的 AI 負責(zé)人吳充：“Gemma 3n 高效、開放并且在多語言環(huán)境下表現(xiàn)卓越，是初創(chuàng)公司構(gòu)建 AI 富集型應(yīng)用的理想之選?！?/p>

如今，這一架構(gòu)支撐起了 CastFox 的整個音頻理解后端。在預(yù)處理期間，系統(tǒng)首先對節(jié)目音頻進行轉(zhuǎn)錄，隨后解析文本并生成摘要、自動分段和候選問答，所有這些內(nèi)容都存儲為 JSON 格式，以備日后檢索。這樣，Gemma 3n 就成為 CastFox 語義搜索和交互功能的幕后核心引擎。吳充表示: "AI 讓我們能夠?qū)⒉タ偷缺粍拥拿襟w轉(zhuǎn)變?yōu)橹鲃訉W(xué)習(xí)的體驗。如果沒有它，CastFox 將僅僅是一個普通的播客播放器。"

影響

Gemma 3n 在英語、韓語和日語方面均展現(xiàn)出穩(wěn)定和準確的理解能力，同時兼顧了高效的處理速度: 處理 30 秒的音頻片段大約需要 40 秒，處理 300-400 個字符的文本摘要大約需要 6 秒，從長文本中生成推薦問題大約需要 12 秒。

Guru Network Limited 的 AI 負責(zé)人吳充：“Gemma 3n 不僅具備強大的英語、韓語和日語理解能力，而且響應(yīng)能力快速穩(wěn)定。一款緊湊型模型能達到這種水平，確實令人贊嘆?！?/p>

這種自托管的方法同時實現(xiàn)了極高的成本效益。每個請求的成本只有大約 0.0007 美元，因此團隊可以輕松地大規(guī)模處理內(nèi)容。為此，他們在 AWS Spot 實例上使用可搶占容量運行預(yù)處理，而不是使用更昂貴的預(yù)留節(jié)點，從而將日均處理成本降至僅 10 美元左右。

用戶對 AI 功能的參與度很高，無論是出色的留存率指標，還是強調(diào) "與播客聊天" 功能的用戶好評，都有力地證實了這一點。在 Gemma 的支持下，CastFox 上線僅 3 周下載量就突破 100 萬次，成功吸引了一批高度活躍且粘性極強的用戶群體。

吳充認為結(jié)果不言而喻: "Gemma 3n 證明了小規(guī)模開放模型也能產(chǎn)生切實影響力。"