前言

在當今的企業(yè)環(huán)境中，信息的快速獲取和處理對于企業(yè)的成功至關(guān)重要。為了滿足這一需求，我們可以將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，以提供實時的、自動生成的信息處理和決策支持。這將有助于企業(yè)更好地應對快速變化的市場環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

企業(yè)本地知識庫是一個集中存儲和管理企業(yè)內(nèi)部知識的系統(tǒng)。它包含了企業(yè)的歷史數(shù)據(jù)、經(jīng)驗教訓、最佳實踐、流程文檔、產(chǎn)品信息等。企業(yè)本地知識庫是企業(yè)智慧的結(jié)晶，對于企業(yè)的運營和發(fā)展具有重要意義。

將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，可以為企業(yè)帶來以下幾個方面的優(yōu)勢：

1

實時性

RAG技術(shù)可以實時地從企業(yè)本地知識庫中提取相關(guān)信息，并生成用戶所需的內(nèi)容。這意味著用戶可以快速地獲取到最新的知識和信息，而不需要花費大量時間去查找和整理。

2

自動化

RAG技術(shù)可以自動地處理和生成內(nèi)容，減少了人工干預的需求。這不僅可以提高企業(yè)的效率，還可以減少人為錯誤的發(fā)生。

3

個性化和定制化

RAG技術(shù)可以根據(jù)用戶的需求和偏好，生成個性化的內(nèi)容。通過與企業(yè)本地知識庫的結(jié)合，可以提供更加精準和有針對性的信息，滿足不同用戶的需求。

4

知識共享和傳承

企業(yè)本地知識庫是一個集中存儲和共享知識的平臺。通過與RAG技術(shù)的結(jié)合，可以將這些知識快速地傳遞給需要的用戶，促進知識的共享和傳承。

1

RAG簡介

RAG - Retrieval-Augmented Generation（檢索增強生成）是一種先進的自然語言處理（NLP）技術(shù)，它結(jié)合了信息檢索（Retrieval）和神經(jīng)網(wǎng)絡生成（Generation）兩種方法，以提升模型在生成文本時的準確性和相關(guān)性。在傳統(tǒng)的生成模型中，模型依據(jù)自身學習到的知識庫生成文本。然而，這種方法受限于模型訓練時所接觸到的數(shù)據(jù)范圍，特別是在處理未見的、需要實時查找新信息的場景時，可能無法生成最新或最準確的內(nèi)容。

RAG模型通過引入一個檢索組件，在接收到輸入問題或任務后，首先從大規(guī)模預定義的知識庫（如網(wǎng)頁、文檔集合或其他結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)源）中檢索與任務相關(guān)的信息片段。然后，檢索到的信息作為額外的上下文輸入，與原始輸入一起傳遞給生成模型。生成模型在此基礎上，利用檢索到的信息以及自身的語言模型能力，生成更為精確、詳盡且與現(xiàn)實世界信息保持同步的回答或文本內(nèi)容。

簡單來說，RAG模型就是在傳統(tǒng)生成模型的基礎上增加了一個動態(tài)獲取外部知識的能力，這樣既保留了大模型生成連貫文本的優(yōu)點，又解決了由于模型記憶限制導致的知識更新和準確性不足的問題，尤其適用于問答系統(tǒng)、對話系統(tǒng)及需要實時更新信息的自然語言處理任務。

2

OpenVINO Notebook簡介

OpenVINO Notebooks是一套以Jupyter Notebook為載體的開源交互式編程教程和示例代碼合集，由英特爾公司開發(fā)和維護。這套資源專為使用 OpenVINO 工具套件的開發(fā)者設計，旨在幫助他們更快地理解和掌握如何利用 OpenVINO 進行深度學習模型的優(yōu)化與推理及實際部署AI在各式業(yè)務應用場景里面。

3

部署平臺簡介

算力魔方是一款可以DIY的迷你主機，采用了抽屜式設計，后續(xù)組裝、升級、維護只需要拔插模塊。通過選擇計算模塊的版本，再搭配不同額 IO 模塊可以組成豐富的配置，適應不同場景。性能不夠時，可以升級計算模塊提升算力, 如需要顯卡可加上顯卡， IO 接口不匹配時，可以更換 IO 模塊調(diào)整功能，而無需重構(gòu)整個系統(tǒng)。本文在帶有英特爾12代酷睿i7-1265U芯片組里的銳炬 Xe集成顯卡+RAM 32GB的算力魔方上完成驗證。

4

在集成顯卡上部署RAG

4.1

搭建OpenVINO Notebooks開發(fā)環(huán)境

第一步：請使用下面的命令克隆存儲庫創(chuàng)建并激活名為“openvino_env”的虛擬環(huán)境

git clone https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks
conda create -n openvino_env python=3.9

第二步：請使用下面的命令激活虛擬環(huán)境并安裝依賴包，并啟動Jupyter Notebooks

conda activate openvino_env
pip install -r requirements.txt

jupyter lab notebooks

4.2

下載模型到本地

請使用命令將ChatGLM3 6B和text2vec模型下載到本地

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

4.3

運行254-rag-chatbot程序

請運行Notebooks里面的代碼模塊, 注意!! 國內(nèi)用戶請勿運行模塊1，從模塊2開始一步步運行代碼到NNCF模塊，模型壓縮選擇int4并按照下圖一及二圖修改notebooks 254里的代碼引導程序指定對應的模型路徑完成ChatGLM3-6b模型int 4量化及部署

圖一

圖二

text2vec-large-chinese 模型部署

運行結(jié)果，如下所示：本地知識庫已成功加入ChatGLM 6B模型里并精確回答問題

運行視頻.avi

5

總結(jié)

將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，可以為企業(yè)提供實時、自動化、個性化和定制化的信息處理和決策支持。這將有助于企業(yè)更好地應對快速變化的市場環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

利用OpenVINO 工具套件簡單易用，僅需三步即可在算力魔方完成開發(fā)環(huán)境搭建及模型的INT4量化且在英特爾集成顯卡上的部署實現(xiàn)RAG企業(yè)本地知識庫部署。

審核編輯：劉清