Firefly開(kāi)源團(tuán)隊(duì)推出了 Llama3 部署包，提供簡(jiǎn)易且完善的部署教程，過(guò)程無(wú)需聯(lián)網(wǎng)，簡(jiǎn)單快捷完成本地化部署。

Step.1

準(zhǔn)備部署包

進(jìn)入 Firefly下載中心，下載 Llama3 部署包。

在電腦上以管理員身份打開(kāi)cmd：

執(zhí)行 scp 命令傳輸部署包至AIBOX，并輸入密碼 linaro 獲取訪(fǎng)問(wèn)權(quán)限。

scpllama3.tarlinaro@:~/

其中為模型實(shí)際的文件路徑， 是 AIBOX-BM1684X 的 IP 地址

例：scp C:\Users\Administrator\Downloads\llama3.tar linaro@192.168.150.1:~/

Step.2

部署Llama3

完成部署包的傳輸后，執(zhí)行登錄命令，連接 AIBOX，并輸入密碼 linaro。

sshlinaro@192.168.150.1

執(zhí)行以下解壓命令，解壓部署包，等到解壓完成。

tar-xvf./llama3.tar

解壓完成后，執(zhí)行部署腳本，等待部署完成。

./talk_to_llama3.sh

使用Llama3

部署完成后，即可使用 Llama3。

Tip：部署過(guò)程中無(wú)需聯(lián)網(wǎng)，首次部署 Llama3 需要花費(fèi)較長(zhǎng)時(shí)間進(jìn)行相應(yīng)的軟件安裝（3-5min），請(qǐng)耐心等待。