Mistral NeMo 處理和生成高度準確內(nèi)容的能力為企業(yè)帶來了新機遇。

Mistral AI 和 NVIDIA 于近日共同發(fā)布了一款全新的領(lǐng)先語言模型Mistral NeMo 12B。開發(fā)者可以輕松定制和部署該模型，令其適用于支持聊天機器人、多語言任務、編碼和摘要的企業(yè)應用。

Mistral NeMo 模型結(jié)合了 Mistral AI 在訓練數(shù)據(jù)領(lǐng)域的專業(yè)知識與 NVIDIA 經(jīng)過優(yōu)化的軟硬件生態(tài)系統(tǒng)，能夠為各種應用提供高性能。

Mistral AI 聯(lián)合創(chuàng)始人兼首席科學家 Guillaume Lample 表示：“我們十分幸運能與 NVIDIA 團隊合作，并充分利用他們的頂尖硬件和軟件。得益于NVIDIA AI Enterprise的部署，我們共同開發(fā)了一個具有前所未有的準確性、靈活性、高效率以及企業(yè)級支持和安全性的模型?！?/p>

Mistral NeMo 是在NVIDIA DGX CloudAI 平臺上所訓練而成，該平臺提供對最新 NVIDIA 架構(gòu)的專用可擴展訪問。

另外，為了推進和優(yōu)化進程，還使用了用于加速大語言模型推理性能的NVIDIA TensorRT-LLM和用于構(gòu)建自定義生成式 AI 模型的NVIDIA NeMo開發(fā)平臺。

此次合作突顯了 NVIDIA 致力于支持模型構(gòu)建生態(tài)系統(tǒng)的決心。

實現(xiàn)前所未有的準確性、

靈活性和效率

這款企業(yè)級 AI 模型在多輪對話、數(shù)學、常識推理、世界知識和編碼方面表現(xiàn)出色，能夠在各種任務中提供精確、可靠的性能。

Mistral NeMo 具有 128K 的上下文長度，能夠更加連貫、準確地處理大量復雜信息，確保輸出結(jié)果與上下文的關(guān)聯(lián)性。

Mistral NeMo 是一個擁有 120 億個參數(shù)的模型，以 Apache 2.0 許可證發(fā)布，該許可證旨在促進創(chuàng)新并支持更廣泛的人工智能社區(qū)。此外，該模型使用 FP8 數(shù)據(jù)格式進行模型推理，在不降低準確性的前提下減少了內(nèi)存大小并加快了部署速度。

這意味著該模型能夠更好地了解任務，并更加有效地處理各種場景，是企業(yè)用例的理想選擇。

Mistral NeMo 被打包成NVIDIA NIM 推理微服務，借助 NVIDIA TensorRT-LLM 引擎提供性能優(yōu)化的推理。

這種容器化格式便于在任何地方進行部署，為各種應用帶來了更大的靈活性。

因此，該模型可以部署到任何位置，而且時間也從原來的幾天縮短到幾分鐘。

NIM 使用 NVIDIA AI Enterprise 中的企業(yè)級軟件，提供專門的功能分支、嚴格的驗證流程以及企業(yè)級安全和支持。

NIM 包含全方位的支持、與 NVIDIA AI 專家的直接連線以及明確的服務水平協(xié)議，保證了可靠、一致的性能。

由于使用的是開放模型許可證，企業(yè)可以將 Mistral NeMo 無縫集成到商業(yè)應用中。

Mistral NeMo NIM 適用于NVIDIA Ada Lovelace架構(gòu) RTX 40 系列獨立 GPU，如NVIDIA GeForce RTX 4090 D或NVIDIA RTX 4500 GPU的顯存，具有高效率、低計算成本以及更高的安全性和隱私性。

先進的模型開發(fā)和定制

Mistral AI 與 NVIDIA 工程師結(jié)合雙方的專業(yè)知識，優(yōu)化了 Mistral NeMo 的訓練和推理。

該模型使用 Mistral AI 的專業(yè)知識（尤其是多語言、代碼和多輪內(nèi)容方面的專業(yè)知識）訓練，并從 NVIDIA 全棧加速訓練中獲益。

它采用了具有最佳性能的設計，通過Megatron-LM實現(xiàn)了高效的模型并行技術(shù)、可擴展性和混合精度。

該模型使用 NVIDIA NeMo 中的 Megatron-LM 以及 DGX Cloud 上的 3072 個 80GB Tensor Core GPU 訓練而成。DGX Cloud 由 NVIDIA AI 架構(gòu)組成，包括加速計算、網(wǎng)絡編織結(jié)構(gòu)、軟件等，可提高訓練的效率。

可用性和部署

Mistral NeMo 可以靈活地在云、數(shù)據(jù)中心或 RTX 工作站等任何地方運行，隨時隨地為各種平臺上的 AI 應用帶來變革。

立刻通過https://developer.nvidia.cn/nim 了解以 NVIDIA NIM 形式提供的 Mistral NeMo?？上螺d的 NIM 也即將推出。