MOE與MOT：提升LLM效能的關鍵策略比較

MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內的令牌被混合，并且混合令牌由專家前饋層處理。

2024-04-15 標簽：控制器機器學習LLM 2.7k 0

使用Huggingface創(chuàng)建大語言模型RLHF訓練流程

ChatGPT已經成為家喻戶曉的名字，而大語言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術來改進我們的業(yè)務。

2023-12-06 標簽：機器學習SFTDPO 2.7k 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標簽：gpu模型LLM 2.7k 0

主流GPU/TPU集群組網方案深度解析

用于連接 GPU 服務器中的 8 個 GPU 的 NVLink 交換機也可以用于構建連接 GPU 服務器之間的交換網絡。Nvidia 在 2022 年的...

2024-04-24 標簽：gpu服務器InfiniBand 2.7k 0

基于大語言模型的共情回復生成：實證研究和改進

對以ChatGPT為代表的LLMs在共情回復生成上的表現進行了全面的實證研究，LLMs在現有的基準數據集上，對比以往的SOTA模型，表現極其優(yōu)越。

2023-11-21 標簽：編碼器GPTChatGPT 2.7k 1

基于Transformer的大型語言模型（LLM）的內部機制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內部機制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標簽：存儲語言模型Transformer 2.6k 0

基于LLM的表格數據的大模型推理綜述

面向表格數據的推理任務，在計算機領域，特別是自然語言處理（Natural Language Processing，NLP）領域的研究中扮演著重要角色[1...

2024-01-08 標簽：SQL語言模型大模型 2.6k 0

OpenVINO? C# API部署YOLOv9目標檢測和實例分割模型

YOLOv9模型是YOLO系列實時目標檢測算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標簽：英特爾計算機視覺深度學習 2.6k 0

怎樣使用Accelerate庫在多GPU上進行LLM推理呢？

大型語言模型(llm)已經徹底改變了自然語言處理領域。隨著這些模型在規(guī)模和復雜性上的增長，推理的計算需求也顯著增加。

2023-12-01 標簽：GPU芯片自然語言處理LLM 2.6k 0

LLM的幻覺問題最新綜述

幻覺被描述為無意義或不忠實于所提供源內容的生成內容。根據與源內容的矛盾，這些幻覺又進一步分為內在幻覺和外在幻覺。在LLMs中，幻覺的范圍包含了一個更廣泛...

2023-11-22 標簽：人工智能渦輪增壓ChatGPT 2.6k 0

適用于各種NLP任務的開源LLM的finetune教程~

ChatGLM2-6b是清華開源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調，是目前社區(qū)非常活躍的一個開源LLM。

2023-07-24 標簽：LoRa模塊nlpprompt 2.6k 0

BigCode背后的大規(guī)模數據去重方法有哪些？

本文面向對大規(guī)模文檔去重感興趣，且對散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標簽：存儲器URLpython 2.5k 0

用PaddleNLP在4060單卡上實踐大模型預訓練技術

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓練一個大語言模型需要投資多少錢》，其中高昂的預訓練費用讓許多對大模型預訓練技術感興趣...

2025-02-19 標簽：數據集大模型LLM 2.5k 0

RISC -V跑大模型（一）

去年，ChatGPT的出現震驚了全世界，在短短幾個月的時間內，ChatGPT的月活躍用戶達到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（...

2023-07-17 標簽：RISC-VRISC-V處理器ChatGPT 2.5k 0

如何在 OrangePi 5 Pro?的?NPU?上運行?LLM

在OrangePi5Pro上訪問NPU需要安裝最新版Ubuntu的定制版本，還需要安裝特殊軟件，讓你能在NPU而不是CPU上運行專門轉換的LLM。整個過...

2024-11-28 標簽：單片機開發(fā)板NPU 2.5k 0

低比特量化技術如何幫助LLM提升性能

針對大語言模型 (LLM) 在部署過程中的性能需求，低比特量化技術一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術如何幫助 LLM 提升性能，以及...

2023-12-08 標簽：輕量化技術大模型LLM 2.5k 0

RISC-V 跑大模型（二）：LLaMA零基礎移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標簽：RISC-V大模型LLM 2.4k 0

大模型LLM領域，有哪些可以作為學術研究方向？

隨著全球大煉模型不斷積累的豐富經驗數據，人們發(fā)現大模型呈現出很多與以往統(tǒng)計學習模型、深度學習模型、甚至預訓練小模型不同的特性，耳熟能詳的如Few/Zer...

2023-05-29 標簽：深度學習自然語言處理nlp 2.4k 0

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現幻覺的可能性。

2024-02-22 標簽：數據庫語言模型知識圖譜 2.4k 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調整的大型語言模型 (LLM) 在各種 NLP 任務中表現出卓越的能力，但它們在文本以外的其他數據模式上的有效性尚未得到充分研究。在這項工作中，...

2023-06-19 標簽：模塊語言建模語言模型 2.4k 0