一文詳解GPT tokenizer 的工作原理

語(yǔ)言大模型（如 GPT-3/4、LLaMA 和 PaLM）使用 token 作為基本單位進(jìn)行工作。它們接受文本作為輸入，將其轉(zhuǎn)換為 token（整數(shù)），...

2023-09-15 標(biāo)簽：AI開(kāi)源GPT 1.5k 0

谷歌Gemini被曝算力達(dá)GPT-4五倍，手握TPU王牌碾壓OpenAI

根據(jù)Patel和Nishball的說(shuō)法，此前屢屢被爆料將成為GPT-4大殺器的谷歌Gemini，已經(jīng)開(kāi)始在新的TPUv5 Pod上進(jìn)行訓(xùn)練了，算力高達(dá)~...

2023-09-04 標(biāo)簽：gpu算力OpenAI 1.7k 0

OpenAI開(kāi)放大模型微調(diào)功能！

除了提高性能之外，還能縮短提示時(shí)間，確保類(lèi)似性能。另外，微調(diào)目前僅支持處理4000 tokens，這也是此前微調(diào)型號(hào)的兩倍。16k tokens微調(diào)將于...

2023-08-24 標(biāo)簽：數(shù)據(jù)集OpenAI大模型 1.3k 0

生成式AI正在偷走你的數(shù)據(jù)？

數(shù)據(jù)，是AI發(fā)展的養(yǎng)料。人們?cè)谳p而易舉獲取數(shù)據(jù)的同時(shí)，對(duì)數(shù)據(jù)安全的討論也此起彼伏。

2023-08-16 標(biāo)簽：MPC聊天機(jī)器人ai技術(shù) 1.1k 0

GPT-4沒(méi)有推理能力嗎？

今年三月，OpenAI 重磅發(fā)布了 GPT-4 大模型，帶來(lái)了比 ChatGPT 背后 GPT-3.5 更強(qiáng)的推理、計(jì)算、邏輯能力，也引發(fā)了全民使用的熱...

2023-08-11 標(biāo)簽：機(jī)器學(xué)習(xí)GPTOpenAI 1.8k 0

了解ChatGPT背后的芯片 生成人工智能的下一個(gè)可能階段是什么？

ChatGPT 等生成式人工智能工具對(duì)社會(huì)眾多領(lǐng)域產(chǎn)生了巨大影響。作為工程師，了解使之成為可能的計(jì)算技術(shù)對(duì)我們很有幫助。

2023-08-11 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)DDR人工智能 697 0

關(guān)于領(lǐng)域大模型-訓(xùn)練Trick&落地的一點(diǎn)思考

現(xiàn)有大模型在預(yù)訓(xùn)練過(guò)程中都會(huì)加入書(shū)籍、論文等數(shù)據(jù)，那么在領(lǐng)域預(yù)訓(xùn)練時(shí)這兩種數(shù)據(jù)其實(shí)也是必不可少的，主要是因?yàn)檫@些數(shù)據(jù)的數(shù)據(jù)質(zhì)量較高、領(lǐng)域強(qiáng)相關(guān)、知識(shí)覆蓋...

2023-08-09 標(biāo)簽：MIPSQLSFT 2.8k 0

生成式ai會(huì)帶來(lái)怎樣的改變？生成式AI引領(lǐng)各行各業(yè)邁向高效新時(shí)代

2022 年 11 月 22 日是一個(gè)歷史性時(shí)刻，給各行各業(yè)帶來(lái)了震撼和影響。 那一天，OpenAI 發(fā)布了有史以來(lái)最先進(jìn)的 AI 聊天機(jī)器人 Chat...

2023-08-04 標(biāo)簽：cpuNVIDIAgpu 2.7k 0

基于模型的自動(dòng)駕駛汽車(chē)端到端深度強(qiáng)化學(xué)習(xí)概述

真實(shí)駕駛場(chǎng)景中，通過(guò)觀(guān)察和互動(dòng)，使智能駕駛汽車(chē)能夠積累知識(shí)并應(yīng)對(duì)不可預(yù)測(cè)的情況。我們將智駕汽車(chē)的這種對(duì)世界運(yùn)作方式稱(chēng)為“常規(guī)認(rèn)知”，它使智能汽車(chē)能夠找到...

2023-07-25 標(biāo)簽：解碼器圖像轉(zhuǎn)換自動(dòng)駕駛 662 0

OpenAI到底做對(duì)了什么？OpenAI發(fā)展的5大技術(shù)路線(xiàn)

為什么AGI這樣史詩(shī)級(jí)的革命，背后的核心推手竟然是OpenAI這樣的創(chuàng)業(yè)公司？OpenAI到底做對(duì)了什么？

2023-07-24 標(biāo)簽：人工智能半監(jiān)督學(xué)習(xí)OpenAI 2.8k 0

什么是深度強(qiáng)化學(xué)習(xí)？深度強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛領(lǐng)域的應(yīng)用

最近，人工智能領(lǐng)域最火的莫過(guò)于大模型了。

2023-07-24 標(biāo)簽：人工智能自動(dòng)駕駛機(jī)器學(xué)習(xí)算法 3.2k 0

Llama2的技術(shù)細(xì)節(jié)探討分析

模型結(jié)構(gòu)為T(mén)ransformer結(jié)構(gòu)，與Llama相同的是采用RMSNorm歸一化、SwiGLU激活函數(shù)、RoPE位置嵌入、詞表的構(gòu)建與大小，與Llam...

2023-07-23 標(biāo)簽：函數(shù)OpenAILlama2 2.2k 0

大模型時(shí)代：企業(yè)如何與AI相生相成？

94%的人正在使用基礎(chǔ)模型API。在我們的樣本中，OpenAI的GPT顯然是最受歡迎的，占91%，然而Anthropic的興趣在上個(gè)季度增長(zhǎng)到15%。(...

2023-07-17 標(biāo)簽：AI聊天機(jī)器人OpenAI 823 1

什么是LangChain？深入地了解一下LangChain

在日常生活中，我們通常致力于構(gòu)建端到端的應(yīng)用程序。有許多自動(dòng)機(jī)器學(xué)習(xí)平臺(tái)和持續(xù)集成/持續(xù)交付（CI/CD）流水線(xiàn)可用于自動(dòng)化我們的機(jī)器學(xué)習(xí)流程。我們還有...

2023-07-14 標(biāo)簽：機(jī)器人OpenAI 5.0萬(wàn) 0

RISC-V跑大模型（一）

在我寫(xiě)本文時(shí)，剛好是WAIC 2023舉行的時(shí)候，感覺(jué)無(wú)處不是大模型。

2023-07-10 標(biāo)簽：gpuRISC-VOpenAI 991 0

AI大模型的的三個(gè)發(fā)展階段

AI大模型可分為自然語(yǔ)言處理大模型，CV大模型、科學(xué)計(jì)算大模型等。AI大模型支持的模態(tài)更加多樣，從支持文本、圖片、圖像、語(yǔ)音單一模態(tài)下的單一任務(wù)，逐漸發(fā)...

2023-07-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)云計(jì)算AI 4.4k 0

ChatGPT團(tuán)隊(duì)是如何使用Kubernetes的

在本文中，OpenAI 的工程師團(tuán)隊(duì)分享了他們?cè)?Kubernetes 集群擴(kuò)展過(guò)程中遇到的各種挑戰(zhàn)和解決方案，以及他們?nèi)〉玫男阅芎托Ч?/p>

2023-07-06 標(biāo)簽：服務(wù)器機(jī)器學(xué)習(xí)kubernetes 1.3k 0

把LangChain跑起來(lái)的3個(gè)方法

使用 LangChain 開(kāi)發(fā) LLM 應(yīng)用時(shí)，需要機(jī)器進(jìn)行 GLM 部署，好多同學(xué)第一步就被勸退了，

2023-07-05 標(biāo)簽：SQLOpenAIChatGPT 2k 0