20世紀50年代

NLP的早期研究主要基于規(guī)則的方法，依賴于語言學(xué)專家手工編寫的規(guī)則和詞典。這些規(guī)則通常是關(guān)于語法、語義和句法結(jié)構(gòu)的人工規(guī)則。

例如一個簡單的陳述句通常遵循“主語 + 謂語 + 賓語”的結(jié)構(gòu)，每一個陳述句都以這種規(guī)則做標記。

那時候的NLP就像個剛學(xué)步的小孩，靠的是一堆人工的規(guī)則，就像小時候?qū)W說話，需要一個字一個字地學(xué)，學(xué)完單詞學(xué)語法。

20世紀70年代

隨著時間的推移，20世紀70年代隨著計算能力的提升和數(shù)據(jù)的積累，NLP開始轉(zhuǎn)向基于統(tǒng)計學(xué)的方法。這些方法依賴于大量的文本數(shù)據(jù)，通過統(tǒng)計模型來捕捉語言模式，而非手工制定規(guī)則。統(tǒng)計方法開始重視詞語的共現(xiàn)關(guān)系，并通過概率推斷來實現(xiàn)語言處理任務(wù)。

NLP開始用大數(shù)據(jù)來學(xué)習(xí)語言的規(guī)律，就像你長大了，通過聽周圍人說話來學(xué)習(xí)新詞匯和表達，但是對于你來說每個單詞都是獨立的，相互沒有關(guān)系。

2013年

2013年，基于嵌入embedding的NLP方法被發(fā)明，通過將詞語、短語、句子等語言元素映射到高維的連續(xù)向量空間中，這些向量捕捉了詞語之間的語義關(guān)系，使得模型能夠更好地理解和處理語言。

就像用表情符號來表達情感一樣，表情是人類語言的抽象，這些向量能捕捉詞語的意思和關(guān)系。

同年Encoder-decoder的模型結(jié)構(gòu)被發(fā)明，為后續(xù)的序列到序列（Seq2Seq）模型奠定了基礎(chǔ)，至此命運的齒輪開始轉(zhuǎn)動。

2017年

2017年，"Attention is all you need"論文的發(fā)表標志著Transformer模型的誕生，它在上一個階段詞嵌入的基礎(chǔ)上，基于自注意力機制的模型，它徹底改變了NLP領(lǐng)域的模型設(shè)計和訓(xùn)練方式。

Transformer模型通過多頭注意力機制和位置編碼，有效地處理了序列數(shù)據(jù)，提高了模型的并行處理能力和性能。它用自注意力機制讓模型能同時關(guān)注句子中的所有詞，就像你在聊天時，能同時關(guān)注群里每個人的發(fā)言。

隨后，基于Transformer架構(gòu)的BERT和GPT等模型相繼出現(xiàn)，它們通過預(yù)訓(xùn)練和微調(diào)的方式，在多種NLP任務(wù)上取得了突破性的性能。

2022年

之后的故事大家都很熟悉了，2022年chatgpt橫空出世，大模型的涌現(xiàn)一發(fā)不可收拾。你知道他們?yōu)槭裁唇写竽Ｐ蛦?？是因為這些模型的參數(shù)量已經(jīng)達到了百億甚至千億級別！

AI體系化學(xué)習(xí)路線

學(xué)習(xí)資料免費領(lǐng)

【后臺私信】AI全體系學(xué)習(xí)路線超詳版+100余講AI視頻課程 +AI實驗平臺體驗權(quán)限

全體系課程詳情介紹