金華商城系統(tǒng)軟件公司解說-機(jī)器學(xué)習(xí)：基礎(chǔ)知識

ChatGPT 的核心是生成式機(jī)器學(xué)習(xí)模型家族的大型語言模型。這個(gè)系列還包括 Stable Diffusion 以及所有其他提示驅(qū)動(dòng)的文本模型，現(xiàn)在每天新聞?dòng)懻摰亩际沁@些模型。

簡單來說，生成式模型是一種函數(shù)，它可以將結(jié)構(gòu)化的符號集合作為輸入，并生成相關(guān)的結(jié)構(gòu)化符號集合作為輸出。

下面是結(jié)構(gòu)化符號集合的一些示例：

• 單詞中的字母

• 句子中的單詞

• 圖像中的像素

• 視頻中的幀

將一個(gè)符號集合轉(zhuǎn)換為另一個(gè)相關(guān)符號集合的方法有很多種，這些方法并不限于計(jì)算機(jī)程序。你可以編寫一個(gè)使用規(guī)則和查找表的計(jì)算機(jī)程序，就像 60 年代的聊天機(jī)器人。

金華商城系統(tǒng)軟件公司解說-概念介紹：確定性與隨機(jī)性

在討論關(guān)系之前，我們先來介紹兩個(gè)概念，它們將在本文中反復(fù)出現(xiàn)：

• 確定性：確定的過程指的是，在輸入既定的情況下，必然能得到相同的輸出。

• 隨機(jī)性：隨機(jī)過程指的是，在輸入既定的情況下，得到的輸出有一定隨機(jī)性，即有時(shí)得出這樣的輸出，有時(shí)則會(huì)得出其他輸出。

例如，糖果機(jī)就是確定性的，投入一塊錢，轉(zhuǎn)動(dòng)手柄，每次都能拿到一塊糖。也就是說，一塊錢=一塊糖，永遠(yuǎn)不變。

但從另一個(gè)角度來看，糖果機(jī)也是隨機(jī)的，投入一塊錢，轉(zhuǎn)動(dòng)手柄，每次都能拿到一塊糖，但這塊糖的顏色基本上是隨機(jī)的，且每種顏色的概率取決于機(jī)器內(nèi)部不同顏色的比例。五臺(tái)不同的糖果機(jī)，五種不同的顏色比例，就會(huì)有五種不同的顏色輸出概率分布。

暫時(shí)拋開這些關(guān)鍵概念，下面我們來說一說為什么關(guān)系很難。

金華商城系統(tǒng)軟件公司解說-關(guān)系很重要

符號集合可以按照不同的方式關(guān)聯(lián)在一起，關(guān)系越抽象越微妙，我們就需要投入越多技術(shù)來解決需要捕捉這種關(guān)系的問題。

1. 假設(shè)我們將集合 {cat} 與 {at-cay} 關(guān)聯(lián)在一起，這是一個(gè)標(biāo)準(zhǔn)的“豬拉丁”轉(zhuǎn)換（Pig Latin，一種英語語言游戲，形式是在英語上加上一點(diǎn)規(guī)則使發(fā)音改變，小孩子經(jīng)常通過這種游戲秘密交流），我可以用一個(gè)簡單的手寫規(guī)則集來管理這種關(guān)系。

2. 假設(shè)我們將集合 {cat} 與 {dog} 關(guān)聯(lián)在一起，那么這兩個(gè)集合可以在多個(gè)抽象級別上關(guān)聯(lián)。

• 作為有序的符號集合（序列），二者都有三個(gè)符號。

• 作為三個(gè)符號的序列，二者都是單詞。

• 作為單詞，二者都指代生物有機(jī)體。

• 作為有機(jī)體，二者都是哺乳動(dòng)物。

• 作為哺乳動(dòng)物，二者都是家養(yǎng)寵物。

• 等等。

3. 假設(shè)我們將集合 {the cat is alive} 與 {the cat is dead} 關(guān)聯(lián)在一起，那么就可以使用更多、甚至更高階的概念來比較和對比這兩個(gè)符號序列。

• 所有與貓相關(guān)的概念都可以考慮，所有“活著”與“死”相關(guān)的概念也在考慮范圍內(nèi)。

• 在另一個(gè)層面上，許多讀者會(huì)發(fā)現(xiàn)我們可以稱之為對薛定諤貓的互文引用。

4. 我們再添加一種關(guān)系，{the cat is immature} 與 {the cat is mature}。那么此處，我們討論的是身體發(fā)育階段還是情感發(fā)展?fàn)顟B(tài)？

• 因?yàn)樗且恢回?，“immature”（不成熟）的意思就是“年輕”、“孩子”等。

• 如果句子的主語是人，那么這個(gè)句子更有可能討論的是適齡行為的一些情感概念。

在閱讀上述內(nèi)容時(shí)，你可以想象，隨著列表項(xiàng)從 1 到 4，符號之間的可能關(guān)系會(huì)出現(xiàn)爆炸式增長。隨著可能關(guān)系數(shù)量的增加，關(guān)系本身的抽象性、復(fù)雜性和微妙性方面也在加劇。

上述，不同的關(guān)系采用不同類別的符號存儲(chǔ)和檢索（從紙筆到數(shù)據(jù)中心），以有用的方式捕獲和編碼。

對于第 1 個(gè)關(guān)系，我們只需在一張紙上畫出簡單地“豬拉丁”關(guān)系，任何人看了這張圖，就可以將英語單詞轉(zhuǎn)換為“豬拉丁”。但是到第 4 個(gè)例子的時(shí)候，我們就會(huì)思考一個(gè)問題：為什么機(jī)器學(xué)習(xí)會(huì)需要價(jià)值幾千萬美元的資源？

1. 我們發(fā)現(xiàn)這兩個(gè)集合之間可能存在的關(guān)系就像一個(gè)小宇宙。這是一個(gè)令人眼花繚亂、緊密相連的概念網(wǎng)絡(luò)，從簡單的物理特征到生物分類學(xué)，再到身體和情感發(fā)展的微妙概念，一直沿著抽象階梯向上延伸。

2. 一些更抽象的可能關(guān)系出現(xiàn)的可能性更大。因此，我們就需要考慮概率元素。

• 正如我在例子中所說，如果我談?wù)摰氖且恢回垼敲闯墒旌筒怀墒旄锌赡苁桥c身體發(fā)育相關(guān)的一組概念，而不太可能圍繞情感或智力發(fā)育。

對于上述第 2 條中提到的概念，“不太可能”并不意味著不可能，特別是如果我們拓寬背景。例如，我們添加一些額外的詞：

• {Regarding the cat in the hat: the cat is mature.}

• {Regarding the cat in the hat: the cat is immature.}

突然間，所有的可能性都發(fā)生了變化。此處，成熟和不成熟代表的含義可能就是另一個(gè)領(lǐng)域。

概括：

• 當(dāng)符號集合之間的關(guān)系簡單且確定時(shí)，你不需要太多存儲(chǔ)或計(jì)算能力即可將一個(gè)集合與另一個(gè)集合關(guān)聯(lián)起來。

• 當(dāng)符號集合之間的關(guān)系復(fù)雜且隨機(jī)時(shí)，將一個(gè)集合與另一個(gè)集合相關(guān)聯(lián)，就需要投入更多的存儲(chǔ)和計(jì)算能力，從而以更豐富、更復(fù)雜的方式關(guān)聯(lián)這些集合。

金華商城系統(tǒng)軟件公司解說-概念介紹：概率分布

高中的化學(xué)曾介紹過一個(gè)概念，有助于我們思考生成式 AI：原子軌道。

原子軌道指的是電子在原子核外空間出現(xiàn)機(jī)率較大的區(qū)域。不同能級的電子具有不同形狀的軌道，這意味著它們可能會(huì)出現(xiàn)在不同的區(qū)域。

下圖是氫原子的軌道：

我們單獨(dú)挑出一個(gè)來看看：

對于上圖中的軌道，如果你用比電子更小的東西戳原子，區(qū)域越亮，你戳到電子的幾率就越高。對于圖片中的黑色區(qū)域，并不意味著找到電子的概率為零，只是說這個(gè)區(qū)域出現(xiàn)電子的概率低到幾乎為零。

這些軌道是概率分布，它們具有特定的形狀，上圖中的軌道像四個(gè)花瓣，所以如果你觀察這四個(gè)區(qū)域之一的一個(gè)點(diǎn)，則更有可能發(fā)現(xiàn)一個(gè)電子，而黑色區(qū)域則相反。

以上就是你需要了解的量子化學(xué)知識，也是暫時(shí)你需要了解的所有背景知識。下面，我們來談一談 ChatGPT。

金華商城系統(tǒng)軟件公司解說-ChatGPT 不了解任何真相，也沒有任何觀點(diǎn)

你可以想象，對于 ChatGPT 這樣的模型，模型可能生成的每個(gè)可能文本塊（從幾個(gè)亂七八糟的單詞到整篇連貫的文章）都是概率分布中的一個(gè)點(diǎn)，就像以上我們討論的氫原子軌道中電子的分布位置。

當(dāng)你在 ChatGPT 的輸入框輸入一組單詞時(shí)，例如：“Tell me about the state of a cat in a box with a flask of poison and a bit of radioactive material”，你可以把點(diǎn)擊“提交”按鈕的動(dòng)作想象成進(jìn)行一次觀察，這會(huì)引發(fā)波函數(shù)坍縮，并得出一個(gè)符號集合（只是許多可能的集合的一個(gè)）。

有些讀者可能會(huì)意識到，文本到文本的大型語言模型，實(shí)際上是在概率空間中找到一個(gè)單詞，并將它們串在一起形成句子。不過，在這個(gè)抽象層次上，“潛在空間指的是模型可能輸出的所有單詞的多維空間”與“潛在空間指的是可能輸出的所有單詞序列的多維空間”之間有一定的區(qū)別。為了方便讀者理解，并最大程度地降低復(fù)雜性，此處我們采用后一個(gè)定義。

有時(shí)，文本提示輸入會(huì)將你帶到概率分布中的一個(gè)點(diǎn)，其對應(yīng)的集合為 {The cat is alive}，而有的時(shí)候，你會(huì)到達(dá)不同的點(diǎn)，比如對應(yīng)于 {The cat is dead}。

請注意，上述輸入符號也有可能會(huì)將你帶到模型的潛在空間中的一個(gè)點(diǎn)，其對應(yīng)的集合為 {ph'nglui mglw'nafh Cthulhu R'lyeh wgah'nagl fhtagn}，盡管這種可能性幾乎為零。這一切都取決于文本輸入戳中的概率分布的形狀，以及計(jì)算機(jī)的隨機(jī)數(shù)生成器。

重點(diǎn)在于，在這個(gè)例子中，我們經(jīng)常說語言模型“知道”貓的狀態(tài)（生或者死），但其實(shí)這并不重要。模型內(nèi)部是否對貓有一定的了解，以及對其環(huán)境有不同的掌握，這些其實(shí)也是次要的。

更好的方式是從這個(gè)角度理解：

在模型可能產(chǎn)生的所有符號集合的空間中（從胡言亂語的集合到莎士比亞的文集），模型概率分布中某些區(qū)域包含的符號集合，我們?nèi)祟惱斫鉃?the cat is alive。在同一個(gè)概率空間中還有一些相鄰區(qū)域包含的符號集合，我們?nèi)祟惱斫鉃?The cat is dead。

以下是我們可能會(huì)在 ChatGPT 的潛在空間中遇到的一些與貓相關(guān)的符號集合，即可能的輸出空間：

• {The cat roused herself from slumber and blinked her eyes.}

• {The soft breathing of the sleeping cat greeted Schr?dinger as he opened the box.}

• {Ja mon, de cat him dead.}

• {“I’ve killed my favorite cat!” screamed Schr?dinger as he pulled his pet’s lifeless corpse from the box.}

  
  

• {Patches watched the scene from above, his astral cat form floating near the ceiling as his master lifted his lifeless body from the box and wept.}

當(dāng)你用不同的輸入集合戳模型時(shí)，遇到有些輸出集合的概率可能更高，但理論上所有輸出集合都有可能遇到。

因此，雖然你和我都圍繞某個(gè)事實(shí)與 ChatGPT 進(jìn)行交互時(shí)，例如，孟加拉虎是否瀕臨滅絕，我們不應(yīng)該認(rèn)為 ChatGPT 是擁有一些個(gè)人經(jīng)歷的實(shí)體，或者認(rèn)為 ChatGPT 掌握了一些關(guān)于孟加拉虎的事實(shí)，即便它告訴你和我兩個(gè)人的信息有一些矛盾，也不能認(rèn)為它對其中一個(gè)人撒謊。

相反，我們應(yīng)該認(rèn)為，通過我的文本提示，我觀察到了概率分布中的一個(gè)點(diǎn)，這個(gè)概率分布對應(yīng)于關(guān)于孟加拉虎的一組事實(shí)和概念，而你也做了相同的事情。我們兩個(gè)得到了不同的單詞序列，而且這些單詞序列似乎代表不同的事實(shí)，例如它告訴我這種老虎瀕臨滅絕，但告訴你這種老虎非常普通，這是因?yàn)槲覀儍蓚€(gè)戳中了概率分布中不同的波瓣，并在不同波瓣中找到了不同的點(diǎn)。

• 我戳中的概率分布中波瓣包含的單詞序列，按照人類的理解，意思是孟加拉虎瀕臨滅絕。

• 你戳中的概率分布中波瓣包含的單詞序列，按照人類的理解，意思是孟加拉虎數(shù)量過剩。

那么，我們應(yīng)該如何解決這個(gè)問題呢？

考慮到實(shí)際情況是，孟加拉虎確實(shí)瀕臨滅絕，我們需要去掉概率分布中你戳中的那個(gè)波瓣（即孟加拉虎數(shù)量過剩），或者至少降低這個(gè)概率。

金華商城系統(tǒng)軟件公司解說-幻覺：特性還是錯(cuò)誤？

當(dāng)大型語言模型輸出的單詞序列不符合現(xiàn)實(shí)真相時(shí)，我們說該模型是產(chǎn)生了“幻覺”。

目前，我們有一套方法可以幫助我們塑造大型語言模型輸出的概率分布，也就是說讓一些區(qū)域變得更小或密度更低，而一些區(qū)域變得更大或更密集：

1.訓(xùn)練

2.微調(diào)

3.帶有人類反饋的強(qiáng)化學(xué)習(xí) (RLHF)

我們可以在高質(zhì)量的數(shù)據(jù)上訓(xùn)練一個(gè)基礎(chǔ)模型。所謂的高質(zhì)量數(shù)據(jù)指的是符號集合，我們作為人類觀察者認(rèn)為這些數(shù)據(jù)有意義，而且是符合世界真相的符號集合。通過這種方式，經(jīng)過訓(xùn)練的模型就像一個(gè)原子，其軌道的形狀也符合我們的認(rèn)知。

接下來，我們嘗試一下這個(gè)模型，找出我們不希望在觀察過程中在輸出空間中遇到的區(qū)域，然后我們使用更有針對性、精心設(shè)計(jì)的訓(xùn)練數(shù)據(jù)對模型進(jìn)行微調(diào)。這種微調(diào)會(huì)縮小一部分波瓣，并擴(kuò)大一部分波瓣，同時(shí)我們希望在多次微調(diào)波瓣的形狀之后，這個(gè)波函數(shù)一次又一次的縮小能夠得到更加令我們滿意的輸出。

最后，我們利用帶有人類反饋的強(qiáng)化學(xué)習(xí)，引入一些人為因素來幫助我們調(diào)整模型概率空間的形狀，使其盡可能緊密地覆蓋所有可能輸出空間中對應(yīng)于世界“真相”的點(diǎn)，同時(shí)不覆蓋“虛假”事物相對應(yīng)的點(diǎn)。正確完成這一步的工作后，模型概率空間的所有觀察對我們來說都是“真相”點(diǎn)。

關(guān)于本節(jié)中的內(nèi)容，我個(gè)人主要有兩個(gè)問題：

1. 我們一直提到的這個(gè)“觀察者”是誰，是負(fù)責(zé)解釋模型的輸出并判斷對錯(cuò)的人？他們是聰明還是愚蠢？他們真的對真相感興趣，還是說他們只是想塑造這個(gè)模型的概率分布來達(dá)到自己的目的？

2. 如果我有幸成為決定模型輸出是否真實(shí)的觀察者，我真的只想要真相嗎？如果我想讓模型講一個(gè)關(guān)于獨(dú)角獸的睡前故事，我會(huì)希望它模仿某位著名的主持人給我講故事嗎？一般來說模型的創(chuàng)造能力是一個(gè)特性，而不是非黑即白，不是嗎？

這些問題是“幻覺”問題的核心，但這些不是技術(shù)問題，而是語言、解釋學(xué)、政治的哲學(xué)，最重要的是：這是一個(gè)權(quán)力的問題。

金華商城系統(tǒng)軟件公司解說-ChatGPT 完全不了解你

與 ChatGPT 的交互體驗(yàn)非常強(qiáng)大，但實(shí)際上它只是一個(gè) UI，就像計(jì)算器應(yīng)用程序看起來像一個(gè)小型物理計(jì)算器一樣。

雖然你以為模型在設(shè)法了解你，就像你了解它一樣，隨著對話的發(fā)展，你倆都在不斷加深對彼此的了解。但實(shí)際情況并非如此。

你需要徹底擺脫自己正在與 ChatGPT 交談的想法，為此你需要掌握的最后一個(gè)概念：令牌窗口。

ChatGPT 之前的語言模型

對于本文介紹的普通語言模型，你為模型提供一組輸入，它執(zhí)行概率操作，然后提供輸出。輸入會(huì)進(jìn)入模型的令牌窗口。

• 這里的“令牌”指的就是本文一直在談?wù)摰摹胺枴薄Ｎ蚁氡M量避免使用專業(yè)術(shù)語，所以才說“符號”，但實(shí)際上模型接收和輸出的都是令牌。

• “窗口”是模型可以接收并轉(zhuǎn)化為一系列輸出的令牌數(shù)量。

因此，當(dāng)我使用 ChatGPT 之前的大型語言模型時(shí)，我將令牌放入令牌窗口，然后模型返回潛在空間中的一個(gè)點(diǎn)，而該點(diǎn)位于我放入的令牌附近。

關(guān)鍵在于，概率空間不會(huì)因我放入窗口的令牌而改變形狀。當(dāng)與我交互的窗口從一個(gè)變成另一個(gè)時(shí)，模型的權(quán)重保持不變，即模型不記得前一個(gè)窗口的內(nèi)容。

你可以這樣認(rèn)為：每次我將令牌放入模型的窗口并點(diǎn)擊“提交”時(shí)，就好像我在大街上撞見了模型，并第一次與它交談，它不會(huì)記錄任何有關(guān)與我交互的歷史或信息。

還有一個(gè)不太完美的類比：每次我將特定提示和種子輸入 Stable Diffusion，都會(huì)得到相同的圖片。每個(gè)提示和種子的組合都會(huì)將我?guī)У教囟▓D像所在潛在空間中的一個(gè)點(diǎn)，如果我繼續(xù)給它相同的輸入，那么最后仍將獲得相同的輸出。我沒有與模型建立任何共享的歷史記錄，而 Stable Diffusion 也沒有“學(xué)習(xí)”任何關(guān)于我的信息。

最終結(jié)果是，模型經(jīng)過訓(xùn)練后，唯一可獲得的信息僅限于我放入令牌窗口的內(nèi)容。如果我在令牌窗口中輸入一個(gè)包含我婚姻狀況的單詞序列，那么模型會(huì)獲取這些序列，并返回潛在空間中與輸入序列相鄰的一個(gè)點(diǎn)，而這個(gè)點(diǎn)代表與我在令牌窗口中給它的事實(shí)相關(guān)的信息。

金華商城系統(tǒng)軟件公司解說-偽造個(gè)性是 ChatGPT 一個(gè)很酷的技能

ChatGPT 是一個(gè)具有很大的令牌窗口的大型語言模型，它的使用體驗(yàn)更具交互性，讓用戶感覺就像真正的對話一樣。

下面，我們來實(shí)際試試看 ChatGPT 的 UI，假設(shè)我打開了瀏覽器，啟動(dòng)了一個(gè) ChatGPT 會(huì)話，如下所示：

Me: What’s up, man.（你好，最近怎么樣？）

ChatGPT: Not much. What’s up with you?（還那樣。你怎么樣？）

Me: Eh, my cat just died in a lab accident.（唉，我的貓剛死于一次實(shí)驗(yàn)室事故。）

ChatGPT: I’m very sorry to hear that.（聽到這個(gè)消息我感到非常遺憾。）

Me: Yeah, it sucks. I’ve already picked out a dog at the shelter, though. I pick him up this afternoon. （是的，我感覺很糟糕。不過，我已經(jīng)從收養(yǎng)所挑選了一只狗。今天下午我就去接他。）

ChatGPT: That’s exciting! I’m sure your new dog will be a as good a companion for you as your now deceased cat.（太好啦！我相信你的狗會(huì)像已故的貓一樣成為你的好伴侶。）

我們將這個(gè)此會(huì)話分解為多個(gè)令牌窗口，然后輸入到模型中：

令牌窗口 1：

{What's up, man.}（你好，最近怎么樣？）

輸出1：

{Not much. What’s up with you?}（還那樣。你怎么樣？）

令牌窗口 2：

{Me: What’s up, man. （你好，最近怎么樣？）

ChatGPT: Not much. What’s up with you?（還那樣。你怎么樣？）

Me: Eh, my cat just died in a lab accident.} （唉，我的貓剛死于一次實(shí)驗(yàn)室事故。）

輸出2：

{I'm very sorry to hear that.} （聽到這個(gè)消息我感到非常遺憾。）

令牌窗口 3：

{Me: What’s up, man. （你好，最近怎么樣？）

ChatGPT: Not much. What’s up with you? （還那樣。你怎么樣？）

Me: Eh, my cat just died in a lab accident. （唉，我的貓剛死于一次實(shí)驗(yàn)室事故。）

ChatGPT: I’m very sorry to hear that. （聽到這個(gè)消息我感到非常遺憾。）

Me: Yeah, it sucks. I’ve already picked out a dog at the shelter, though.} （是的，我感覺很糟糕。不過，我已經(jīng)挑選了收養(yǎng)所的一只狗。今天下午我就去接他。）

輸出3：

{That’s exciting! I’m sure your new dog will be a as good a companion for you as your now deceased cat.} （太好啦！我相信你的狗會(huì)像已故的貓一樣成為你的好伴侶。）

看到了嗎？OpenAI 不斷將每次談話的輸出附加到現(xiàn)有輸出，這樣令牌窗口的內(nèi)容就會(huì)隨著談話的進(jìn)行而不斷增加。

每次我點(diǎn)擊“發(fā)送”時(shí)，OpenAI 不僅將我的最新輸入提交給模型，還會(huì)將會(huì)話中所有之前的談話內(nèi)容都添加到令牌窗口，這樣模型就可以獲取整個(gè)“聊天記錄”，并將我引向其概率空間中正確的波瓣。

換句話說，隨著我與 ChatGPT 會(huì)話的進(jìn)行，我為這個(gè)模型提供的“文本提示”越來越長，信息也越來越豐富。因此，在第三次交流中，ChatGPT “知道”我的貓已經(jīng)死了，并且能夠做出恰當(dāng)?shù)幕貞?yīng)，正是因?yàn)?OpenAI 一直在秘密地將我們的整個(gè)“聊天”歷史記錄放入每個(gè)新的令牌窗口中。

但除了我們的聊天記錄之外，這個(gè)模型不可能“知道”關(guān)于我的任何事情。所以說，令牌窗口是一種共享的、可變的狀態(tài)，模型和我一起不斷修改它，其中的內(nèi)容是模型為了回復(fù)我而用于查找相關(guān)單詞序列的一切。

總結(jié)一下：

• 模型的權(quán)重在正常使用期間不可變，這個(gè)權(quán)重決定了上述概率分布，并代表了模型“知道”的關(guān)于這個(gè)世界的一切。

• 我可以向模型輸入新的“事實(shí)”，也就是我輸入到令牌窗口的信息，模型據(jù)此生產(chǎn)新的輸出。

如果你掌握了以上所有內(nèi)容，就會(huì)明白即將推出的 OpenAI 模型版本中的 32K-token 窗口非常重要。這個(gè)令牌窗口足以讓模型加載新的事實(shí)，例如客服歷史記錄、書籍章節(jié)或腳本、動(dòng)作序列以及許多其他內(nèi)容。

隨著令牌窗口越來越大，預(yù)訓(xùn)練模型可以即時(shí)“學(xué)習(xí)”更多東西，因此也能解鎖更多全新的 AI 功能。