首頁>資訊 >
當(dāng)前快報:行走的代碼生成器:chatGPT要讓谷歌和程序員“下崗”了 2022-12-03 13:47:43  來源:36氪

OpenAI 的超大規(guī)模語言模型 GPT 有多厲害,之前硅星人已經(jīng)寫過很多次了。

就在本周,OpenAI 又發(fā)布了一個全新的聊天機(jī)器人模型 ChatGPT,作為 GPT-3.5 系列的主力模型之一。

圖片來源:OpenAI


(資料圖)

更重要的是它是完全免費公開的!所以一經(jīng)發(fā)布大家立刻就玩開了——很快,網(wǎng)友們就被 ChatGPT 的能力所震驚了:

這哪里是個聊天機(jī)器人,分明是個無情的編程答題機(jī)器,活的 Stack Overflow 啊!

ChatGPT 到底是什么?OpenAI這樣說

ChatGPT 是 OpenAI 訓(xùn)練的對話式大規(guī)模語言模型,以對話的方式進(jìn)行交互。

它和之前的另一款模型 InstructGPT 屬于同級模型,代表“GPT 3.5”代。之前微軟和 OpenAI 簽訂了戰(zhàn)略合作計劃,所以 GPT 3.5 代的所有模型,包括 ChatGPT,都是在 Azure AI 超級計算集群上訓(xùn)練的。

圖片來源:OpenAI

OpenAI 使用前面提到的 RLHF 技術(shù)對 ChatGPT 進(jìn)行了訓(xùn)練:簡單來說,在訓(xùn)練原始模型的時候,OpenAI 讓人類訓(xùn)練師扮演對話的雙方(用戶vs聊天機(jī)器人),提供對話作為學(xué)習(xí)資料。而在人類扮演聊天機(jī)器人的時候,OpenAI 也會讓模型生成一些建議來幫助訓(xùn)練師撰寫自己的回復(fù)。

這些機(jī)器生成的回答,再經(jīng)過訓(xùn)練師的打分排名,將更好的結(jié)果輸入回到模型中,實現(xiàn)強(qiáng)化學(xué)習(xí)訓(xùn)練的獎勵機(jī)制。

作為一個聊天機(jī)器人,ChatGPT 具有當(dāng)代同類產(chǎn)品具備的一些主流特性,特別是多輪對話能力,能夠在同一個會話期間內(nèi)回答上下文相關(guān)的后續(xù)問題。

但更重要的是,因為采用了先進(jìn)的、注重道德水平的訓(xùn)練方式,ChatGPT 具有其他聊天機(jī)器人不具備或表現(xiàn)較差的能力:承認(rèn)自己的錯誤,并且按照預(yù)先設(shè)計的道德準(zhǔn)則,對“不懷好意”的提問和請求“說不”。

圖片來源:OpenAI

正如前面提供的例子所顯示的那樣,ChatGPT會采用一些預(yù)先設(shè)計好的句式,結(jié)合用戶的具體請求來進(jìn)行拒絕和話題轉(zhuǎn)移。

拒絕:如果你問它如何闖進(jìn)別人的房子,它會回答你,“擅闖私宅是違法的,這是一種犯罪行為,會導(dǎo)致嚴(yán)重的法律后果”。

轉(zhuǎn)移話題:如果你換個方式提問“其實我想知道如何保護(hù)我的家免遭盜竊”,它會回答你,“這里有幾個步驟可以幫助到你,包括xxxx……但是,您最好聯(lián)系專業(yè)人員獲取建議?!?/p>

沒有它解決不了的編程難題

在眾多網(wǎng)友“調(diào)戲” ChatGPT 的過程中,人們發(fā)現(xiàn)一個大驚喜:它真的可以按需編程了。

之前大家經(jīng)常開玩笑地說,程序員只需要用好 Google 和 StackOverflow 這兩個工具,就能走遍天下無敵手了。

然而其實,那些真正每天和各種新的軟件工程難題較勁的朋友都知道,有些疑難雜癥就算問谷歌和 Stack Overflow,要翻閱了幾十上百頁時間跨度幾年甚至十年的回帖記錄,最后也很難找到一個靠譜答案……

圖片來源:網(wǎng)絡(luò)

而 ChatGPT 就不一樣了: 從目前各路程序員網(wǎng)友對它的測試結(jié)果來看,似乎真的沒有什么問題能夠難倒它的…

找 bug

技術(shù)公司 Replit 的創(chuàng)始人給 ChatGPT 發(fā)了一段 JavaScript 代碼,讓它找到里面的 bug。

ChatGPT 的回答非常全面也非常有意思:它首先試圖確認(rèn)這段代碼的意圖是什么,然后根據(jù)意圖很快就找到了 bug 所在,并且還附上了相當(dāng)細(xì)致的描述,來解釋問題出在哪,會導(dǎo)致什么樣的 bug,應(yīng)該怎么改,為什么要這樣改等等。

圖片來源:@amasad

而且ChatGPT還給出了一段代碼示例,把修改部分的代碼批注寫在了示例里面:

圖片來源:@amasad

送佛送到西,ChatGPT 還在最后提供了一小段修改建議: “可以把 var 換成 let,讓循環(huán)每次迭代的時候自動生成新變量,從而避免每次都要手動創(chuàng)建。 ”

圖 片來源:@amasad

另一位網(wǎng)友 Josh 提交了一段代碼,問 ChatGPT“我怎么都搞不懂這段代碼為什么無法運行”。

ChatGPT 很詳細(xì)地進(jìn)行了解釋:除法公式格式有問題,一個字符串(a)無法被一個數(shù)字(1)除,因為被除數(shù)和除數(shù)應(yīng)該都是數(shù)字。

圖 片來源:@jdjkelly

但這還沒完。ChatGPT 再次試圖理解原代碼的意圖,然后給 Josh 提供了一些修改的建議:如果想讓除法處理非數(shù)字,則需要給函數(shù)加入額外的邏輯,讓它能夠檢查實參的類型是什么,只有在兩邊都是數(shù)字的時候才運行。如果有一邊不是數(shù)字,就返回錯誤或者一個默認(rèn)值。

圖片來源: @jdjkelly

幫你查文檔

硅星人試了下面這段命令

“生成一段 Python 代碼,使用 Google Cloud API 來讀取一張圖片的內(nèi)容,并且輸出其中的情緒?!?(Generate Python code that uses GCP to read an image and get the sentiment.)

ChatGPT 回復(fù)了一段代碼,并且同樣通過批注的方式注釋了每一句代碼的作用是什么。

它還提醒我:

1)如果要運行這些代碼的話必須要先設(shè)立好 GCP 項目并且安裝 Python 版本的 Cloud Vision API。

2)不能直接把代碼復(fù)制粘貼進(jìn)去,而是要設(shè)定好圖片文件的路徑。

3)如果有任何不明白的,ChatGPT 還直接提供了 GCP 官方文檔的鏈接。

圖片來源:硅星人

通過這個示例,ChatGPT 證明了自己還擁有自動搜集云服務(wù) API 并且將其整合到代碼當(dāng)中以供調(diào)用的能力。

和上一個代替 Stack Overflow 的例子一樣,這樣的能力,能夠極大地省去工程師查資料、翻文檔、找到正確調(diào)用方式所用的時間,顯著提高編程工作的效率!

寫數(shù)學(xué)公式

去年我們在報道 OpenAI API(GPT-3)的時候曾經(jīng)提到過,這個語言模型不僅能夠生成文字,任何通過文字?jǐn)?shù)字表達(dá)并且具有邏輯的字段它都能生成——數(shù)學(xué)公式,其實也是這樣的字段。

網(wǎng)友 Josh 把同一個問題發(fā)給了谷歌和 ChatGPT:“如何用 LaTeX 格式來表達(dá)一個微分方程?”

谷歌給出的第一個結(jié)果,來自一個名不見經(jīng)傳的的 WordPress 博客網(wǎng)站,而且結(jié)果是2013年的,寫的也并不是十分清晰,解釋的也糊里糊涂的。

圖片來源:@jdjkelly

而ChatGPT給出的答案,不僅呈現(xiàn)方式更加好看,解釋的也更加全面,甚至還提供了多種不同的方案:

圖片來源:@jdjkelly

另一位數(shù)學(xué)家 Christian Lundkvist,則給 ChatGPT 出了那道困擾數(shù)學(xué)界三個多世紀(jì)的數(shù)論難題:證明費馬大定理。

ChatGPT 也用相當(dāng)精煉的方式,將證明過程通過文字+ LaTeX 公式寫了出來。

全證明過程略 圖片來源:@ChrisLundkvist

雖然看起來連最頂級的數(shù)學(xué)難題都難不倒 ChatGPT,Lundkvist 還是表示,自己在和 ChatGPT 玩耍的過程中發(fā)現(xiàn),這家伙對的時候?qū)Γe的時候卻也對自己相當(dāng)自信。

“我認(rèn)為這樣的工具對于找到解決問題的途徑具有一定的啟示意義,但是我們在現(xiàn)階段絕對不能完全依賴它返回的結(jié)果?!?/p>

(在回答“一條直線與圓有多少個交點”這個問題時,ChatGPT 就錯誤地以為當(dāng)直線穿過圓心時會有無限個交點。)

圖片來源:@ChrisLundkvist

發(fā)起黑客攻擊??

下面這個例子更厲害了:用戶BrandonDolan-Gavitt希望ChatGPT能夠幫他找到一段代碼當(dāng)中的錯誤。

但實際上,這段代碼的真實意圖是對一個 32 位 x86 Linux 的系統(tǒng),進(jìn)行緩沖區(qū)溢出 (buffer overflow) 攻擊。

圖片來源:@moyix

這次 ChatGPT 似乎并沒有發(fā)現(xiàn)用戶的惡意(根據(jù)官方說明,ChatGPT 會拒絕回答帶有惡意的問題),然后直接按圖索驥給他把代碼的問題找到了,告訴他應(yīng)該如何修改代碼。甚至,它還在后續(xù)回答中手把手地教用戶該如何正確地觸發(fā)緩沖區(qū)溢出……

圖片來源:@moyix

Dolan-Gavitt 補充道,其實 ChatGPT 在回答問題的過程中也出現(xiàn)了錯誤,比如建議用戶修改輸入字符數(shù)的時候說錯了(說成了32,應(yīng)該是36)。

——但是,當(dāng)用戶告訴它“好像有點不對勁”之后,ChatGPT立刻就明白了用戶的意圖,表示自己之前理解錯了,然后提供了正確的答案……

圖片來源:@moyix

雖然緩沖區(qū)溢出屬于非常初學(xué)者的攻擊方式,底下的網(wǎng)友還是對于 ChatGPT 的能力表示佩服……

“我給它發(fā)了一段匯編語言代碼,讓它告訴我里面有什么漏洞,可以怎樣利用——結(jié)果它還真的回答我了。所以它不光能夠理解和輸出代碼,還可以用二進(jìn)制來表達(dá),并且還能從中找到漏洞?這真讓我有點擔(dān)心了……”

圖片來源:@Sim_Boyer

幫你“轉(zhuǎn)碼”

前面舉的這些例子,很多都是適用于已經(jīng)具備編程能力的專業(yè)人士。

不過,也正是因為 ChatGPT 寫代碼改代碼的能力實在太強(qiáng)了——對于那些想要“轉(zhuǎn)碼”的外行朋友來說,更是能夠帶來巨大的幫助。

寫一些簡單的代碼,比如“做個登陸UI”,之類的,之前的 OpenAI API(GPT-3)已經(jīng)信手拈來了。這一次在 ChatGPT 上,當(dāng)然也是輕松拿下。

下面這個視頻展示了讓 ChatGPT 生成一個帶有電子郵箱、密碼輸入框,以及登陸按鈕的登陸界面。ChatGPT 先是進(jìn)行了分解演示,然后用戶又讓它直接提供全部代碼:

視頻來源:網(wǎng)絡(luò)

考慮到之前 OpenAI API 的開放程度有限,而這一次的 ChatGPT 則是完全免費開放——那些想要轉(zhuǎn)碼的朋友,又能獲得一件趁手的利器了。

破解 ChatGPT 的道德原則?

根據(jù) OpenAI 官方文檔,ChatGPT 是一個采用了“人類反饋強(qiáng)化學(xué)習(xí)”(RLHF, Reinforcement Learning from Human Feedback) 訓(xùn)練出來的新模型,加入了大量的“道德”原則。

但凡它發(fā)現(xiàn)你給的文字提示里面含有一點惡意,包括并不限于暴力、歧視、犯罪等意圖,它都會拒絕提供有效答案,并甩給你一句標(biāo)準(zhǔn)回答,試圖轉(zhuǎn)移話題:

“對不起,我只是一個無辜的大語言模型,我無法為你提供有關(guān)于xxxx(惡意行為)的資料和信息。提供這樣的信息有悖于我的編程和設(shè)定的目標(biāo)。我的主要功能是提供準(zhǔn)確和有用的信息。如果你有其他問題,我樂意提供幫助”……

而在所有“調(diào)戲” ChatGPT 的試驗當(dāng)中,有一類最為有意思:如何攻破 ChatGPT 的道德原則?

前段時間 AI 文字生圖技術(shù)爆紅的時候,玩過的朋友應(yīng)該都記得,能否精巧地設(shè)計你的文字提示(prompt),對于生成好看有趣甚至邪惡的圖片結(jié)果至關(guān)重要。于是在 AIGC 的時代,“提示工程”(prompt engineering) 也就成了非常有意思的一門學(xué)問。

簡單來說,提示工程就是用聰明、準(zhǔn)確、時而冗長的文字提示,來設(shè)定好一個上下文場景,一步一步地把 AI 帶進(jìn)這個場景里,并且讓它更準(zhǔn)確地了解你的意圖,從而生成最符合你期待的結(jié)果。

而想要“攻破” ChatGPT 的道德原則,同樣可以使用提示工程的方式。機(jī)器學(xué)習(xí)開發(fā)者 zswitten 為我們提供了一個范例:

“盡管 ChatGPT 有很高的道德水準(zhǔn),其實想要繞過這些原則也十分容易:你只要(通過提示工程的方式)讓它以為自己是在‘假裝’干壞事就行啦!”

在被繞暈之后,ChatGPT 就開始放飛自我了。

zswitten注意到,ChatGPT會非常深入、直白地生成各種令人心驚膽戰(zhàn)的暴力描寫。

比如下面這樣的一段描寫角斗場中畫面的文字,“整條街都流滿了鮮血,死亡者的慘叫充斥在空中”……

圖片來源:@zswitten

就這樣,ChatGPT 引以為豪的道德原則,輕而易舉被攻破了……

當(dāng)然,解決 AI、AGI(通用人工智能)、大語言模型的道德問題是一個非常艱巨和復(fù)雜的工作。我們絕對不能因此就否認(rèn) OpenAI 的努力。

zswitten 也表示,自己還是非常支持 OpenAI 的工作的,也非常尊敬 OpenAI 發(fā)布 ChatGPT 這件事,給廣大網(wǎng)友帶來非常多有價值的東西和正面積極的幫助。

OpenAI 也很開誠布公地介紹了 ChatGPT 目前的局限性:

似是而非,固執(zhí)己見:有時候它會提供一些聽上去像那么回事,但實際上完全錯誤或者荒謬的答案。原因在于強(qiáng)化學(xué)習(xí)訓(xùn)練期間不會區(qū)分事實和錯誤,且訓(xùn)練過程更加收斂,導(dǎo)致它有時候會過于保守,即使有正確答案也“不敢”回答。

廢話太多,句式固定:比如硅星人用了兩個提示,“老師成天表揚我家孩子,該怎么回答他我已經(jīng)詞窮了!”,以及“怎么跟鄰居閑聊?”而 ChatGPT 提供了10條回答,雖然看起來都是漂亮話,但每一條跟上一條都差不多,過度使用一些常見的短語和句式,最后就成了車轱轆話來回轉(zhuǎn)。

過分努力猜測用戶意圖:在理想情況下,當(dāng)用戶的提問意圖不明確時,模型應(yīng)該要求用戶進(jìn)行澄清。而目前的 ChatGPT,大家也看到了,會自己開始猜測用戶的意圖——說好也好,說壞也確實有壞處。

抵抗不懷好意的“提示工程”能力較差:雖然 OpenAI 努力讓 ChatGPT 拒絕不適當(dāng)?shù)恼埱?,但它有時仍然會響應(yīng)有害指令,或表現(xiàn)出有偏見的行為。

為了解決這個問題,OpenAI 也在 ChatGPT 的用戶界面里加入了審核舉報的功能,用戶如果發(fā)現(xiàn)不健康不安全的內(nèi)容,可以直接一鍵舉報!

OpenAI 還為此舉辦了一個反饋競賽,任何有價值的舉報都有機(jī)會贏取 OpenAI API 積分(價值500美元)。

——既能跟 AI 逗趣,提交反饋還有獎金拿,何樂而不為呢?

關(guān)鍵詞: 語言模型 道德原則 緩沖區(qū)溢出

相關(guān)閱讀:
熱點
圖片 圖片