ChatGPT竟然成論文的共同作者了?
(相關(guān)資料圖)
在去年12月發(fā)表的一篇預(yù)印本論文中,我們驚訝地發(fā)現(xiàn),作者一欄中赫然驚現(xiàn)了ChatGPT!
論文地址:https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full
ChatGPT這是成精了?
雖然大家都知道,ChatGPT擁有超強(qiáng)的寫(xiě)作能力,但是,它已經(jīng)能和人類合作,寫(xiě)出一篇研究自己的論文了嗎?
(沒(méi)準(zhǔn)還真行)
帶著一百個(gè)問(wèn)號(hào),小編點(diǎn)開(kāi)這篇論文開(kāi)始仔細(xì)研究,不過(guò)讀完之后,一百個(gè)問(wèn)號(hào)變成了一千個(gè)。
就是說(shuō),并沒(méi)有看出哪句話是ChatGPT寫(xiě)的。只能說(shuō),ChatGPT的確在研究中扮演了十分重要的角色。
然而,這就更加讓人困惑了:一個(gè)生物學(xué)實(shí)驗(yàn)中有了小白鼠參與,小白鼠就可以出現(xiàn)在作者欄里嗎?(恒河猴、羊駝、兔子、果蠅紛紛表示不服
)
對(duì)此,網(wǎng)友也看懵了:也不知道是他們強(qiáng)迫ChatGPT去參加USMLE考試更有趣,還是讓人工智能成為論文作者更有趣。
被迫參加考試,還成了論文作者
所以,在這篇論文中,ChatGPT究竟是扮演了怎樣的角色呢?
讓咱們來(lái)捋一捋。
文章標(biāo)題是《ChatGPT在USMLE上的表現(xiàn):使用大型語(yǔ)言模型進(jìn)行AI輔助醫(yī)學(xué)教育的潛力》。
總的來(lái)說(shuō),就是研究人員讓ChatGPT參加了一個(gè)美國(guó)的醫(yī)學(xué)執(zhí)照考試。
為什么選擇這個(gè)考試呢?
這是因?yàn)?,這個(gè)考試的難度很高,問(wèn)題非常復(fù)雜(無(wú)論是語(yǔ)言上,還是概念上),同時(shí)呢,又有著高度標(biāo)準(zhǔn)化的規(guī)范。
巧了不是,這些恰恰都是AI的強(qiáng)項(xiàng)。
沒(méi)有經(jīng)過(guò)專門的訓(xùn)練或強(qiáng)化,ChatGPT在三項(xiàng)考試中幾乎都及格了,或是接近及格。并且,在ChatGPT的答卷,給了研究者很大的驚喜。
下面咱們來(lái)具體說(shuō)說(shuō)。
USMILE有多難
美國(guó)的醫(yī)學(xué)執(zhí)照考試USMILE,涵蓋了基礎(chǔ)科學(xué)、臨床推理、醫(yī)療管理和生物倫理學(xué)。
它的問(wèn)題在文本和概念上都很密集。
試題的小插圖中,包含大量多模態(tài)的臨床數(shù)據(jù)(包括病史、體格檢查、實(shí)驗(yàn)室值和研究結(jié)果),而參加考試的學(xué)生,需要做出診斷,鑒別出許多模棱兩可的情景。
論LLM與USMILE的適配性
研究者為什么看上了ChatGPT作為「小白鼠」呢?
以往的AI模型,主要是深度學(xué)習(xí) (DL) 模型,用于學(xué)習(xí)和識(shí)別數(shù)據(jù)中的模式。
而ChatGPT屬于通用大規(guī)模語(yǔ)言模型(LLM)?;谛滦虯I算法,經(jīng)過(guò)訓(xùn)練的LLM可以根據(jù)前面單詞的上下文,預(yù)測(cè)一個(gè)給定的單詞序列的可能性。
因此,如果能夠在足夠大的文本數(shù)據(jù)上進(jìn)行訓(xùn)練,那么LLM便可以生成從未觀察到的新詞序列,而這些語(yǔ)句,都是基于自然人類語(yǔ)言的合理序列。
不許刷題,ChatGPT零準(zhǔn)備上考場(chǎng)
ChatGPT之所以強(qiáng)大,是因?yàn)樗驹贕PT3.5的肩膀上。而GPT3.5是在OpenAI 175B參數(shù)基礎(chǔ)模型上訓(xùn)練出來(lái)的,另外,它還通過(guò)強(qiáng)化和監(jiān)督學(xué)習(xí)方法,從網(wǎng)絡(luò)上獲取了大量的文本數(shù)據(jù)。
但是這次,ChatGPT是完全的「裸考」了。
這次的試題,是研究者在2022年6月,從USMILE的官方樣題中抽取的376道公開(kāi)試題。
并且,研究者進(jìn)行了隨機(jī)抽查,確保這些題在2022年1月1日以前并沒(méi)有相關(guān)內(nèi)容被收錄進(jìn)谷歌索引。
要知道,ChatGPT的訓(xùn)練數(shù)據(jù)集就截止在這個(gè)時(shí)間之前。也就是說(shuō),ChatGPT事先并沒(méi)有見(jiàn)過(guò)這些題。
實(shí)驗(yàn)方法概述
結(jié)果,ChatGPT在考試中越戰(zhàn)越勇,準(zhǔn)確性不斷提高,這說(shuō)明,它在不斷學(xué)習(xí),不斷完善自己。
到最后,它逐漸逼近甚至超過(guò)了USMILE的及格線。
ChatGPT在USMLE中的表現(xiàn)相當(dāng)優(yōu)異
另外,在考試中,ChatGPT還會(huì)針對(duì)問(wèn)題產(chǎn)生新的見(jiàn)解,這就可以幫助人類更好地理解問(wèn)題。
在實(shí)驗(yàn)中,研究者引入了一個(gè)量化AI生成的解釋中包含的洞察力密度(DOI)。可以觀察到,ChatGPT的DOI在回答準(zhǔn)確的問(wèn)題中,明顯比不準(zhǔn)確的問(wèn)題要高。
這些數(shù)據(jù)表明,人類學(xué)習(xí)者如果回答不正確,可以從ChatGPT的輸出中獲得新見(jiàn)解,來(lái)進(jìn)行補(bǔ)救。
就是說(shuō),ChatGP不光自己會(huì)在全新的試題中自學(xué)成學(xué)霸,還能用來(lái)幫助人類學(xué)渣。
總之,最后研究者得出結(jié)論:大型語(yǔ)言模型在醫(yī)學(xué)教育和臨床決策上,都有巨大的應(yīng)用潛力。
嗯,道理咱都懂,可是論文讀到最后都沒(méi)搞明白,ChatGPT怎么就成共同作者了呢?
莫非是研究者覺(jué)得,ChatGPT參加了考試,作了答,所以「對(duì)本文亦有貢獻(xiàn)」?
在醫(yī)學(xué)界,ChatGPT「高產(chǎn)似母豬」
你有沒(méi)有發(fā)現(xiàn),醫(yī)學(xué)領(lǐng)域的研究人員對(duì)「GPT」可謂是達(dá)到了癡迷的程度。
不僅僅是我們這次的主角,文章最開(kāi)始提到的那篇也是出自一個(gè)「神經(jīng)科學(xué)和生理學(xué)研究所」。
而ChatGPT的名字,自去年12月起,更是頻繁地出現(xiàn)在該領(lǐng)域一些經(jīng)過(guò)同行評(píng)審的論文當(dāng)中:
論文地址:https://www.oncoscience.us/article/571/text/
不過(guò),在這篇論文中,ChatGPT是正經(jīng)寫(xiě)了內(nèi)容的,咱們一眼就能看出來(lái)。
另外,還有下面這篇論文,ChatGPT在作者欄中,也占了二分之一的名額。
論文地址:https://www.sciencedirect.com/science/article/abs/pii/S1471595322002517
怎樣才能算是論文作者?
一篇論文怎么署名,是一件大事。
作者署名賦予了作者名譽(yù),也有重要的學(xué)術(shù)、社會(huì)和經(jīng)濟(jì)意義。
ChatGPT何德何能,和專家們一同登上作者欄呢?
對(duì)此,我們問(wèn)了問(wèn)ChatGPT是怎么看的:
其實(shí),關(guān)于作者的職責(zé),只需隨手一搜就能找到很多詳細(xì)的講解。
既然都是醫(yī)學(xué)領(lǐng)域的論文,不如我們就來(lái)看看ICMJE(國(guó)際醫(yī)學(xué)期刊編輯委員會(huì))都有哪些建議。
簡(jiǎn)單來(lái)說(shuō),可以概括為以下四點(diǎn):
1. 對(duì)研究的思路或設(shè)計(jì)有重要貢獻(xiàn),或者為研究獲取、分析或解釋數(shù)據(jù);
2. 起草研究論文或者在重要的智力性內(nèi)容上對(duì)論文進(jìn)行修改;
3. 對(duì)將要發(fā)表的版本作最終定稿;
4. 同意對(duì)研究工作的各個(gè)方面承擔(dān)責(zé)任以確保與論文任何部分的準(zhǔn)確性或誠(chéng)信有關(guān) 的質(zhì)疑得到恰當(dāng)?shù)恼{(diào)查和解決。
所有被指定為作者的人都應(yīng)該滿足作者署名的4條標(biāo)準(zhǔn),而所有滿足以上4條標(biāo)準(zhǔn)者也都應(yīng)該被確定為作者。未滿足全部4條標(biāo)準(zhǔn)者應(yīng)該出現(xiàn)在致謝部分。
現(xiàn)在問(wèn)題來(lái)了,ChatGPT符合幾條呢?
參考資料:
https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full
https://www.icmje.org/recommendations/translations/chinese2018.pdf
關(guān)鍵詞: 語(yǔ)言模型 醫(yī)學(xué)教育 研究人員
- 笑死,ChatGPT竟然出現(xiàn)在論文共同作者欄:我研究我自己,怎么啦?
- 天天動(dòng)態(tài):北京公租房可以買下來(lái)嗎?
- 湖南啟動(dòng)寒潮雨雪冰凍四級(jí)應(yīng)急響應(yīng)
- 天天熱訊:北京公租房可以調(diào)換小區(qū)么?
- 海外new things | AR技術(shù)開(kāi)發(fā)商「Lumus」發(fā)布“Z-Lens”AR眼鏡,更好地滿足日常生活所需
- 成都到自貢燈會(huì)的自駕路線推薦
- 快看:開(kāi)年第一單!訂單里的中國(guó),活力滿滿!
- 湖南啟動(dòng)低溫雨雪冰凍災(zāi)害Ⅳ級(jí)應(yīng)急響應(yīng)
- 動(dòng)態(tài):短視頻的2022,難講新故事
- 【全球獨(dú)家】裁員、欠薪,游戲手機(jī)黑鯊離場(chǎng),小而美的黃金時(shí)代結(jié)束 | 焦點(diǎn)分析
- 環(huán)球速訊:穿越時(shí)光隧道與古釣魚(yú)城“面對(duì)面”
- 今日訊!新興國(guó)家沒(méi)準(zhǔn)備好迎接電動(dòng)車,但中國(guó)制造除外
- 世界看熱訊:中國(guó)2022年CPI漲幅平穩(wěn)
- 全球今亮點(diǎn)!我的心愿
- 當(dāng)大學(xué)生返鄉(xiāng)后 這些“隱藏技能”看呆網(wǎng)友
- 提高虹橋火車站出行效率 政協(xié)委員為"2分鐘"較真
- 環(huán)球熱議:A股三大指數(shù)周線齊收三連陽(yáng) 北向資金凈買入133億
- 開(kāi)機(jī)啟動(dòng)項(xiàng)命令是什么?如何查看和停止Linux啟動(dòng)的服務(wù)?
- 全球資訊:建工修復(fù)3項(xiàng)技術(shù)獲北京市新技術(shù)新產(chǎn)品(服務(wù))認(rèn)定
- 全球視點(diǎn)!年報(bào)披露數(shù)據(jù)復(fù)核不到位、披露不準(zhǔn)確等多處違規(guī) 恒泰艾普審計(jì)機(jī)構(gòu)立信中聯(lián)及相關(guān)人員收北京證監(jiān)局警示函
- 低碳菜單引領(lǐng)寧波餐飲消費(fèi)新風(fēng)尚 試點(diǎn)將持續(xù)至今
- 深圳坪山打造餐飲服務(wù)食品安全示范高地 嚴(yán)守食品
- 黑龍江哈爾濱推出“沙盒”監(jiān)管新模式 激發(fā)市場(chǎng)活
- 第三季度全國(guó)消協(xié)受理投訴數(shù)量同比增10.02% 食品
- 北京懷柔對(duì)機(jī)動(dòng)車檢測(cè)機(jī)構(gòu)開(kāi)展監(jiān)督抽查 規(guī)范機(jī)動(dòng)
- 天津北辰扎實(shí)做好價(jià)格監(jiān)管工作 維護(hù)安全有序市場(chǎng)
- 北京石景山開(kāi)展冬季供暖前特種設(shè)備安全專項(xiàng)檢查
- 陜西延安:開(kāi)展兒童化妝品專項(xiàng)檢查 規(guī)范化妝品市
- 北京海淀開(kāi)展商品條碼專項(xiàng)監(jiān)督檢查 努力打造穩(wěn)定
- 金華推進(jìn)網(wǎng)絡(luò)直播營(yíng)銷治理顯成效 培育放心消費(fèi)直
- 1 笑死,ChatGPT竟然出現(xiàn)在論文共同作者欄:我研究我
- 2 天天動(dòng)態(tài):北京公租房可以買下來(lái)嗎?
- 3 湖南啟動(dòng)寒潮雨雪冰凍四級(jí)應(yīng)急響應(yīng)
- 4 天天熱訊:北京公租房可以調(diào)換小區(qū)么?
- 5 海外new things | AR技術(shù)開(kāi)發(fā)商「Lumus」發(fā)布“Z
- 6 成都到自貢燈會(huì)的自駕路線推薦
- 7 快看:開(kāi)年第一單!訂單里的中國(guó),活力滿滿!
- 8 湖南啟動(dòng)低溫雨雪冰凍災(zāi)害Ⅳ級(jí)應(yīng)急響應(yīng)
- 9 動(dòng)態(tài):短視頻的2022,難講新故事
- 10 【全球獨(dú)家】裁員、欠薪,游戲手機(jī)黑鯊離場(chǎng),小而美