在編程競(jìng)賽網(wǎng)站 Codeforces 舉辦的 10 場(chǎng)比賽中，AlphaCode 取得了前 54.3% 成績(jī)。這意味著，它打敗了將近一半的人類(lèi)選手。更為關(guān)鍵的是，比賽中的所有代碼都是由 AlphaCode 自動(dòng)生成的，全程無(wú)需人工監(jiān)督。

　　AlphaCode 取得的成績(jī)意味著什么?它會(huì)搶走程序員的飯碗嗎?在基礎(chǔ)科學(xué)領(lǐng)域，AI 發(fā)揮了怎樣的作用?該如何理解人類(lèi)和 AI 的關(guān)系?

　　上周，《今夜科技談》邀請(qǐng)到了科普作家瘦駝、Jina AI 創(chuàng)始人兼 CEO 肖涵、一流科技 OneFlow 創(chuàng)始人兼 CEO 袁進(jìn)輝，聊了聊和 AI 有關(guān)的話(huà)題。

　　如何評(píng)價(jià)AlphaCode取得的成績(jī)?它還需要人工訓(xùn)練嗎?

　　肖涵：AlphaCode 其實(shí)不是一個(gè)單一的算法，它是根據(jù) GPT-3 模型搭建出來(lái)的一個(gè)系統(tǒng)。所以我們不認(rèn)為 AlphaCode 是AI算法上的突破，它的突破在于產(chǎn)生了一個(gè)能夠勝任比較復(fù)雜任務(wù)的系統(tǒng)。

　　就算法訓(xùn)練來(lái)說(shuō)，人工智能的第一步是預(yù)訓(xùn)練。就是把 GitHub 上的程序都拉下來(lái)，讓這個(gè)模型對(duì)編程有一個(gè)初步的認(rèn)識(shí)。

　　第二步是微調(diào)。因?yàn)轭A(yù)訓(xùn)練得到的知識(shí)并不都是有用的，它們給出了一個(gè)大體的世界觀，但如果要解決具體的問(wèn)題，就需要定向調(diào)整。

　　AlphaCode 做的另外一件事就是構(gòu)建了一套評(píng)判系統(tǒng)。因?yàn)榛诮o定的題目，AlphaCode 可以生成大量答案，但它并不知道這些答案正確與否。所以把問(wèn)題答案和他給出的答案輸入到這個(gè)系統(tǒng)中，它就可以評(píng)判答案正確與否。

　　整個(gè)過(guò)程確實(shí)就像 AlphaCode 發(fā)布時(shí)所宣稱(chēng)的，是可以做到完全無(wú)監(jiān)督的。

　　袁進(jìn)輝：我認(rèn)為 AlphaCode 是里程碑式的進(jìn)展，根據(jù)自然語(yǔ)言描述，自動(dòng)生成可解決算法問(wèn)題的完整程序，這很了不起。

　　其實(shí)我對(duì) AlphaCode，經(jīng)歷了從低估到高估再到低估的心理轉(zhuǎn)變。

　　我在看到論文細(xì)節(jié)之前，低估了 AlphaCode。和 GPT-3 訓(xùn)練自然語(yǔ)言類(lèi)似，AlphaCode 本質(zhì)上也是抓取了 GitHub 上的幾百億行代碼，捕捉語(yǔ)言結(jié)構(gòu)，再生成。并且，相比于非常不規(guī)律的自然語(yǔ)言，代碼的語(yǔ)法是非常規(guī)律的。從這個(gè)角度來(lái)說(shuō)，AlphaCode 和以前解決問(wèn)題的方法差不多。

　　但令我感到意外的是，我本來(lái)以為 AlphaCode 的原理是自動(dòng)搜索代碼庫(kù)中已有的代碼片段，但實(shí)際上這些代碼都是預(yù)訓(xùn)練模型自動(dòng)生成的。傳統(tǒng)上我們認(rèn)為 AI 解決的通常是低精度的問(wèn)題，比如圖片識(shí)別準(zhǔn)確率 90% 已經(jīng)很高了，但讓 AI 做到 100% 的準(zhǔn)確率是極難的。而代碼恰恰要求 100%，即使是寫(xiě)錯(cuò)一個(gè)變量名稱(chēng)，或者少打一個(gè)“;”，程序也會(huì)報(bào)錯(cuò)。所以這時(shí)我又高估了 AlphaCode。

　　后來(lái)我又看了 AlphaCode 的論文，發(fā)現(xiàn)它確實(shí)可以自己生成完整程序，但中間也用了一些取巧的成分。比如說(shuō)它會(huì)為一個(gè)問(wèn)題生成 100 萬(wàn)份程序，其中當(dāng)然有對(duì)有錯(cuò)。AlphaCode 會(huì)篩選掉 99% 的代碼，留下 1%。在這 1% 的幾千份代碼中，AlphaCode 又通過(guò)聚類(lèi)篩選等方式，篩選出 10 個(gè)答案提交到 Codeforces。只要這 10 個(gè)答案中有一個(gè)正確答案，就算過(guò)了。

　　所以 AlphaCode 并不是一次性生成解決問(wèn)題的程序，而是為一個(gè)問(wèn)題生成數(shù)十萬(wàn)、上百萬(wàn)的程序，經(jīng)過(guò)簡(jiǎn)單測(cè)試、樣例篩選，最終篩選出正確答案。

　　對(duì)比Codex、Github Copilot這些輔助編程工具，AlphaCode有什么不同?

　　袁進(jìn)輝：我覺(jué)得有兩點(diǎn)，一是解決的問(wèn)題不同，二是方法不同。

　　AlphaCode 解決的問(wèn)題，還是有一定難度的問(wèn)題。

　　二是 AlphaCode 不是網(wǎng)上搜索的現(xiàn)成代碼片段，是自己生成的。像 Github Copilot，就是搜索的現(xiàn)成代碼片段。之前有人做過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)它會(huì)從 Stack Overflow(代碼問(wèn)答網(wǎng)站)上抓取代碼，因?yàn)樗殉绦騿T寫(xiě)在代碼里的注釋都抓取過(guò)來(lái)了。

　　這些AI編程工具，會(huì)取代程序員嗎?

　　肖涵：其實(shí)這些 AI 輔助編程工具，都是為了幫助開(kāi)發(fā)者能有更好的編程體驗(yàn)。只不過(guò) AI 發(fā)展到今天已經(jīng)非常強(qiáng)大，它可以自動(dòng)把代碼寫(xiě)完，而不僅僅是填函數(shù)名這么簡(jiǎn)單。

　　但是今天所有的AI都沒(méi)有到達(dá)取代開(kāi)發(fā)者的程度，開(kāi)發(fā)者本身還是那個(gè)最終的決策人。AI 所生成的代碼，僅僅是一個(gè)參考。

　　瘦駝：作為一個(gè)文字工作者，我還是想把這件事映射到“自然語(yǔ)言”的領(lǐng)域來(lái)。

　　首先，讓 AI 生成一段沒(méi)有任何語(yǔ)法錯(cuò)誤的代碼沒(méi)有那么難。在自然語(yǔ)言里有大量不符合邏輯和語(yǔ)法的東西，我們?cè)谡f(shuō)話(huà)的時(shí)候并不是嚴(yán)格遵循某種規(guī)律的。但代碼本身是嚴(yán)格遵守語(yǔ)法的，它有一套通用的邏輯。

　　第二點(diǎn)，我覺(jué)得碼農(nóng)其實(shí)不必太緊張，對(duì)于文字創(chuàng)作者來(lái)說(shuō)，我們?cè)谇皫啄暌呀?jīng)碰到過(guò)類(lèi)似的挑戰(zhàn)了。現(xiàn)在一些固定格式的文本已經(jīng)大量地由 AI 生成，比如比賽結(jié)果、股市播報(bào)、天氣預(yù)報(bào)。對(duì)于這種有規(guī)律可循的文本來(lái)說(shuō)，AI 寫(xiě)得比人快多了。但是想讓 AI 寫(xiě)一些有創(chuàng)造性的東西還是非常困難的，因?yàn)閯?chuàng)造性本質(zhì)上是對(duì)現(xiàn)有邏輯和體系的挑戰(zhàn)，甚至創(chuàng)造性包含了允許 AI 犯錯(cuò)。對(duì) AI 來(lái)說(shuō)，它很難保持一定的個(gè)性，比如《紅樓夢(mèng)》里，賈寶玉的詩(shī)和林黛玉的詩(shī)就有明顯的不同。這種能力，AI 現(xiàn)在可能還很難做到。

　　肖涵：我覺(jué)得性格的差別，無(wú)非就是訓(xùn)練語(yǔ)料的不同。如果我想生成一個(gè)朦朧派詩(shī)人的風(fēng)格，我就把所有朦朧派詩(shī)人的語(yǔ)料收集起來(lái)，訓(xùn)練一下就可以了。

　　所以我覺(jué)得對(duì) AI 最重要的還是數(shù)據(jù)。算法模型如果能更好地挖掘數(shù)據(jù)，把數(shù)據(jù)的價(jià)值充分利用起來(lái)，那其實(shí)所謂的性格也就達(dá)成了。

　　袁進(jìn)輝：我來(lái)補(bǔ)充一個(gè)反方向。按照肖涵的邏輯，那如果沒(méi)有朦朧派的語(yǔ)料，就生成不出朦朧派的 AI;如果沒(méi)有梵高這個(gè)人，就訓(xùn)練不出梵高風(fēng)格的繪畫(huà)。所以 AI 在創(chuàng)造層面，本質(zhì)上還是更像一種記憶，差別在于是一種機(jī)械的記憶還是比較聰明的記憶，但其實(shí)都跳脫不出原有的范疇。

　　專(zhuān)業(yè)術(shù)語(yǔ)里有兩個(gè)詞，“exploitation”和“exploration”。exploitation 指的是保守地在應(yīng)有的范圍內(nèi)工作，exploration 指的是在范圍之外探索。

　　也許我們需要給 AI 一點(diǎn)犯錯(cuò)空間。

　　在AI崛起的背景下，怎么做一個(gè)有價(jià)值的程序員?

　　袁進(jìn)輝：AI 比較擅長(zhǎng)做比較機(jī)械的工作，但寫(xiě)代碼也是需要?jiǎng)?chuàng)造性的，寫(xiě)到一定程度，我們也把它稱(chēng)之為藝術(shù)。

　　代碼里面也有好壞，寫(xiě)出來(lái)的代碼是不是足夠簡(jiǎn)潔優(yōu)雅，是否有創(chuàng)造性的審美，這可能還是人類(lèi)的優(yōu)勢(shì)。

　　張鵬：但這種美，是不是也要能體現(xiàn)在效率上高于丑和復(fù)雜的東西，商業(yè)世界才會(huì)認(rèn)可?

　　袁進(jìn)輝：這種美，確實(shí)在效率上有體現(xiàn)。判斷代碼美丑的一個(gè)標(biāo)準(zhǔn)，就是可復(fù)用性。簡(jiǎn)單的代碼有更好的擴(kuò)展性，未來(lái)就可以在更多的地方復(fù)用。如果我的代碼只在當(dāng)前的任務(wù)可以用，就是不太好的實(shí)踐。

　　肖涵：我想起來(lái)之前國(guó)外論壇上有一個(gè)特別火的帖子，就是說(shuō)一個(gè)律所雇傭了一個(gè)小伙子做類(lèi)似報(bào)表整理之類(lèi)的工作。恰好這個(gè)小伙子懂一點(diǎn)編程，就把這個(gè)工作自動(dòng)化了，程序運(yùn)行 5 分鐘就可以做完原來(lái)一周的工作。兩周之后，這個(gè)小伙子內(nèi)心有點(diǎn)愧疚，就把這件事發(fā)到了論壇上，問(wèn)大家該不該告訴老板這件事。

　　我覺(jué)得這件事反映了一點(diǎn)——不管他有沒(méi)有告訴老板，機(jī)械化的工作一定會(huì)被取代。甚至他自己也覺(jué)得做這種工作沒(méi)有意義，否則就不會(huì)有這種糾結(jié)。人生總要有點(diǎn)追求，何必在這里浪費(fèi)時(shí)間?

　　其次是我覺(jué)得出現(xiàn)這些代碼輔助 AI 不是壞事。人類(lèi)發(fā)展到今天，不管是工業(yè)革命還是流水線的引入，人類(lèi)總會(huì)從事更高級(jí)的職業(yè)，會(huì)創(chuàng)造更高的價(jià)值。總體來(lái)說(shuō)，我覺(jué)得這是一件正向的事。

　　怎么理解當(dāng)下很火熱的低代碼、軟件2.0這些概念?

　　肖涵：低代碼出現(xiàn)的原因，其實(shí)是過(guò)去幾十年我們已經(jīng)積累了大量的代碼資本。今天任何一個(gè)軟件，都不是從頭開(kāi)始寫(xiě)的，它們都有自己的上游依賴(lài)關(guān)系——軟件庫(kù)。

　　實(shí)際上我們構(gòu)建現(xiàn)代軟件的時(shí)候，最重要的往往不是創(chuàng)新，而是可復(fù)用性?？蓮?fù)用性指的就是，這個(gè)軟件完成之后，一定要成為更大型軟件中的一個(gè)組件，而不是從頭開(kāi)始重復(fù)造輪子。

　　當(dāng)“可復(fù)用性”這種概念深入人心之后，于是才有了低代碼、無(wú)代碼這種概念。今天我們構(gòu)建的代碼越來(lái)越高級(jí)，不再是操作系統(tǒng)這種底層軟件，更多的是面向 C 端用戶(hù)的高級(jí)軟件。這種情況下就非常凸顯低代碼、無(wú)代碼的重要性。

　　如果縱觀整個(gè)人類(lèi)的工程史，其實(shí)可復(fù)用性就是非常關(guān)鍵的轉(zhuǎn)折點(diǎn)——一旦一個(gè)東西可以被復(fù)用，人類(lèi)的文明就會(huì)發(fā)展到一個(gè)新高度。我們可以假想一下，一個(gè)原始人拿著兩塊石頭碰觸了火花，這是一個(gè)偶然嗎?還是說(shuō)它成為了可以被復(fù)用的經(jīng)驗(yàn)，于是人類(lèi)就此掌握火的使用?

　　所以我更想強(qiáng)調(diào)的是，低代碼和無(wú)代碼肯定是發(fā)展趨勢(shì)。但趨勢(shì)背后的原因在于，我們現(xiàn)在面向的是更高級(jí)的軟件開(kāi)發(fā)，這種開(kāi)發(fā)尤其強(qiáng)調(diào)復(fù)用性。

　　袁進(jìn)輝：我來(lái)補(bǔ)充一下軟件 2.0.

　　軟件 1.0 說(shuō)的是代碼是數(shù)據(jù)。我們?cè)诖a的基礎(chǔ)上，基于數(shù)據(jù)訓(xùn)練一個(gè) AI 模型。

　　軟件 2.0 指的是模型是代碼。在 AlphaCode 之前，AI 的模型早就開(kāi)始為人寫(xiě)代碼了。比如圖形識(shí)別模型，它的原理是計(jì)算機(jī)視覺(jué)科學(xué)家寫(xiě)了一堆規(guī)則——圖片里有哪些特征，那這張圖片就是汽車(chē)。但是這么做了幾十年之后，發(fā)現(xiàn)這種方法識(shí)別率并不高。所以現(xiàn)在的做法是從一堆數(shù)據(jù)中訓(xùn)練出一個(gè)模型。

　　以前代碼必須由程序員理解問(wèn)題之后轉(zhuǎn)化成計(jì)算機(jī)理解的語(yǔ)言，計(jì)算機(jī)才能幫我們解決問(wèn)題，本質(zhì)上是一個(gè)從物理世界遷移到數(shù)字世界的過(guò)程。模型即代碼的意思就是，現(xiàn)在我們不需要經(jīng)過(guò)人腦了，只要收集一堆數(shù)據(jù)，計(jì)算機(jī)就能自動(dòng)挖掘數(shù)據(jù)中的規(guī)律，生成模型。

　　可復(fù)用性是判斷代碼好壞的一個(gè)重要標(biāo)準(zhǔn)?，F(xiàn)在代碼間復(fù)用的情況也越來(lái)越普遍，但如果引用的底層代碼本身就有問(wèn)題，該怎么辦?

　　肖涵：現(xiàn)實(shí)世界中確實(shí)發(fā)生過(guò)這樣的事。前幾個(gè)月 Log4j 軟件包出錯(cuò)，就造成了非常多軟件公司的恐慌。這樣的問(wèn)題，在低代碼和無(wú)代碼的環(huán)境下會(huì)更難發(fā)覺(jué)。因?yàn)闆](méi)有多少人會(huì)去寫(xiě)這種底層的代碼了，大家關(guān)注的更多是更高級(jí)的軟件業(yè)務(wù)邏輯。

　　之前在 Javasript 社區(qū)還發(fā)生了一件事。維護(hù)底層代碼的程序員因?yàn)橛X(jué)得別人在網(wǎng)上攻擊他，一怒之下把代碼刪了。這導(dǎo)致的后果就是整個(gè)復(fù)用的鏈條斷了。

　　所以說(shuō)在低代碼、無(wú)代碼的環(huán)境下，一定要保證上游足夠穩(wěn)健。即使出錯(cuò)也要能夠及時(shí)修復(fù)，這一點(diǎn)非常重要。

　　袁進(jìn)輝：其實(shí) AI 的模型是很脆弱的，非常容易被攻擊。實(shí)際上訓(xùn)練 AI 模型的就是一堆數(shù)據(jù)，簡(jiǎn)單理解就是高維空間中的一個(gè)方向。如果進(jìn)來(lái)的數(shù)據(jù)是沿著這個(gè)方向的，AI 就判斷得很準(zhǔn)。如果進(jìn)入的數(shù)據(jù)和那個(gè)方向垂直，那 AI 的判斷就會(huì)出錯(cuò)。

　　前幾年有人在特斯拉的激光雷達(dá)上做了一個(gè)實(shí)驗(yàn)，用一個(gè)小紙片稍微改變一下傳進(jìn)去的信號(hào)，特斯拉的識(shí)別就出錯(cuò)了。

　　張鵬：前段時(shí)間我還聽(tīng)到過(guò)這種觀點(diǎn)。就圖像識(shí)別技術(shù)而言，在最初構(gòu)建 ImageNet(視覺(jué)影像網(wǎng)數(shù)據(jù)庫(kù))的時(shí)候，因?yàn)楫?dāng)時(shí)數(shù)據(jù)的局限，導(dǎo)致現(xiàn)在形成了一些偏差，比如 AI 對(duì)人類(lèi)的歧視問(wèn)題。但今天 ImageNet 已經(jīng)成為了一個(gè)基礎(chǔ)設(shè)施，無(wú)數(shù)人在這之上構(gòu)建了新的設(shè)施，這種偏差就成為了一個(gè)逐級(jí)感染的問(wèn)題，越來(lái)越難以克服。

　　可能在某些時(shí)刻，需要一個(gè)根本性的重啟，才能解決這個(gè)問(wèn)題。

　　在基礎(chǔ)科學(xué)領(lǐng)域，AI能夠發(fā)揮哪些作用?

　　瘦駝：對(duì)于很多數(shù)據(jù)敏感型的行業(yè)來(lái)說(shuō)，AI 確實(shí)解放了很多科學(xué)家，讓這些科學(xué)家可以去做更多有創(chuàng)造性的工作。

　　之前討論過(guò)，在人類(lèi)的天文學(xué)家中，最容易被 AI 取代的可能是埃德文·哈勃。他花了幾十年時(shí)間，從大量數(shù)據(jù)中發(fā)現(xiàn)了星系的“紅移-距離關(guān)系”。這本質(zhì)上是一個(gè)數(shù)據(jù)相關(guān)性的問(wèn)題，放在今天的 AI 身上，可以立刻發(fā)現(xiàn)這種數(shù)據(jù)間的規(guī)律。

　　又比如說(shuō)快速射電暴，它以前經(jīng)常被人忽略。因?yàn)榭焖偕潆姳┨虝毫耍苋菀妆徽J(rèn)為是數(shù)據(jù)中出現(xiàn)的一個(gè)異常。但是有了 AI 這樣的工具后，它就可以從這些不斷出現(xiàn)的偶然異常中發(fā)現(xiàn)規(guī)律。

　　我覺(jué)得 AI 的出現(xiàn)改變了科學(xué)發(fā)現(xiàn)的范式，讓我們具備了從數(shù)據(jù)中找出被忽略的規(guī)律的能力。

　　AI公司的商業(yè)化都很困難，但DeepMind在去年盈利了，怎么理解這家公司?

　　肖涵：首先我對(duì) DeepMind 是非常崇敬的，但我不會(huì)做這種公司，我個(gè)人認(rèn)為 DeepMind 風(fēng)險(xiǎn)性是非常高的，回本的機(jī)率很低。

　　首先在深度學(xué)習(xí)的前提下，算力成本和存儲(chǔ)成本的投入是非常高的，這個(gè)很好理解。

　　第二個(gè)是人員原因。每年 DeepMind 都有一兩篇轟動(dòng)性的論文面世，很重要的原因就在于，它儲(chǔ)備了大量全世界最頂尖的人才。這種人才成本，不是每個(gè)公司都能承擔(dān)的。深度學(xué)習(xí)發(fā)展到今天，實(shí)際上拉大了大公司和小公司間的貧富差距。

　　我個(gè)人其實(shí)更看重 AI 在工程領(lǐng)域的突破，如何更好地解決已有的問(wèn)題，而不是找到一個(gè)從沒(méi)被解決過(guò)的新問(wèn)題去突破。

　　袁進(jìn)輝：DeepMind 的確不太典型，他理論上不是一家商業(yè)公司。大部分商業(yè)公司，一定是要做一個(gè)可復(fù)制的商業(yè)化產(chǎn)品，更多的是考慮市場(chǎng)規(guī)模等一系列更實(shí)際的問(wèn)題。

　　DeepMind 更像一家科研機(jī)構(gòu)。只不過(guò)它不像科研機(jī)構(gòu)申請(qǐng)經(jīng)費(fèi)那么困難，DeepMind 背后有谷歌源源不斷地投入資金。

　　這些年，AI的發(fā)展思路有什么變化?

　　肖涵：我覺(jué)得有兩點(diǎn)，一是 AI 的解釋性，二是 AI 的訓(xùn)練過(guò)程。

　　1. 解釋性。AI 這些年其實(shí)經(jīng)歷了從可解釋到不可解釋的過(guò)程。

　　早期的 AI 是基于一套規(guī)則生成的，比如最早的問(wèn)答機(jī) Eliza，它的邏輯在于，識(shí)別你說(shuō)的話(huà)包含哪些字符，經(jīng)過(guò)因果判斷，返回特定的答案。這些回答都是可以解釋的，因?yàn)槌绦蚴菍?xiě)死的。

　　后來(lái) AI 發(fā)展到 2000 年左右，出現(xiàn)了參數(shù)化模型。參數(shù)化模型會(huì)把圖片、聲音、文本等信息描述成一個(gè)數(shù)據(jù)函數(shù)，AI 所要做的，就是填入系數(shù)。這一階段的 AI 也是可解釋的。

　　自 2010 年以來(lái)，AI 逐漸轉(zhuǎn)向了深度學(xué)習(xí)框架，AI 開(kāi)始變得不可解釋。因?yàn)樯疃葘W(xué)習(xí)框架拆分到最細(xì)，其實(shí)是由一個(gè)一個(gè)非線性函數(shù)疊加而成的。如果只有一個(gè)非線性函數(shù)的話(huà)還比較好解釋?zhuān)B加在一起的非線性函數(shù)有點(diǎn)類(lèi)似蝴蝶效應(yīng)，基本上是不可能溯源的。

　　我們整個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)是一個(gè)非常深的非線性系統(tǒng)，比如 AlphaCode 就包含 400 多億個(gè)參數(shù)，實(shí)際上無(wú)法追根溯源，到底是哪個(gè)參數(shù)產(chǎn)生的影響。這就好像我們無(wú)法判斷，到底是哪一個(gè)神經(jīng)元令人腦產(chǎn)生了意識(shí)一樣。

　　但是今天，又有一些人要求 AI 具有可解釋性。因?yàn)殡S著 AI 越來(lái)越聰明，我們要求它承擔(dān)它的社會(huì)責(zé)任了，比如不能歧視黑人。當(dāng)出現(xiàn)問(wèn)題時(shí)，就可以找到出現(xiàn)問(wèn)題的原因，這就要求 AI 可以被解釋。

　　2. 訓(xùn)練過(guò)程。AI 的訓(xùn)練過(guò)程，從一開(kāi)始的“端到端”過(guò)程，拆分成了“預(yù)訓(xùn)練”和“微調(diào)”兩步，專(zhuān)業(yè)術(shù)語(yǔ)叫遷移學(xué)習(xí)。

　　其實(shí)我本人非常喜歡遷移學(xué)習(xí)，因?yàn)樗鼮闄C(jī)器學(xué)習(xí)指明了一個(gè)大方向。以往的機(jī)器學(xué)習(xí)，每解決一個(gè)問(wèn)題，就要專(zhuān)門(mén)構(gòu)建一個(gè)模型。即使是解決兩個(gè)非常相似的問(wèn)題，比如識(shí)別是籃球新聞還是足球新聞，哪怕都是自然語(yǔ)言處理，在傳統(tǒng)機(jī)器看來(lái)都是不同的任務(wù)。

　　機(jī)器學(xué)習(xí)將端到端訓(xùn)練的過(guò)程拆分成了兩部分。一部分是預(yù)訓(xùn)練，從大規(guī)模的語(yǔ)料中學(xué)到一個(gè)相對(duì)通用的知識(shí)。然后是微調(diào)，將通用的知識(shí)去解決特定的細(xì)節(jié)問(wèn)題。

　　這樣拆分的好處在于，大規(guī)模語(yǔ)料訓(xùn)練的模型可以得到復(fù)用。因?yàn)椴皇撬泄径加心芰?gòu)建這種超大規(guī)模的模型。可以復(fù)用之后，中小公司就可以拿這個(gè)模型針對(duì)自身特定的領(lǐng)域微調(diào)，就能產(chǎn)生子領(lǐng)域上的業(yè)務(wù)價(jià)值，節(jié)省了大量的人力、物力和時(shí)間成本。

　　袁進(jìn)輝：我想補(bǔ)充的是，這種大模型還沒(méi)到頭，以后還會(huì)越來(lái)越大。像 GPT-3.參數(shù)已經(jīng)達(dá)到 1700 億，但和人腦的神經(jīng)元連接數(shù)相比，還差 1000~10000 倍左右。

　　一個(gè)可能的猜想是，智能或許沒(méi)有那么神奇，只是一個(gè)規(guī)模的問(wèn)題，最后會(huì)由量變產(chǎn)生質(zhì)變。

　　另一種觀點(diǎn)認(rèn)為，預(yù)訓(xùn)練模型在腦科學(xué)和神經(jīng)科學(xué)上也有一定的支撐。人之所以這么聰明，有一部分是后天習(xí)得的，但主要還是先天決定的。在一個(gè)嬰兒出生之前，大腦皮層間的連接和神經(jīng)元的突起，就已經(jīng)大致由基因決定了。在嬰兒出生看到這個(gè)物理世界后，神經(jīng)元之間的連接會(huì)根據(jù)物理信號(hào)微調(diào)——有的連接會(huì)越來(lái)越強(qiáng)，不太使用的連接就會(huì)變?nèi)酢?/p>

　　這整個(gè)過(guò)程都非常類(lèi)似預(yù)訓(xùn)練和微調(diào)的模式。所以從某種意義上來(lái)說(shuō)，大模型預(yù)訓(xùn)練，的確有生物的合理性。

　　AI和人類(lèi)會(huì)是怎樣的關(guān)系?

　　肖涵：我對(duì) AI 能力的增強(qiáng)是非常有信心的。但是，在目前這套方法之下，我認(rèn)為 AI 可能最終無(wú)法產(chǎn)生自我意識(shí)。

　　可話(huà)說(shuō)回來(lái)，難道AI一定要有自我意識(shí)嗎？

　　50 年后可能 AI 仍然沒(méi)有自我意識(shí)，但它可以解決非常多重要的問(wèn)題，要比人類(lèi)解決得好得多，這個(gè)時(shí)候你會(huì)愿意承認(rèn)這種形態(tài)的東西是“智能”嗎?

　　袁進(jìn)輝：我傾向于從正面理解這件事，就是 AI 可以解放人類(lèi)，讓人類(lèi)去追求更本質(zhì)的東西，就好像蒸汽機(jī)把我們從體力勞動(dòng)中解放出來(lái)一樣。

　　這讓我想起了劉慈欣的小說(shuō)《朝聞道》中的一個(gè)設(shè)定：地球人可以向外星人提任何問(wèn)題，外星人會(huì)告訴你正確答案。但代價(jià)是知道答案后，這個(gè)提問(wèn)者會(huì)立刻死去。但最終有一個(gè)人問(wèn)了外星人這樣一個(gè)問(wèn)題：宇宙的目的是什么?

　　外星人也不知道，于是他崩潰了。

　　張鵬：雖然我們被冠以“擁有自我意識(shí)”，但全世界也有大量的人不知道自己的目的是什么。所以我覺(jué)得以自我意識(shí)來(lái)定義也許是一種人類(lèi)沙文主義。

　　瘦駝：我覺(jué)得對(duì)于 AI 的思考有幾個(gè)層面。

　　一個(gè)是哲學(xué)層面上的。我認(rèn)為如果未來(lái)AI變得像人一樣，那一定是失敗的 AI。他有人的缺點(diǎn)，有人自己都搞不清的邏輯錯(cuò)誤，那我們?yōu)槭裁匆?AI?直接造人不是簡(jiǎn)單得多嗎?我們之所以要造 AI，一定是它可以解決人類(lèi)解決不了的問(wèn)題，這樣 AI 才有意義。

　　另外我也有一些應(yīng)用層面上的顧慮。剛剛幾位也說(shuō)到，AI 很脆弱。如果我們已經(jīng)高度依賴(lài) AI 了，一旦底層的東西有問(wèn)題，會(huì)造成非常大的影響。

　　然后是關(guān)于解釋性的困局。解釋性的困局其實(shí)是用來(lái)解放人類(lèi)自己的，就是想求一個(gè)安心。但即便這個(gè)說(shuō)法本身沒(méi)有意義，也一定會(huì)讓很多人心生警惕。這種警惕，從人作為社會(huì)性動(dòng)物的角度來(lái)說(shuō)，就會(huì)對(duì) AI 的發(fā)展產(chǎn)生影響。我們需要有一定的準(zhǔn)備，不要讓這種警惕發(fā)酵到一個(gè)比較尖銳的地步，那到時(shí)狀況就比較糟糕了。

　　張鵬：我覺(jué)得真正的問(wèn)題是，AI今天還有大量的基礎(chǔ)工作要做好。我們可以確定，AI 會(huì)成為人類(lèi)未來(lái)文明進(jìn)程中重要的伙伴，但它距離這個(gè)角色，其實(shí)還有很長(zhǎng)的路要走。

　　今天我們對(duì)于 AI 的探討，如果是針對(duì)“不要犯一些基礎(chǔ)錯(cuò)誤”，是有意義的。但在 AI 能力還比較羸弱的時(shí)候過(guò)度討論“自我意識(shí)”之類(lèi)的話(huà)題，其實(shí)是很務(wù)虛的。