這幾日，只要提起AlphaGo，相信大家想起的一定是在前幾日的圍棋大賽中，無(wú)論是單人戰(zhàn)，雙人戰(zhàn)，還是群毆戰(zhàn)，AlphaGo都無(wú)一例外的身居“常勝將軍”位，而AlphaGo的創(chuàng)作團(tuán)隊(duì)公司Deepmind在官網(wǎng)宣布這次的圍棋峰會(huì)將是AlphaGo的最后一次比賽。那么，不進(jìn)行圍棋賽的AlphaGo還可以做什么呢？OpenAI研究科學(xué)家，斯坦福大學(xué)的CS博士生AndrejKarpathy就AlphaGo在機(jī)器人領(lǐng)域的應(yīng)用發(fā)表了一些他的看法，機(jī)器人圈整理編譯如下：

我有機(jī)會(huì)和幾個(gè)人聊了一聊近期與AlphaGo柯潔等人的比賽。尤其是，媒體報(bào)道內(nèi)容大部分是大眾科學(xué)+PR的混合體，所以我看到的最常見(jiàn)的問(wèn)題是“AlphaGo的突破性表現(xiàn)在哪里”，“AI的研究人員如何看待它的勝利？”和“勝利將取得什么樣的影響”。我把我的一些想法寫(xiě)成文章與大家分享。

很酷的部分

AlphaGo由許多相對(duì)標(biāo)準(zhǔn)的技術(shù)組成：行為克?。▽?duì)人類(lèi)展示的數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)）、強(qiáng)化學(xué)習(xí)（REINFORCE）、價(jià)值函數(shù)和蒙特卡洛樹(shù)搜索（MCTS）。然而，這些組件的組合方式是極具創(chuàng)新，并不是完全標(biāo)準(zhǔn)的。特別是，AlphaGo使用SL（監(jiān)督學(xué)習(xí)）策略來(lái)初始化RL（強(qiáng)化學(xué)習(xí)）策略得到完善自我發(fā)揮，然后他們預(yù)估價(jià)值函數(shù)，然后將其插入到MCTS中使用（更糟糕但更多樣化的）SL策略展示出來(lái)。另外，策略/價(jià)值網(wǎng)是深度神經(jīng)網(wǎng)絡(luò)，所以使一切正常工作都能呈現(xiàn)自己獨(dú)特的挑戰(zhàn)（例如，價(jià)值功能以一種棘手的方式進(jìn)行培訓(xùn)以防止過(guò)度擬合）。在所有這些方面，DeepMind都執(zhí)行得很好。話(huà)雖如此，AlphaGo本身并沒(méi)有使用任何基本的算法突破來(lái)解決強(qiáng)化學(xué)習(xí)的難題。

狹義范疇

AlphaGo還是一個(gè)狹義的AI系統(tǒng)，會(huì)下圍棋，但也僅此而已。來(lái)自DeepMind的ATARI玩家不會(huì)使用AlphaGo所采取的方法，神經(jīng)圖靈機(jī)（NeuralTuringMachines）與AlphaGo無(wú)關(guān)，Google數(shù)據(jù)中心的改進(jìn)也絕對(duì)不會(huì)使用AlphaGo，同時(shí)，Google搜索引擎也不會(huì)使用AlphaGo。因此，AlphaGo不會(huì)推廣到圍棋以外的任何地方，但是人們和潛在的神經(jīng)網(wǎng)絡(luò)組件做的比這些過(guò)去的人工智能要好得多，每個(gè)演示都需要專(zhuān)門(mén)的顯式代碼的存儲(chǔ)庫(kù)。

圍棋的便利屬性

我想通過(guò)明確地列出圍棋所具有的特定屬性來(lái)擴(kuò)展AlphaGo的狹義性，AlphaGo從中受益匪淺。這可以幫助我們考慮是否推廣AlphaGo。圍棋是：

1、完全確定性。游戲規(guī)則中沒(méi)有噪音;如果兩位玩家采取相同的動(dòng)作順序，那么后面的狀態(tài)將永遠(yuǎn)是一樣的。

2、充分觀察。每個(gè)玩家都有完整的信息，沒(méi)有隱藏的變量。例如，德州撲克（Texashold’em）對(duì)該屬性不滿(mǎn)意，因?yàn)榭床坏狡渌婕业呐啤?/p>

3、動(dòng)作空間是離散的。一些獨(dú)特的棋子移動(dòng)是很有效的。相比之下，在機(jī)器人技術(shù)中，你可能希望在每個(gè)節(jié)點(diǎn)都需要具有連續(xù)性的控制。

4、我們有一個(gè)完美的模擬器（游戲本身），所以任何動(dòng)作的效果都是公開(kāi)透明的。這是一個(gè)強(qiáng)有力的假設(shè)，AlphaGo依然非常強(qiáng)大，但這種情形在現(xiàn)實(shí)世界中也是相當(dāng)罕見(jiàn)的。

5、每一盤(pán)棋時(shí)間相對(duì)較短，約200手。相對(duì)于強(qiáng)化學(xué)習(xí)階段，與其他可能涉及每局的數(shù)千（或更多）手相比，這是一個(gè)相對(duì)較短的時(shí)間范圍。

6、評(píng)估清晰、快速，允許大量的試錯(cuò)體驗(yàn)。換句話(huà)說(shuō)，玩家可以體驗(yàn)數(shù)百萬(wàn)次的勝利/失敗，這樣就可以慢慢而可靠地深入學(xué)習(xí)，就像深度神經(jīng)網(wǎng)絡(luò)優(yōu)化一樣。

7、有大量的人類(lèi)玩游戲棋譜數(shù)據(jù)可用于引導(dǎo)學(xué)習(xí)，所以AlphaGo不必從頭開(kāi)始。

AlphaGo應(yīng)用于機(jī)器人技術(shù)？

以上列舉了圍棋的一些吸引人的屬性，讓我們來(lái)看一下機(jī)器人問(wèn)題，看看我們?nèi)绾螌lphaGo應(yīng)用到機(jī)器人中，例如亞馬遜揀選機(jī)器人中。這個(gè)問(wèn)題只是想想就覺(jué)得有點(diǎn)滑稽。

·首先，你的動(dòng)作（高維度、連續(xù)）由機(jī)器人的電機(jī)笨拙/嘈雜地執(zhí)行。（違反1、3）

·機(jī)器人可能必須環(huán)顧要移動(dòng)的物品，因此并不總是能感知所有相關(guān)信息，并且有時(shí)需要根據(jù)需要收集。（違反2）

·我們可能有一個(gè)物理模擬器，但是這些模擬器是非常不完美的（尤其是模擬接觸力的東西）;這帶來(lái)了自己的一些挑戰(zhàn)（違反4）。

·取決于你的行動(dòng)空間抽象程度（原始扭矩->夾子的位置），一個(gè)成功的動(dòng)作片段可能比200個(gè)動(dòng)作長(zhǎng)得多（即5取決于設(shè)置）。更長(zhǎng)的動(dòng)作片段增加了信用分配問(wèn)題，學(xué)習(xí)算法難以在任何結(jié)果的行動(dòng)中分配責(zé)任。

·由于我們?cè)诂F(xiàn)實(shí)世界中運(yùn)作，機(jī)器人在數(shù)百萬(wàn)次的時(shí)間內(nèi)（成功/失敗）會(huì)變得更加困難。方法之一是并聯(lián)機(jī)器人，但這可能非常昂貴。此外，機(jī)器人失敗可能涉及機(jī)器人本身的損害。另一種方法是使用模擬器，然后轉(zhuǎn)移到現(xiàn)實(shí)世界中，但這會(huì)在域名轉(zhuǎn)移中帶來(lái)自己的一套新的、不平凡的挑戰(zhàn)。（違反6）

·最后，很少有數(shù)百萬(wàn)可以展示的人類(lèi)數(shù)據(jù)源。（違反7）

簡(jiǎn)而言之，基本上每個(gè)單一的假設(shè)，即圍棋的便利屬性都被AlphaGo違背了，任何成功的方法都將看起來(lái)都不一樣了。更普遍的是，上面圍棋的一些屬性與當(dāng)前的算法（例如1、2、3）并不是不可克服的，有些是存在問(wèn)題（5、7），但是有些對(duì)于AlphaGo的訓(xùn)練是非常關(guān)鍵的，但是很少存在于其他真實(shí)世界的應(yīng)用（4、6）。

結(jié)論

雖然AlphaGo并沒(méi)有在AI算法中并沒(méi)有實(shí)現(xiàn)根本性的突破，雖然它仍然是狹隘人工智能的一個(gè)例子，但AlphaGo也象征著Alphabet的AI能力：公司的人才數(shù)量/質(zhì)量、他們掌握的計(jì)算資源，以及公司高層對(duì)AI的關(guān)注。

AlphaGo是Alphabet在人工智能領(lǐng)域設(shè)置的一場(chǎng)賭局，但AlphaGo是安全的，毋庸置疑。

更多資訊請(qǐng)關(guān)注工業(yè)機(jī)器人頻道