人類(lèi)的這一能力，被AI掌握甚至超越了？

人類(lèi)語(yǔ)言和思維的力量源自系統(tǒng)的組合性。如今，人工智能（AI）或許也掌握了這種能力。

人們善于學(xué)習(xí)新概念，并將它們與已有概念進(jìn)行系統(tǒng)組合。例如，一旦一個(gè)孩子學(xué)會(huì)了如何跳躍，他們可以通過(guò)組合技能理解如何向后跳或繞錐形物跳兩次。

這種將新老概念結(jié)合的能力被稱(chēng)為系統(tǒng)泛化（systematic generalization）。

而此前，Jerry Fodor 和 Zenon Pylyshyn 兩位認(rèn)知科學(xué)家曾主張，人工神經(jīng)網(wǎng)絡(luò)缺乏這種能力，因此不適合作為人類(lèi)認(rèn)知的可靠模型。

然而，一篇發(fā)表在 Nature 上的最新研究挑戰(zhàn)了這個(gè)已經(jīng)存在了 35 年的觀點(diǎn)。

在該研究中，紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授 Brenden Lake 和西班牙加泰羅尼亞研究所（ICREA）教授 Marco Baroni 提出了一個(gè)具有類(lèi)似人類(lèi)系統(tǒng)泛化能力的神經(jīng)網(wǎng)絡(luò)。

具體而言，研究團(tuán)隊(duì)使用了一種“組合性元學(xué)習(xí)（MLC）”的方法來(lái)優(yōu)化組織能力。通過(guò)并行比較人類(lèi)與神經(jīng)網(wǎng)絡(luò)，他們發(fā)現(xiàn)，MLC 能掌握、有時(shí)甚至能超過(guò)類(lèi)似人類(lèi)的系統(tǒng)泛化能力。另外，MLC 還在多個(gè)系統(tǒng)化泛化基準(zhǔn)測(cè)試中提高了機(jī)器學(xué)習(xí)系統(tǒng)的組合技能。

該方法可以讓機(jī)器與人進(jìn)行更自然的互動(dòng)，甚至超過(guò)目前最好的 AI 系統(tǒng)。雖然基于大型語(yǔ)言模型（LLMs）的系統(tǒng)（如 ChatGPT）在許多情況下都能很好地進(jìn)行對(duì)話(huà)，但在其他情況下卻表現(xiàn)出明顯的缺陷和不一致。

相關(guān)論文以“Human-like systematic generalization through a meta-learning neural network”為題，已發(fā)表在權(quán)威科學(xué)期刊 Nature 上。

研究團(tuán)隊(duì)表示，雖然元學(xué)習(xí)方法無(wú)法讓該神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練之外的任務(wù)進(jìn)行泛化，但他們的研究結(jié)果有助于今后開(kāi)發(fā)出行為更像人類(lèi)大腦的 AI。

達(dá)到甚至超越人類(lèi)水平

在這項(xiàng)研究中，MLC 方法僅使用了普通的神經(jīng)網(wǎng)絡(luò)，并沒(méi)有添加符號(hào)機(jī)制，也沒(méi)有人工設(shè)計(jì)的內(nèi)部表示或歸納偏見(jiàn)。

為了展示 MLC 的能力，研究人員在相同的系統(tǒng)性泛化測(cè)試中將人類(lèi)和機(jī)器進(jìn)行了并行評(píng)估。具體來(lái)說(shuō)，他們使用了偽語(yǔ)言中的指令學(xué)習(xí)任務(wù)來(lái)檢查人類(lèi)和機(jī)器對(duì)結(jié)構(gòu)化代數(shù)系統(tǒng)的學(xué)習(xí)能力，并通過(guò)少樣本學(xué)習(xí)的方式來(lái)評(píng)估人類(lèi)的系統(tǒng)性泛化能力。

為探索人類(lèi)的歸納偏見(jiàn)以及這些偏見(jiàn)如何促進(jìn)或妨礙系統(tǒng)性泛化，研究人員通過(guò)研究高度模糊的語(yǔ)言來(lái)進(jìn)行評(píng)估。在這些評(píng)估中，MLC 在實(shí)現(xiàn)（甚至超越）人類(lèi)水平的系統(tǒng)性泛化方面表現(xiàn)出色。

此外，在純粹的代數(shù)推理和模擬人類(lèi)復(fù)雜組合行為的情況下，MLC 均表現(xiàn)出了一種與人類(lèi)相似的錯(cuò)誤模式，這顯示出神經(jīng)網(wǎng)絡(luò)不僅具備出色的建模能力，也在模擬復(fù)雜的人類(lèi)行為方面表現(xiàn)出了卓越的性能。

另外，研究團(tuán)隊(duì)還對(duì)兩個(gè)廣泛應(yīng)用的基準(zhǔn)測(cè)試進(jìn)行了嘗試，即 SCAN11 和 COGS16，著重關(guān)注MLC 在系統(tǒng)性詞匯泛化方面的表現(xiàn)，特別是處理新單詞和單詞組合（而不僅僅是新的句子結(jié)構(gòu)）。結(jié)果表明，除了在預(yù)測(cè)人類(lèi)行為方面表現(xiàn)出色，MLC 在機(jī)器學(xué)習(xí)的系統(tǒng)性泛化基準(zhǔn)測(cè)試中僅出現(xiàn)低于 1% 的錯(cuò)誤率。

該研究展示了 MLC 如何通過(guò)其卓越的組合技能，使一個(gè)經(jīng)過(guò)優(yōu)化的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)能夠模仿或甚至超越人類(lèi)在系統(tǒng)性泛化方面的表現(xiàn)，從而在比較中表現(xiàn)出更強(qiáng)的系統(tǒng)性。相較于經(jīng)過(guò)標(biāo)準(zhǔn)方式訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，MLC 表現(xiàn)出更細(xì)致入微的行為。此外，MLC 還讓神經(jīng)網(wǎng)絡(luò)能夠處理其他已知挑戰(zhàn)，如系統(tǒng)性地使用孤立的基元和運(yùn)用互斥性來(lái)推斷含義。

有望解決更廣泛的問(wèn)題

盡管 MLC 取得了一些成功，但它并不能解決所有挑戰(zhàn)。例如，MLC 不能自動(dòng)處理未經(jīng)練習(xí)的泛化形式或在元學(xué)習(xí)分布之外的概念。此外，它無(wú)法泛化到它未經(jīng)優(yōu)化的歸納偏見(jiàn)中。

在機(jī)器學(xué)習(xí)的語(yǔ)境中，當(dāng)泛化使新的情節(jié)相對(duì)于訓(xùn)練情節(jié)處于分布中時(shí)，元學(xué)習(xí)策略會(huì)成功，即使特定的測(cè)試項(xiàng)目相對(duì)于情節(jié)中的研究示例是超出分布的。然而，僅僅依靠元學(xué)習(xí)不會(huì)使標(biāo)準(zhǔn)網(wǎng)絡(luò)能夠泛化到相對(duì)于元學(xué)習(xí)期間呈現(xiàn)的情節(jié)而言又超出分布的情節(jié)。當(dāng)前架構(gòu)還缺乏發(fā)出新符號(hào)的機(jī)制，盡管可以通過(guò)附加的指針機(jī)制來(lái)引入通過(guò)研究示例引入的新符號(hào)。

在機(jī)器學(xué)習(xí)背景下，當(dāng)新情境相對(duì)于訓(xùn)練情境屬于相似分布時(shí)，元學(xué)習(xí)策略會(huì)成功。然而，僅僅依賴(lài)元學(xué)習(xí)并不能讓標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)訓(xùn)練情景之外的分布泛化。并且，目前的架構(gòu)也缺乏一種生成新符號(hào)的機(jī)制。

最后，MLC 在自然語(yǔ)言的全部復(fù)雜性和其他模態(tài)上沒(méi)有經(jīng)過(guò)測(cè)試。因此，它是否能夠在所有方面以及從實(shí)際的訓(xùn)練經(jīng)驗(yàn)中實(shí)現(xiàn)類(lèi)似于人類(lèi)的系統(tǒng)性，仍有待確定。

然而，該研究有望幫助 MLC 解決更廣泛的問(wèn)題。舉例來(lái)說(shuō)，一個(gè) LLMs 可以進(jìn)行專(zhuān)門(mén)的元學(xué)習(xí)，通過(guò)交替進(jìn)行標(biāo)準(zhǔn)訓(xùn)練（例如下一個(gè)單詞的預(yù)測(cè)）和不斷引入新詞匯，從而優(yōu)化其組合技能。

最后，作者在文中表示：“盡管將 MLC 應(yīng)用于每個(gè)領(lǐng)域是一個(gè)長(zhǎng)期的努力，但我們看到了在理解人類(lèi)組合技能的起源以及使現(xiàn)代 AI 系統(tǒng)的行為更類(lèi)似于人類(lèi)方面的真正前景。”

論文鏈接：

https://www.nature.com/articles/s41586-023-06668-3

https://www.nature.com/articles/d41586-023-03272-3

作者：閆一米

編輯：學(xué)術(shù)君