技術演進的意外結果：游戲與加密貨幣怎么就成了AI的“算力底座”？

在剛剛過去的春天，我們見證了新世紀以來規(guī)模最大的科技狂歡。用“雨后春筍”來形容這幾個月人工智能（AI）的發(fā)展都會顯得過于保守，“大爆炸”可能是更合適的形容——就連原百度總裁、行業(yè)大牛、公認“最有干勁”的陸奇博士也說自己“（論文和代碼）跟不上了，實在是太多了。”

回想 2022 年 11 月 30 日，新時代的大門突然打開。OpenAI 公司發(fā)布了 ChatGPT，人們驚覺 AI 重現(xiàn)了 AlphaGo 的輝煌——而且這次更全面。以 GPT-3 為代表的生成式人工智能似乎擁有了全面的語言處理能力，而 MidJourney、Stable Diffusion 則讓繪畫不再是人類獨有的手藝。接下來的幾個月，大語言模型（LLMs，Large Language Models）成了人盡皆知的關鍵詞，微軟、谷歌、臉書（Meta）這些互聯(lián)網巨頭重新站回風口浪尖。

國內企業(yè)也紛紛發(fā)力。百度的“文心一言”、商湯的“日日新”、阿里的“通義”、騰訊的“混元”、華為的“盤古”都亮了相。到 5 月，各種企業(yè)和教學科研機構院校發(fā)布的大模型已經超過 30 種，大有“構建新時代 IT 底座”的豪情，真可稱得上“日日工業(yè)革命，夜夜文藝復興”。

圖庫版權圖片，不授權轉載

當然，AI 的未來并非沒有隱憂。彭博社在 2023 年 3 月初的一篇文章中說，谷歌公司每年的用電總量中，有 10%~15%是被AI項目吃掉的。這大約相當于亞特蘭大50萬人整整一年的生活用電量。根據國際數據公司（ IDC） 的預測，目前 AI 的 能源消耗占全球能源消耗的約 3％；2年以后的2025 年，這個數字將猛增到 15％，與之伴隨而來的是對環(huán)境的巨大影響。

從這個意義上說，能源是AI的第一個底座。也許 AI 在造福全人類之前，先會撞上能源之墻。

01

這些能源是怎么被AI吃掉的？

可是，AI為什么會這么耗電？這就牽扯到它的**另一個底座：**算力。AI 是計算密集型技術，在 ChatGPT 這樣的應用中更是如此。它需要大量算力，自然也需要大量能源。

掀起最近的 AI 浪潮的，是深度學習（Deep Learning）技術，它會構建分成多層的人工神經網絡（即深度神經網絡），其中每個神經元都有自己的可調節(jié)參數。大語言模型往往意味著數十億、上百億甚至更多的參數，這是獲得良好結果的保證；而在此基礎上，還需要龐大的數據集，來教會模型如何做出正確的反應。支撐這兩者的，就是強大的計算能力。

**算力、數據和算法是 AI 的三要素，缺一不可。**發(fā)布之初，ChatGPT 的背后是 GPT-3 模型。這個模型包含了 1750 億個參數，使用了 45T 的數據來訓練，訓練一次的算力需求大約是 3640 PF-day——也就是說，如果使用每秒鐘運算 1000 萬億次的計算設備，完成一次訓練需要 3640 天。

圖庫版權圖片，不授權轉載

這還只是訓練而已。把 AI 模型放在現(xiàn)實環(huán)境中來回答問題或者采取行動——這被稱為“推理”——比訓練更耗能。根據芯片巨頭英偉達的估計，GPT-3 這樣的模型，會有 80% 到 90% 的成本花在推理而非訓練上。

AI 的訓練和推理之所以需要這么多算力，主要有三方面原因：數據集的膨脹、參數的增長，以及模型的收益遞減規(guī)律。大致上，數據越多，模型學到的就越多，這和人類的學習類似；而和人類學習不同的是，當在更大的數據集上多次迭代學習時，消耗的能量也會迅速增加。

模型參數增加時，人工神經元之間的連接會呈指數增加，所需的計算量和能量也會飆升。在先前的一個測試案例里，模型的參數數量增加了 4 倍，而耗能增加了 18000 倍。

更糟糕的是，**模型并不是越大越好，它也同樣存在性價比問題。**2019 年，美國艾倫人工智能研究所（AI2）的研究人員發(fā)表了一篇論文，證明了大模型的邊際收益遞減現(xiàn)象：2017 年發(fā)布的 ResNeXt 模型和它2015年的原版相比，所需算力增加了 35%，但準確率只提高了 0.5% 。

然而，在找到最優(yōu)平衡前，人們還是得努力堆算力。OpenAI 公司發(fā)表的一篇文章說，從 2012 年到現(xiàn)在，用于人工智能的計算量增加了 30 萬倍，即大概每過 100 天，AI 的計算量就翻一番。

這大概是 AI 時代的新摩爾定律。

02

算力：AI時代的摩爾定律

1965 年，英特爾公司的聯(lián)合創(chuàng)始人戈登·摩爾（Gordon Moore）提出了一條經驗規(guī)律，認為集成電路上可容納的晶體管數量將會以每兩年翻倍的速度增長。這意味著，每過 20 年，同樣大小的集成電路上，晶體管的數量將增加 1000 倍；每過 40 年，則是 100 萬倍。

今天我們所在的信息時代，就建立在摩爾定律的基礎上。它一直是計算機技術發(fā)展的重要推動力。

從某種意義上說，摩爾定義帶來的推動力只是“外因”。計算機技術的發(fā)展還需要一點“內因”的影響——它來自人類的天性：玩。

“游戲”和“擁有”的渴望一直刻在我們的基因里，早在“人”這個物種還沒有誕生時便是如此。計算機剛被發(fā)明出來沒有多久，游戲就成了它的重要用途。早在1952 年，美國計算機科學家阿瑟·塞繆爾（Arthur Samuel）就在一臺 IBM 計算機上寫出了第一個跳棋程序。后來，他還創(chuàng)造了“機器學習”一詞。今天，這個詞和“人工智能”經常一起出現(xiàn)。1966年，美國計算機科學家、圖靈獎得主肯·湯普森（Kenneth Thompson）為了能繼續(xù)玩自己開發(fā)的“星際旅行”游戲，干脆寫了一個操作系統(tǒng)，還順手設計了一門編程語言。那個操作系統(tǒng)就是后來的 Unix。今天計算機上的 Linux 和 macOS 操作系統(tǒng)、手機上的 Android 和 iOS 操作系統(tǒng)都可以算成它的近親。而那門編程語言，就是大名鼎鼎的 C 語言。

圖庫版權圖片，不授權轉載

1982 年，IBM 推出了個人計算機（PC）。PC 游戲的出現(xiàn)順理成章。更快的硬件會催生更強大的軟件，更強的軟件會逼迫硬件升級，兩者像藤蔓般糾纏在一起。1992 年，大受歡迎的 3D 游戲《德軍總部 3D》誕生。在 3D 游戲中，畫面渲染計算的難度并不大，但是對計算速度的要求很高。在這類游戲中，環(huán)境和角色都是用許多多邊形構建起來的。它們的形狀和位置取決于頂點的3D坐標。顯卡需要對許多頂點執(zhí)行矩陣乘法與除法運算，才能確定這些模型該如何在平面的屏幕上準確呈現(xiàn)；然后，還需要對每個像素做一番計算，才能確定每個像素的顏色。這些計算需要很快的速度，因為 3D 游戲往往是移步換景的。

幸好，這些計算難度不高，而且彼此大都是獨立的。所以，專門用于顯示的顯卡應該擅長完成這些并行計算，并能快速傳輸數據。這樣的需求，讓計算機顯卡的核心圖形處理器（ GPU） 走上了和計算機 CPU 不同的道路。GPU 可以專為圖像處理優(yōu)化。

在進入新世紀后，摩爾定律失效的苗頭越來越明顯。加工工藝逐漸接近物理極限，晶體管越來越小，越來越難以制造和集成，散熱和電力供應也越來越成問題。于是，多核心逐漸成為主流的解決方案；無論是 CPU 還是 GPU，都朝著多核心的方向一路狂奔。

緊接著，比特幣就出現(xiàn)了。

以比特幣為代表的加密貨幣是被計算出來的，這個過程叫做“挖礦”。挖礦需要大量的并行計算能力，每秒鐘要執(zhí)行數百萬次。在加密貨幣價格上漲的日子里，“挖礦”成了利潤豐厚的商業(yè)活動，為了追求更多的財富，狂熱的“礦主”甚至把顯卡買到缺貨——而這樣的需求又進一步刺激了對算力突破的需求。

芯片廠商最初研發(fā)GPU的時候，怎么可能會想到，很多年后，這些“游戲裝備”竟然被拿來“挖礦”了呢？

03

技術自有安排

沒想到的事情，又何止這么一件？

2010 年，美國空軍買了大約 2000 臺索尼公司生產的 PlayStation 3 游戲主機。這是要讓飛行員們通過玩兒游戲來訓練嗎，還是干脆就是軍官們想玩兒游戲了？

都不是。

在物理學家卡納（Guarav Khanna）的一番操作之后，這些游戲主機被連在一起，成了一臺專門用于處理高分辨率衛(wèi)星圖像的超級計算機。它的浮點運算性能比當時市場上的最強顯卡還要強至少30倍。即使是10多年后的現(xiàn)在，最強的消費級顯卡也只能勉強達到它的1/5。

這顯然也是索尼公司和游戲玩家們沒想到的事情。不過，倒也不難理解。游戲主機本來就是為了游戲優(yōu)化的——PlayStation 3 使用的芯片，有獨立的 CPU 和 GPU 協(xié)同工作，能利用 8 個核心來完成雙重任務，還可以在所有核之間共享信息。

如今，AI 也需要這些能力。今天 AI 的主要技術是深度學習，而深度學習的基本思想是“聯(lián)結主義”：盡管神經網絡中的單個神經元不具備智能，但大量神經元連接在一起，往往就會“涌現(xiàn)”出智能。關鍵是神經元數量要多，神經網絡規(guī)模要大——模型能力的提升關鍵之一，就是網絡規(guī)模的變化。

**顯然，網絡規(guī)模越大，對計算能力的需求就越高。**今天的大型神經網絡通常使用 GPU 來計算。因為神經網絡所使用的算法，往往會涉及到大量的參數，它們會在每一次訓練迭代時更新。要更新的內容越多，對內存帶寬的要求就越高，而 GPU 的優(yōu)勢之一就是內存帶寬。而且，神經網絡的訓練算法往往在神經元級別上相對獨立且簡單，所以還可以利用 GPU 的并行計算能力來加速處理。

圖庫版權圖片，不授權轉載

這當然不是顯卡的設計用途。但是誤打誤撞地，顯卡成了 AI 時代的基礎設施。正是游戲和加密貨幣，在一定程度上幫助后來的AI打下了這樣的“算力底座”。從某種意義上說，這是技術自己的安排。

04

技術總是出人意料

今天，AI 已經開始推動社會和工業(yè)變革。若是沒有顯卡，也許我們不會這么快看到 AI 走進生活。而顯卡，源自人們的熱情和創(chuàng)新精神，特別是對游戲和加密貨幣的追逐。這大概算是個有點意外的開端。

著名科學作家里德利（Matt Ridley）在其名作《自下而上》里說，**技術創(chuàng)新和生物的演化一樣，沒有特定的方向，只有在經過一番優(yōu)勝劣汰之后，最合適的技術才會發(fā)展壯大。**而某種技術一旦成為主流，又會不斷地自我改進。技術像是變成了一種獨特的生物，有了自己的發(fā)展方向。隨著技術進步，那些受到歡迎的技術會繼續(xù)累積，發(fā)展速度會變得越來越快。

凱文·凱利（Kevin Kelly）也有些相似的觀點。他在《科技想要什么》中談到，科技的發(fā)展不是線性的，而是充滿了曲折和反復；科技的演進往往復雜而不確定，未來的發(fā)展往往出乎人們的意料。

所以，AI 的耗能問題，也許會有出乎意料的解法。現(xiàn)在人們已經開始嘗試讓 AI 不那么耗電，如降低精度、模型壓縮、模型裁剪等技術；也在積極探索可再生能源技術的應用，來提供更環(huán)保的能源。這當然是個好的開始。

把這個問題留給 AI 來探索，也許會有令人驚喜的答案吧！

作者｜猛犸 哈爾濱理工大學

審核｜于旸 騰訊安全玄武實驗室負責人

本文封面圖片及文內圖片來自版權圖庫

圖片內容不授權轉載