版權歸原作者所有,如有侵權,請聯(lián)系我們

基于 7 大城市實景數(shù)據(jù),清華大學團隊開源 GPD 模型

HyperAI超神經(jīng)
原創(chuàng)
人工智能說明書,了解 AI 的功效和副作用。
收藏

城市,是人們安居樂業(yè)的故土,是政府開展經(jīng)濟建設的基石,承載著細膩的人文情懷與宏偉的國家發(fā)展脈絡。長期以來,管理者一直在探尋更加高效、科學的城市治理方法,解決不同地區(qū)資源供給不平衡、交通擁擠、人口流失等問題。在物聯(lián)網(wǎng)、AI、大數(shù)據(jù)等技術的加速迭代下,智慧城市應運而生,在越來越多的國家開始了因地制宜的革新。

如果將智慧城市建設比喻成「蓋房子」,那么時空數(shù)據(jù)便是必不可少的「磚瓦」,基于時空數(shù)據(jù)的時空預測模型更加是構成智慧城市框架的重要基礎。時空數(shù)據(jù),顧名思義,記錄了事件在時間和空間兩個維度上的發(fā)生與變化,包含地理信息、氣象數(shù)據(jù)、交通數(shù)據(jù)、人口數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)等。

但是,由于城市發(fā)展水平不盡相同、數(shù)據(jù)收集政策也存在差異,導致部分城市的時空數(shù)據(jù)匱乏,難以支撐預測模型的構建。對此,現(xiàn)有方法主要是利用數(shù)據(jù)豐富的源城市數(shù)據(jù)訓練模型,并將其應用于數(shù)據(jù)稀缺的目標城市。但這一過程往往依賴于復雜的匹配設計,如何實現(xiàn)對源城市和目標城市之間更加泛化的知識遷移仍是一個重要挑戰(zhàn)。

針對城市計算中廣泛存在的數(shù)據(jù)稀缺性問題,清華大學電子工程系城市科學與計算研究中心發(fā)布了最新研究成果《Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation》,提出了 GPD (Generative Pre-Trained Diffusion) 模型,利用擴散模型生成神經(jīng)網(wǎng)絡參數(shù),將時空少樣本學習轉變?yōu)閿U散模型的預訓練問題。該研究已被ICLR2024接收,數(shù)據(jù)代碼均已開源。

其優(yōu)勢在于,通過預訓練一個擴散模型,從源城市的數(shù)據(jù)中學習到有關優(yōu)化神經(jīng)網(wǎng)絡參數(shù)的知識,然后根據(jù)提示生成適應目標城市的神經(jīng)網(wǎng)絡。

論文鏈接:
https://openreview.net/forum?id=QyFm3D3Tzi
數(shù)據(jù)集下載鏈接:
https://hyper.ai/datasets/30453

關注公眾號,后臺回復「清華GPD」下載完整論文

覆蓋多城市的人流與交通數(shù)據(jù)集
研究人員在兩種類型的時空預測任務上進行了實驗——人群流動預測、交通速度預測。

在人群流動預測中,研究人員在 3 個真實世界數(shù)據(jù)集上進行了實驗,包括紐約市、華盛頓特區(qū)和巴爾的摩。每個數(shù)據(jù)集包含所有區(qū)域的每小時城市人流量。


人群流動預測的3個真實世界數(shù)據(jù)集

在交通速度預測中,研究人員在 4 個真實世界數(shù)據(jù)集上進行了實驗,包括 MetaLA、PEMS-BAy、滴滴成都和滴滴深圳。


交通速度預測的4 個真實世界數(shù)據(jù)集

在上述兩個測試任務中,研究人員將數(shù)據(jù)集分類為源城市與目標城市。例如,如果將某個特定城市設置為目標數(shù)據(jù)集,則假設只能訪問有限數(shù)量的數(shù)據(jù),如 3 天的數(shù)據(jù)(現(xiàn)有模型通常需要幾個月的數(shù)據(jù)來訓練模型),而擴散模型是使用源城市提供的豐富數(shù)據(jù)進行訓練的。

雙 buff 加持:預訓練 + 提示微調
如下圖所示,GPD 作為一種條件生成框架,共分為 3 個關鍵階段:


模型概覽

(a) 神經(jīng)網(wǎng)絡準備階段

研究人員針對每個源城市區(qū)域訓練了單獨的時空預測模型,并保存其優(yōu)化后的網(wǎng)絡參數(shù)。每個區(qū)域的模型參數(shù)都經(jīng)過獨立優(yōu)化,轉換為基于向量的格式,沒有參數(shù)共享,以確保模型能夠最大程度地適應各自區(qū)域的特征。

(b) 擴散模型預訓練

該框架使用收集到的預訓練模型參數(shù)作為訓練數(shù)據(jù),訓練擴散模型來學習生成模型參數(shù)的過程。擴散模型通過逐步去噪來生成參數(shù),可以在給定提示的情況下從噪聲中生成神經(jīng)網(wǎng)絡參數(shù)。這個過程類似于從隨機初始化開始的參數(shù)優(yōu)化過程,因此能夠更好地適應目標城市的數(shù)據(jù)分布。

(c) 神經(jīng)網(wǎng)絡參數(shù)生成

在預訓練后,可以通過使用目標城市的區(qū)域提示來生成參數(shù)。這種方法利用提示促進了知識轉移和精確參數(shù)匹配,充分利用了城市間區(qū)域之間的相似性。

其中,去噪網(wǎng)絡的網(wǎng)絡結構如下圖所示:


去噪網(wǎng)絡的網(wǎng)絡結構

如上圖 (a) 所示該研究的去噪網(wǎng)絡架構采用了基于 prompt 的 Transformer 擴散模型,在層分割 (layer segmentation) 之后,參數(shù)被重組為標記序列。

在去噪過程中,除了噪聲序列外,Transformer 擴散模型還考慮了時間步長 k 和區(qū)域提示 p。研究人員探索了多種調節(jié)方法,例如后適應調節(jié)、自適應規(guī)范調節(jié),對 Transformer 層設計進行了微小但重要的修改,調整策略如上圖 (b) 和 (c) 所示。

值得一提的是,在預訓練-提示微調的框架中,提示的選擇具有很高的靈活性,只要能夠捕捉特定區(qū)域的特征即可。例如,可以利用各種靜態(tài)特征,如人口、區(qū)域面積、功能和興趣點 (POI) 的分布等。

這項工作從空間和時間兩個方面利用區(qū)域提示:

* 空間提示來自于城市知識圖譜中節(jié)點表征,僅利用區(qū)域鄰接性和功能相似性等關系,這些關系在所有城市中都很容易獲取;

* 時間提示來自于自監(jiān)督學習模型的編碼器。

GPD 在數(shù)據(jù)稀缺的場景中表現(xiàn)出色,性能提高 7.87%
為了評估所提框架的有效性,該研究在兩類經(jīng)典的時空預測任務上進行了實驗:人群流動預測和交通速度預測,該研究表明,GPD 在數(shù)據(jù)稀缺的場景中表現(xiàn)出色,在四個數(shù)據(jù)集上比最佳基線平均提高了 7.87%。


GPD在4個數(shù)據(jù)集上相對于最先進基線方法的比較結果

在華盛頓特區(qū)、巴爾的摩、洛杉磯和成都數(shù)據(jù)集中,與上表中劃線標記的最佳基線方法相比,GPD 的平均誤絕對差 (MAE) 分別降低了 4.31%、17.1%、2.1% 和 8.17%。這表明,GPD 在不同數(shù)據(jù)場景下一致表現(xiàn)優(yōu)越,實現(xiàn)了有效的神經(jīng)網(wǎng)絡參數(shù)層面的知識遷移。

不同時空預測模型的性能對比

此外,該研究還驗證了 GPD 框架對于不同時空預測模型適配的靈活性。除了經(jīng)典的時空圖方法 STGCN 外,該研究還引入了 GWN 和 STID 作為時空預測模型,并使用擴散模型生成其網(wǎng)絡參數(shù)。實驗結果表明,框架的優(yōu)越性不會受到模型選擇的影響,因此可以適配各種先進的模型。

加速打造「實景三維中國」
近年來,隨著新興基礎設施建設提速,時空數(shù)據(jù)的采集難題已經(jīng)得到了很大程度上的緩解,加之如上述這一類少樣本學習方法的成功應用,因地制宜的城市時空大數(shù)據(jù)平臺已經(jīng)在越來越多的城市落地。

人民日報在 2023 年 5 月的報道顯示,國產衛(wèi)星遙感影像自主保障率達 90% 以上;1∶50000 基礎地理信息數(shù)據(jù)庫保持按年度動態(tài)更新,1∶10000 基礎地理信息數(shù)據(jù)陸地國土覆蓋率達到 65%。

據(jù)介紹,實景三維中國納入數(shù)字中國建設整體布局規(guī)劃并全面啟動,國家和省、市、縣協(xié)同推進地形級、城市級、部件級實景三維建設,產品覆蓋從陸地表面向海洋、水下、地下等方面延伸。目前實景三維中國建設成果已實時接入國土空間基礎信息平臺,應用于第三次全國國土調查申報數(shù)據(jù)核查、國土變更調查變化圖斑提取、國土空間規(guī)劃編制論證與方案推演等工作中。

截至 2023 年 5 月,40 個智慧城市時空大數(shù)據(jù)平臺建設完成,開展了面向自然資源監(jiān)測管理、城市精細化管理、交通和市場監(jiān)管等 400 余項行業(yè)應用系統(tǒng),為城市精細化管理、經(jīng)濟發(fā)展和公眾生活提供了實時、豐富、全面、權威的時空基礎支撐。

可以肯定的是,在「數(shù)字中國」的大背景之下,以宜居、可持續(xù)發(fā)展為目標的智慧城市建設將持續(xù)深化,而時空數(shù)據(jù)、時空模型作為城市大腦的底座,重要程度不言而喻,相信在數(shù)據(jù)采集能力提升,以及少樣本學習方法的迭代之下,時空預測也將更加準確。

參考資料 :
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm

評論
祥和123
庶吉士級
可以肯定的是,在「數(shù)字中國」的大背景之下,以宜居、可持續(xù)發(fā)展為目標的智慧城市建設將持續(xù)深化,而時空數(shù)據(jù)、時空模型作為城市大腦的底座,重要程度不言而喻,相信在數(shù)據(jù)采集能力提升,以及少樣本學習方法的迭代之下,時空預測也將更加準確。
2024-04-01
卞瑞強
進士級
三維地圖讓人有身臨其境的感覺,其實對于喜歡旅游的人來說是一項不錯的體驗,即使出不了門,也能在地圖上感受到的地方的風采。
2024-04-02
科普員趙鵬
太傅級
城市,是人們安居樂業(yè)的故土,是政府開展經(jīng)濟建設的基石,承載著細膩的人文情懷與宏偉的國家發(fā)展脈絡。長期以來,管理者一直在探尋更加高效、科學的城市治理方法,解決不同地區(qū)資源供給不平衡、交通擁擠、人口流失等問題。在物聯(lián)網(wǎng)、AI、大數(shù)據(jù)等技術的加速迭代下,智慧城市應運而生,在越來越多的國家開始了因地制宜的革新
2024-04-02