城市，是人們安居樂業(yè)的故土，是政府開展經(jīng)濟建設的基石，承載著細膩的人文情懷與宏偉的國家發(fā)展脈絡。長期以來，管理者一直在探尋更加高效、科學的城市治理方法，解決不同地區(qū)資源供給不平衡、交通擁擠、人口流失等問題。在物聯(lián)網(wǎng)、AI、大數(shù)據(jù)等技術的加速迭代下，智慧城市應運而生，在越來越多的國家開始了因地制宜的革新。
如果將智慧城市建設比喻成「蓋房子」，那么時空數(shù)據(jù)便是必不可少的「磚瓦」，基于時空數(shù)據(jù)的時空預測模型更加是構成智慧城市框架的重要基礎。時空數(shù)據(jù)，顧名思義，記錄了事件在時間和空間兩個維度上的發(fā)生與變化，包含地理信息、氣象數(shù)據(jù)、交通數(shù)據(jù)、人口數(shù)據(jù)、衛(wèi)星遙感數(shù)據(jù)等。
但是，由于城市發(fā)展水平不盡相同、數(shù)據(jù)收集政策也存在差異，導致部分城市的時空數(shù)據(jù)匱乏，難以支撐預測模型的構建。對此，現(xiàn)有方法主要是利用數(shù)據(jù)豐富的源城市數(shù)據(jù)訓練模型，并將其應用于數(shù)據(jù)稀缺的目標城市。但這一過程往往依賴于復雜的匹配設計，如何實現(xiàn)對源城市和目標城市之間更加泛化的知識遷移仍是一個重要挑戰(zhàn)。
針對城市計算中廣泛存在的數(shù)據(jù)稀缺性問題，清華大學電子工程系城市科學與計算研究中心發(fā)布了最新研究成果《Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation》，提出了 GPD (Generative Pre-Trained Diffusion) 模型，利用擴散模型生成神經(jīng)網(wǎng)絡參數(shù)，將時空少樣本學習轉變?yōu)閿U散模型的預訓練問題。該研究已被ICLR2024接收，數(shù)據(jù)代碼均已開源。
其優(yōu)勢在于，通過預訓練一個擴散模型，從源城市的數(shù)據(jù)中學習到有關優(yōu)化神經(jīng)網(wǎng)絡參數(shù)的知識，然后根據(jù)提示生成適應目標城市的神經(jīng)網(wǎng)絡。
論文鏈接：
https://openreview.net/forum?id=QyFm3D3Tzi
數(shù)據(jù)集下載鏈接：
https://hyper.ai/datasets/30453
關注公眾號，后臺回復「清華GPD」下載完整論文
覆蓋多城市的人流與交通數(shù)據(jù)集
研究人員在兩種類型的時空預測任務上進行了實驗——人群流動預測、交通速度預測。
在人群流動預測中，研究人員在 3 個真實世界數(shù)據(jù)集上進行了實驗，包括紐約市、華盛頓特區(qū)和巴爾的摩。每個數(shù)據(jù)集包含所有區(qū)域的每小時城市人流量。
人群流動預測的3個真實世界數(shù)據(jù)集
在交通速度預測中，研究人員在 4 個真實世界數(shù)據(jù)集上進行了實驗，包括 MetaLA、PEMS-BAy、滴滴成都和滴滴深圳。
交通速度預測的4 個真實世界數(shù)據(jù)集
在上述兩個測試任務中，研究人員將數(shù)據(jù)集分類為源城市與目標城市。例如，如果將某個特定城市設置為目標數(shù)據(jù)集，則假設只能訪問有限數(shù)量的數(shù)據(jù)，如 3 天的數(shù)據(jù)（現(xiàn)有模型通常需要幾個月的數(shù)據(jù)來訓練模型），而擴散模型是使用源城市提供的豐富數(shù)據(jù)進行訓練的。
雙 buff 加持：預訓練 + 提示微調
如下圖所示，GPD 作為一種條件生成框架，共分為 3 個關鍵階段：
模型概覽
(a) 神經(jīng)網(wǎng)絡準備階段
研究人員針對每個源城市區(qū)域訓練了單獨的時空預測模型，并保存其優(yōu)化后的網(wǎng)絡參數(shù)。每個區(qū)域的模型參數(shù)都經(jīng)過獨立優(yōu)化，轉換為基于向量的格式，沒有參數(shù)共享，以確保模型能夠最大程度地適應各自區(qū)域的特征。
(b) 擴散模型預訓練
該框架使用收集到的預訓練模型參數(shù)作為訓練數(shù)據(jù)，訓練擴散模型來學習生成模型參數(shù)的過程。擴散模型通過逐步去噪來生成參數(shù)，可以在給定提示的情況下從噪聲中生成神經(jīng)網(wǎng)絡參數(shù)。這個過程類似于從隨機初始化開始的參數(shù)優(yōu)化過程，因此能夠更好地適應目標城市的數(shù)據(jù)分布。
(c) 神經(jīng)網(wǎng)絡參數(shù)生成
在預訓練后，可以通過使用目標城市的區(qū)域提示來生成參數(shù)。這種方法利用提示促進了知識轉移和精確參數(shù)匹配，充分利用了城市間區(qū)域之間的相似性。
其中，去噪網(wǎng)絡的網(wǎng)絡結構如下圖所示：
去噪網(wǎng)絡的網(wǎng)絡結構
如上圖 (a) 所示該研究的去噪網(wǎng)絡架構采用了基于 prompt 的 Transformer 擴散模型，在層分割 (layer segmentation) 之后，參數(shù)被重組為標記序列。
在去噪過程中，除了噪聲序列外，Transformer 擴散模型還考慮了時間步長 k 和區(qū)域提示 p。研究人員探索了多種調節(jié)方法，例如后適應調節(jié)、自適應規(guī)范調節(jié)，對 Transformer 層設計進行了微小但重要的修改，調整策略如上圖 (b) 和 (c) 所示。
值得一提的是，在預訓練-提示微調的框架中，提示的選擇具有很高的靈活性，只要能夠捕捉特定區(qū)域的特征即可。例如，可以利用各種靜態(tài)特征，如人口、區(qū)域面積、功能和興趣點 (POI) 的分布等。
這項工作從空間和時間兩個方面利用區(qū)域提示：
* 空間提示來自于城市知識圖譜中節(jié)點表征，僅利用區(qū)域鄰接性和功能相似性等關系，這些關系在所有城市中都很容易獲取；
* 時間提示來自于自監(jiān)督學習模型的編碼器。
GPD 在數(shù)據(jù)稀缺的場景中表現(xiàn)出色，性能提高 7.87%
為了評估所提框架的有效性，該研究在兩類經(jīng)典的時空預測任務上進行了實驗：人群流動預測和交通速度預測，該研究表明，GPD 在數(shù)據(jù)稀缺的場景中表現(xiàn)出色，在四個數(shù)據(jù)集上比最佳基線平均提高了 7.87%。
GPD在4個數(shù)據(jù)集上相對于最先進基線方法的比較結果
在華盛頓特區(qū)、巴爾的摩、洛杉磯和成都數(shù)據(jù)集中，與上表中劃線標記的最佳基線方法相比，GPD 的平均誤絕對差 (MAE) 分別降低了 4.31%、17.1%、2.1% 和 8.17%。這表明，GPD 在不同數(shù)據(jù)場景下一致表現(xiàn)優(yōu)越，實現(xiàn)了有效的神經(jīng)網(wǎng)絡參數(shù)層面的知識遷移。
不同時空預測模型的性能對比
此外，該研究還驗證了 GPD 框架對于不同時空預測模型適配的靈活性。除了經(jīng)典的時空圖方法 STGCN 外，該研究還引入了 GWN 和 STID 作為時空預測模型，并使用擴散模型生成其網(wǎng)絡參數(shù)。實驗結果表明，框架的優(yōu)越性不會受到模型選擇的影響，因此可以適配各種先進的模型。
加速打造「實景三維中國」
近年來，隨著新興基礎設施建設提速，時空數(shù)據(jù)的采集難題已經(jīng)得到了很大程度上的緩解，加之如上述這一類少樣本學習方法的成功應用，因地制宜的城市時空大數(shù)據(jù)平臺已經(jīng)在越來越多的城市落地。
人民日報在 2023 年 5 月的報道顯示，國產衛(wèi)星遙感影像自主保障率達 90% 以上；1∶50000 基礎地理信息數(shù)據(jù)庫保持按年度動態(tài)更新，1∶10000 基礎地理信息數(shù)據(jù)陸地國土覆蓋率達到 65%。
據(jù)介紹，實景三維中國納入數(shù)字中國建設整體布局規(guī)劃并全面啟動，國家和省、市、縣協(xié)同推進地形級、城市級、部件級實景三維建設，產品覆蓋從陸地表面向海洋、水下、地下等方面延伸。目前實景三維中國建設成果已實時接入國土空間基礎信息平臺，應用于第三次全國國土調查申報數(shù)據(jù)核查、國土變更調查變化圖斑提取、國土空間規(guī)劃編制論證與方案推演等工作中。
截至 2023 年 5 月，40 個智慧城市時空大數(shù)據(jù)平臺建設完成，開展了面向自然資源監(jiān)測管理、城市精細化管理、交通和市場監(jiān)管等 400 余項行業(yè)應用系統(tǒng)，為城市精細化管理、經(jīng)濟發(fā)展和公眾生活提供了實時、豐富、全面、權威的時空基礎支撐。
可以肯定的是，在「數(shù)字中國」的大背景之下，以宜居、可持續(xù)發(fā)展為目標的智慧城市建設將持續(xù)深化，而時空數(shù)據(jù)、時空模型作為城市大腦的底座，重要程度不言而喻，相信在數(shù)據(jù)采集能力提升，以及少樣本學習方法的迭代之下，時空預測也將更加準確。
參考資料 ：
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm
掃碼下載APP
科普中國APP
科普中國
科普中國
京公網(wǎng)安備11010202008423號