我們正處于這樣一個時代：大型基礎(chǔ)模型（大規(guī)模通用神經(jīng)網(wǎng)絡(luò)以無監(jiān)督的方式使用大量不同的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練）徹底改變計算機(jī)視覺、自然語言處理以及最近的時間序列預(yù)測等領(lǐng)域。這種模型通過實現(xiàn)零樣本預(yù)測來重塑時間序列預(yù)測領(lǐng)域，允許使用新的、未見過的數(shù)據(jù)進(jìn)行預(yù)測，無需針對每個數(shù)據(jù)集進(jìn)行重新訓(xùn)練。這一突破顯著縮減了開發(fā)時間和成本，簡化了為不同任務(wù)創(chuàng)建和微調(diào)模型的過程。

機(jī)器學(xué)習(xí)方法在時間序列預(yù)測中的作用首次在M4和M5預(yù)測競賽中得到了突出體現(xiàn)，基于機(jī)器學(xué)習(xí)的模型在這類競賽中的表現(xiàn)首次顯著優(yōu)于傳統(tǒng)的統(tǒng)計方法。在2020年的M5競賽中，LightGBM、DeepAR和N-BEATS等先進(jìn)模型展示了納入外生變量（比如天氣或假期等影響數(shù)據(jù)但不屬于核心時間序列的因素）的效果。這種方法帶來了前所未有的預(yù)測準(zhǔn)確性。

這類競賽強調(diào)了從多個相關(guān)序列中交叉學(xué)習(xí)的重要性，為開發(fā)專門為時間序列分析設(shè)計的基礎(chǔ)模型鋪平了道路。它們還激發(fā)了人們對用于時間序列預(yù)測的機(jī)器學(xué)習(xí)模型的興趣，因為機(jī)器學(xué)習(xí)模型能夠識別復(fù)雜的時間模式，并整合外生變量，正日益取代統(tǒng)計方法。（注意：在短期單變量時間序列預(yù)測方面，統(tǒng)計方法的表現(xiàn)仍常常勝過機(jī)器學(xué)習(xí)模型。）

基礎(chǔ)預(yù)測模型時間表

2023年10月，TimeGPT-1作為首批基礎(chǔ)預(yù)測模型之一而發(fā)布，該模型旨在對不同時間序列數(shù)據(jù)集進(jìn)行泛化，無需針對每個數(shù)據(jù)集進(jìn)行特定的訓(xùn)練。與傳統(tǒng)的預(yù)測方法不同，基礎(chǔ)預(yù)測模型利用大量的預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行零樣本預(yù)測。這一突破使企業(yè)得以避免了為特定任務(wù)訓(xùn)練和調(diào)優(yōu)模型這個時間長、開銷大的過程，為處理動態(tài)變化數(shù)據(jù)的行業(yè)提供了適應(yīng)性很強的解決方案。

隨后在2024年2月，Lag-Llama發(fā)布。它專注于通過關(guān)注滯后依賴關(guān)系來進(jìn)行長期預(yù)測，滯后依賴關(guān)系是時間序列中過去值和未來結(jié)果之間的時間相關(guān)性。滯后依賴關(guān)系在金融和能源等領(lǐng)域尤為重要；在這些領(lǐng)域，當(dāng)前趨勢常常受到過去長期事件的嚴(yán)重影響。通過有效地捕獲這些依賴關(guān)系，Lag-Llama提高了在較長時間范圍至關(guān)重要的情況下的預(yù)測準(zhǔn)確性。

2024年3月，一個簡單但高效的預(yù)訓(xùn)練概率時間序列模型框架Chronos問世。Chronos通過縮放和量化來標(biāo)記時間序列值，即將連續(xù)的數(shù)值數(shù)據(jù)轉(zhuǎn)換成離散的類別。這讓它得以將基于Transformer的語言模型（通常用于文本生成）運用于時間序列數(shù)據(jù)。Transformer擅長識別序列中的模式，而通過將時間序列視為標(biāo)記序列，Chronos使這些模型能夠有效地預(yù)測未來的值。Chronos基于T5模型系列（參數(shù)從2000萬個到7.10億個不等），使用公共和合成數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。針對42個數(shù)據(jù)集的基準(zhǔn)測試表明，Chronos在熟悉的數(shù)據(jù)集上的性能明顯優(yōu)于其他方法，在新數(shù)據(jù)上的零樣本性能也很出色。這種多功能性使Chronos成為零售、能源和醫(yī)療保健等行業(yè)一種強大的預(yù)測工具，它在這些行業(yè)很好地適用于各種數(shù)據(jù)源。

2024年4月，谷歌推出了TimesFM，這是一個使用1000億個實際時間點進(jìn)行預(yù)訓(xùn)練的純解碼器基礎(chǔ)模型。與使用編碼器和解碼器的標(biāo)準(zhǔn)Transformer模型不同，TimesFM專注于僅根據(jù)過去的輸入一步一步地生成預(yù)測，因而是時間序列預(yù)測的理想選擇。像TimesFM這樣的基礎(chǔ)模型不同于傳統(tǒng)的Transformer模型，后者通常需要針對特定任務(wù)的訓(xùn)練，并且在不同領(lǐng)域的通用性較差。TimesFM在零售、金融和自然科學(xué)等領(lǐng)域能夠直接提供準(zhǔn)確的預(yù)測，因而極具價值，因為它不需要使用新的時間序列數(shù)據(jù)進(jìn)行大量的重新訓(xùn)練。

2024年5月，Salesforce推出了開源基礎(chǔ)預(yù)測模型Moirai，旨在支持概率零樣本預(yù)測和處理外生特征。Moirai克服了時間序列預(yù)測方面的挑戰(zhàn)，比如交叉頻率學(xué)習(xí)、適應(yīng)多個變量以及管理不同的分布屬性。它建立在基于掩碼編碼器的通用時間序列預(yù)測Transformer（MOIRAI）架構(gòu)上，充分利用了大規(guī)模開放時間序列存檔（LOTSA），包括橫跨9個領(lǐng)域的270多億個觀測數(shù)據(jù)。借助任意變量注意力和靈活參數(shù)分布等技術(shù)，Moirai可以針對不同的數(shù)據(jù)集提供易于擴(kuò)展的零樣本預(yù)測，無需針對特定任務(wù)進(jìn)行重新訓(xùn)練，這標(biāo)志著向通用時間序列預(yù)測邁出了一大步。

IBM的Tiny Time Mixers（TTM）于2024年6月發(fā)布，提供了傳統(tǒng)時間序列基礎(chǔ)模型的輕量級替代方案。TTM是一種基于MLP的模型，依賴全連接的神經(jīng)網(wǎng)絡(luò)，而不是使用Transformer的注意力機(jī)制。像自適應(yīng)補丁和分辨率前綴調(diào)優(yōu)這樣的技術(shù)創(chuàng)新讓TTM可以在處理多變量預(yù)測和外生變量的同時，有效地適用于不同的數(shù)據(jù)集。高效率使其成為計算資源有限的低延遲環(huán)境的一種理想選擇。

AutoLab的MOMENT也于2024年5月發(fā)布，是一種為通用時間序列分析設(shè)計的開源基礎(chǔ)模型系列。MOMENT克服了時間序列數(shù)據(jù)預(yù)訓(xùn)練方面的三大挑戰(zhàn)：缺少大型內(nèi)聚公共時間序列存儲庫、時間序列數(shù)據(jù)的多種特征（比如可變采樣率和分辨率）以及缺少用于評估模型的既定基準(zhǔn)。為了解決這些問題，AutoLab引入了時間序列堆（Time Series Pile），這是跨多個領(lǐng)域的公共時間序列數(shù)據(jù)集合，并開發(fā)了一套基準(zhǔn)來評估MOMENT處理短期和長期預(yù)測、分類、異常檢測和填補等任務(wù)的表現(xiàn)。借助最小化微調(diào)，MOMENT在處理這些任務(wù)時提供了令人印象深刻的零樣本學(xué)習(xí)性能，提供了易于擴(kuò)展的通用時間序列模型。

總之，這些模型代表了時間序列預(yù)測的新前沿。它們?yōu)楦餍懈鳂I(yè)提供了生成更準(zhǔn)確的預(yù)測、識別復(fù)雜模式以及改進(jìn)決策的能力，同時減少了對大量的特定領(lǐng)域訓(xùn)練的需求。

時間序列和語言模型的未來：文本數(shù)據(jù)與傳感器數(shù)據(jù)相結(jié)合

展望未來，時間序列模型與語言模型相結(jié)合正帶來令人興奮的創(chuàng)新。像Chronos、Moirai和TimesFM這樣的模型正將時間序列預(yù)測推向新的高峰，但下一個前沿是將傳統(tǒng)傳感器數(shù)據(jù)與非結(jié)構(gòu)化文本相結(jié)合，以獲得更好的結(jié)果。

以汽車行業(yè)為例，借助NLP將傳感器數(shù)據(jù)與技術(shù)人員報告和服務(wù)記錄相結(jié)合，以全面深入地了解潛在的維護(hù)問題。在醫(yī)療保健領(lǐng)域，病人的實時監(jiān)測與醫(yī)生的筆記相結(jié)合，可以預(yù)測早期診斷的健康結(jié)果。零售和拼車公司則利用社交媒體和活動數(shù)據(jù)以及時間序列預(yù)測，更準(zhǔn)確地預(yù)測重大活動期間的拼車需求或銷售高峰。

通過結(jié)合這兩種強大的數(shù)據(jù)類型，物聯(lián)網(wǎng)、醫(yī)療保健和物流等行業(yè)正在更深入、更實時地了解當(dāng)前發(fā)生的情況和即將發(fā)生的趨勢，從而做出更明智的決策和更準(zhǔn)確的預(yù)測。