我們正處于這樣一個(gè)時(shí)代：大型基礎(chǔ)模型（大規(guī)模通用神經(jīng)網(wǎng)絡(luò)以無監(jiān)督的方式使用大量不同的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練）徹底改變計(jì)算機(jī)視覺、自然語言處理以及最近的時(shí)間序列預(yù)測等領(lǐng)域。這種模型通過實(shí)現(xiàn)零樣本預(yù)測來重塑時(shí)間序列預(yù)測領(lǐng)域，允許使用新的、未見過的數(shù)據(jù)進(jìn)行預(yù)測，無需針對每個(gè)數(shù)據(jù)集進(jìn)行重新訓(xùn)練。這一突破顯著縮減了開發(fā)時(shí)間和成本，簡化了為不同任務(wù)創(chuàng)建和微調(diào)模型的過程。

機(jī)器學(xué)習(xí)方法在時(shí)間序列預(yù)測中的作用首次在M4和M5預(yù)測競賽中得到了突出體現(xiàn)，基于機(jī)器學(xué)習(xí)的模型在這類競賽中的表現(xiàn)首次顯著優(yōu)于傳統(tǒng)的統(tǒng)計(jì)方法。在2020年的M5競賽中，LightGBM、DeepAR和N-BEATS等先進(jìn)模型展示了納入外生變量（比如天氣或假期等影響數(shù)據(jù)但不屬于核心時(shí)間序列的因素）的效果。這種方法帶來了前所未有的預(yù)測準(zhǔn)確性。

這類競賽強(qiáng)調(diào)了從多個(gè)相關(guān)序列中交叉學(xué)習(xí)的重要性，為開發(fā)專門為時(shí)間序列分析設(shè)計(jì)的基礎(chǔ)模型鋪平了道路。它們還激發(fā)了人們對用于時(shí)間序列預(yù)測的機(jī)器學(xué)習(xí)模型的興趣，因?yàn)闄C(jī)器學(xué)習(xí)模型能夠識(shí)別復(fù)雜的時(shí)間模式，并整合外生變量，正日益取代統(tǒng)計(jì)方法。（注意：在短期單變量時(shí)間序列預(yù)測方面，統(tǒng)計(jì)方法的表現(xiàn)仍常常勝過機(jī)器學(xué)習(xí)模型。）

基礎(chǔ)預(yù)測模型時(shí)間表

2023年10月，TimeGPT-1作為首批基礎(chǔ)預(yù)測模型之一而發(fā)布，該模型旨在對不同時(shí)間序列數(shù)據(jù)集進(jìn)行泛化，無需針對每個(gè)數(shù)據(jù)集進(jìn)行特定的訓(xùn)練。與傳統(tǒng)的預(yù)測方法不同，基礎(chǔ)預(yù)測模型利用大量的預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行零樣本預(yù)測。這一突破使企業(yè)得以避免了為特定任務(wù)訓(xùn)練和調(diào)優(yōu)模型這個(gè)時(shí)間長、開銷大的過程，為處理動(dòng)態(tài)變化數(shù)據(jù)的行業(yè)提供了適應(yīng)性很強(qiáng)的解決方案。

隨后在2024年2月，Lag-Llama發(fā)布。它專注于通過關(guān)注滯后依賴關(guān)系來進(jìn)行長期預(yù)測，滯后依賴關(guān)系是時(shí)間序列中過去值和未來結(jié)果之間的時(shí)間相關(guān)性。滯后依賴關(guān)系在金融和能源等領(lǐng)域尤為重要；在這些領(lǐng)域，當(dāng)前趨勢常常受到過去長期事件的嚴(yán)重影響。通過有效地捕獲這些依賴關(guān)系，Lag-Llama提高了在較長時(shí)間范圍至關(guān)重要的情況下的預(yù)測準(zhǔn)確性。

2024年3月，一個(gè)簡單但高效的預(yù)訓(xùn)練概率時(shí)間序列模型框架Chronos問世。Chronos通過縮放和量化來標(biāo)記時(shí)間序列值，即將連續(xù)的數(shù)值數(shù)據(jù)轉(zhuǎn)換成離散的類別。這讓它得以將基于Transformer的語言模型（通常用于文本生成）運(yùn)用于時(shí)間序列數(shù)據(jù)。Transformer擅長識(shí)別序列中的模式，而通過將時(shí)間序列視為標(biāo)記序列，Chronos使這些模型能夠有效地預(yù)測未來的值。Chronos基于T5模型系列（參數(shù)從2000萬個(gè)到7.10億個(gè)不等），使用公共和合成數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。針對42個(gè)數(shù)據(jù)集的基準(zhǔn)測試表明，Chronos在熟悉的數(shù)據(jù)集上的性能明顯優(yōu)于其他方法，在新數(shù)據(jù)上的零樣本性能也很出色。這種多功能性使Chronos成為零售、能源和醫(yī)療保健等行業(yè)一種強(qiáng)大的預(yù)測工具，它在這些行業(yè)很好地適用于各種數(shù)據(jù)源。

2024年4月，谷歌推出了TimesFM，這是一個(gè)使用1000億個(gè)實(shí)際時(shí)間點(diǎn)進(jìn)行預(yù)訓(xùn)練的純解碼器基礎(chǔ)模型。與使用編碼器和解碼器的標(biāo)準(zhǔn)Transformer模型不同，TimesFM專注于僅根據(jù)過去的輸入一步一步地生成預(yù)測，因而是時(shí)間序列預(yù)測的理想選擇。像TimesFM這樣的基礎(chǔ)模型不同于傳統(tǒng)的Transformer模型，后者通常需要針對特定任務(wù)的訓(xùn)練，并且在不同領(lǐng)域的通用性較差。TimesFM在零售、金融和自然科學(xué)等領(lǐng)域能夠直接提供準(zhǔn)確的預(yù)測，因而極具價(jià)值，因?yàn)樗恍枰褂眯碌臅r(shí)間序列數(shù)據(jù)進(jìn)行大量的重新訓(xùn)練。

2024年5月，Salesforce推出了開源基礎(chǔ)預(yù)測模型Moirai，旨在支持概率零樣本預(yù)測和處理外生特征。Moirai克服了時(shí)間序列預(yù)測方面的挑戰(zhàn)，比如交叉頻率學(xué)習(xí)、適應(yīng)多個(gè)變量以及管理不同的分布屬性。它建立在基于掩碼編碼器的通用時(shí)間序列預(yù)測Transformer（MOIRAI）架構(gòu)上，充分利用了大規(guī)模開放時(shí)間序列存檔（LOTSA），包括橫跨9個(gè)領(lǐng)域的270多億個(gè)觀測數(shù)據(jù)。借助任意變量注意力和靈活參數(shù)分布等技術(shù)，Moirai可以針對不同的數(shù)據(jù)集提供易于擴(kuò)展的零樣本預(yù)測，無需針對特定任務(wù)進(jìn)行重新訓(xùn)練，這標(biāo)志著向通用時(shí)間序列預(yù)測邁出了一大步。

IBM的Tiny Time Mixers（TTM）于2024年6月發(fā)布，提供了傳統(tǒng)時(shí)間序列基礎(chǔ)模型的輕量級替代方案。TTM是一種基于MLP的模型，依賴全連接的神經(jīng)網(wǎng)絡(luò)，而不是使用Transformer的注意力機(jī)制。像自適應(yīng)補(bǔ)丁和分辨率前綴調(diào)優(yōu)這樣的技術(shù)創(chuàng)新讓TTM可以在處理多變量預(yù)測和外生變量的同時(shí)，有效地適用于不同的數(shù)據(jù)集。高效率使其成為計(jì)算資源有限的低延遲環(huán)境的一種理想選擇。

AutoLab的MOMENT也于2024年5月發(fā)布，是一種為通用時(shí)間序列分析設(shè)計(jì)的開源基礎(chǔ)模型系列。MOMENT克服了時(shí)間序列數(shù)據(jù)預(yù)訓(xùn)練方面的三大挑戰(zhàn)：缺少大型內(nèi)聚公共時(shí)間序列存儲(chǔ)庫、時(shí)間序列數(shù)據(jù)的多種特征（比如可變采樣率和分辨率）以及缺少用于評估模型的既定基準(zhǔn)。為了解決這些問題，AutoLab引入了時(shí)間序列堆（Time Series Pile），這是跨多個(gè)領(lǐng)域的公共時(shí)間序列數(shù)據(jù)集合，并開發(fā)了一套基準(zhǔn)來評估MOMENT處理短期和長期預(yù)測、分類、異常檢測和填補(bǔ)等任務(wù)的表現(xiàn)。借助最小化微調(diào)，MOMENT在處理這些任務(wù)時(shí)提供了令人印象深刻的零樣本學(xué)習(xí)性能，提供了易于擴(kuò)展的通用時(shí)間序列模型。

總之，這些模型代表了時(shí)間序列預(yù)測的新前沿。它們?yōu)楦餍懈鳂I(yè)提供了生成更準(zhǔn)確的預(yù)測、識(shí)別復(fù)雜模式以及改進(jìn)決策的能力，同時(shí)減少了對大量的特定領(lǐng)域訓(xùn)練的需求。

時(shí)間序列和語言模型的未來：文本數(shù)據(jù)與傳感器數(shù)據(jù)相結(jié)合

展望未來，時(shí)間序列模型與語言模型相結(jié)合正帶來令人興奮的創(chuàng)新。像Chronos、Moirai和TimesFM這樣的模型正將時(shí)間序列預(yù)測推向新的高峰，但下一個(gè)前沿是將傳統(tǒng)傳感器數(shù)據(jù)與非結(jié)構(gòu)化文本相結(jié)合，以獲得更好的結(jié)果。

以汽車行業(yè)為例，借助NLP將傳感器數(shù)據(jù)與技術(shù)人員報(bào)告和服務(wù)記錄相結(jié)合，以全面深入地了解潛在的維護(hù)問題。在醫(yī)療保健領(lǐng)域，病人的實(shí)時(shí)監(jiān)測與醫(yī)生的筆記相結(jié)合，可以預(yù)測早期診斷的健康結(jié)果。零售和拼車公司則利用社交媒體和活動(dòng)數(shù)據(jù)以及時(shí)間序列預(yù)測，更準(zhǔn)確地預(yù)測重大活動(dòng)期間的拼車需求或銷售高峰。

通過結(jié)合這兩種強(qiáng)大的數(shù)據(jù)類型，物聯(lián)網(wǎng)、醫(yī)療保健和物流等行業(yè)正在更深入、更實(shí)時(shí)地了解當(dāng)前發(fā)生的情況和即將發(fā)生的趨勢，從而做出更明智的決策和更準(zhǔn)確的預(yù)測。