Meta團隊近日開發(fā)了一款名為Megabyte的AI模型以抗衡Transformer，據(jù)稱Megabyte解決了Transformer模型所面臨的問題，并且在速度上提升了40%。下面是詳細解釋：

Transformer模型在自然語言處理等領(lǐng)域非常流行，但由于其序列數(shù)據(jù)的處理方式是逐步進行的，無法并行化處理，因此訓練速度較慢。此外，由于需要在每一步保留歷史信息，內(nèi)存消耗較大。而Megabyte模型將輸入和輸出序列劃分為patch，而不是單個的token。這種架構(gòu)使得對大多數(shù)任務(wù)而言字節(jié)級別的預(yù)測相對容易，例如根據(jù)前幾個字符預(yù)測完成的單詞等。Megabyte模型的這種方法解決了當今AI模型所面臨的訓練速度、可靠性及硬件占用比挑戰(zhàn)。

在計算效率方面，相比于等大的Transformer和Linear Transformer，Megabyte模型在固定模型大小和序列長度范圍內(nèi)使用更少的token。因此相對于Transformer，Megabyte模型可以在相同的計算成本下訓練內(nèi)容更豐富、體積更大、性能更好的模型。

Megabyte模型將輸入輸出序列分割為“補?。╬atches）”而不是個別的令牌（tokens）。在每個補丁中，局域AI生成結(jié)果，全局模型管理協(xié)調(diào)所有補丁的最終輸出，從而解決了擴展性問題。Megabyte能并行進行計算，相比下傳統(tǒng)Transformers是串行計算。測試顯示，有15億參數(shù)的Megabyte模型比有3.5億參數(shù)的Transformers模型生成序列快40%。Megabyte模型能支持最多120萬個令牌，相比下GPT-4是3.2萬個令牌，Anthropic的Claude是10萬個令牌。