Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers

Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers [1] とは、長期依存性を扱える系列モデルとして Linear State-Space Layers (LSSL) を提案した研究である。NeurIPS 2021 で発表された。

なお、この研究の前後の系譜は同著者グループの最新の研究（2022 年 4 月現在）の記事を参照のこと。注目すべきは、LSSL は僅か5ヶ月後の ICLR 2022 で "Unfortunately, the LSSL is infeasible to use in practice because of prohibitive computation and memory requirements induced by the state representation."（実用に耐えない）といわれている点である。LSSL に同情を禁じ得ない。

参考文献

1. Albert Gu, Isys Johnson, Karan Goel, Khaled Saab, Tri Dao, Atri Rudra, Christopher Ré. Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers. In NeurIPS 2021. [Proceedings]
2. https://github.com/HazyResearch/state-spaces（2022年4月14日参照）.