Efficiently Modeling Long Sequences with Structured State Spaces

Efficiently Modeling Long Sequences with Structured State Spaces [1] とは、ニューラルモデルで長期依存性 (LRDs: long-range dependencies) を扱うべく、Structured State Space sequence model (S4) を提案した研究である。ICLR 2022 で発表された。

なお、この研究は（クッキーが知る限り）同著者グループの以下の研究の系譜の 2022 年 4 月時点での最新の研究に位置付けられる。

• HiPPO: Recurrent Memory with Optimal Polynomial Projections（NeurIPS 2020）
• Combining Recurrent, Convolutional, and Continuous-time Models with Linear State Space Layers（NeurIPS 2021）
• Efficiently Modeling Long Sequences with Structured State Spaces（ICLR 2022）

参考文献

1. Albert Gu, Karan Goel, Christopher Ré. Efficiently Modeling Long Sequences with Structured State Spaces. In ICLR 2022. [OpenReview.net]
2. https://github.com/HazyResearch/state-spaces（2022年4月14日参照）.
• ソースコードのリポジトリである。