HiPPO: Recurrent Memory with Optimal Polynomial Projections

HiPPO: Recurrent Memory with Optimal Polynomial Projections [1] とは、HiPPO (high-order polynomial projection operators) を提案した研究である。NeurIPS 2020 で発表された。

なお、この研究の前後の系譜は同著者グループの最新の研究（2022 年 4 月現在）の記事を参照のこと。

参考文献

1. Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Ré. HiPPO: Recurrent Memory with Optimal Polynomial Projections. In NeurIPS 2020. [Proceedings]
2. https://github.com/HazyResearch/state-spaces（2022年4月14日参照）.

HiPPO (high-order polynomial projection operators)

RNN の勾配消失問題に対応するべく、LSTM, GRU はもちろん、Fourier Recurrent Unit や Legendre Memory Unit などが提案されてきたが、記憶機構に対する統一的な理解は得られていないと [1] の著者は主張している。