Linear Complexity Randomized Self-attention Mechanism

Linear Complexity Randomized Self-attention Mechanism [1] とは、タイトルから推測する限り、random feature を用いてセルフアテンションの計算量を $\mathcal{O}(n)$ にした研究のようにみえる。であれば Performer 先輩（Rethinking Attention with Performers）とキャラが被るがおそらく何か違うのであろう。2022 年 4 月にアーカイブに発表された。


参考文献

  1. Lin Zheng, Chong Wang, Lingpeng Kong. Linear Complexity Randomized Self-attention Mechanism. arXiv preprint arXiv:2204.04667, 2022.[arXiv]

Transformer