Linear Complexity Randomized Self-attention Mechanism
Linear Complexity Randomized Self-attention Mechanism [1] とは、タイトルから推測する限り、random feature を用いてセルフアテンションの計算量を
参考文献
- Lin Zheng, Chong Wang, Lingpeng Kong. Linear Complexity Randomized Self-attention Mechanism. arXiv preprint arXiv:2204.04667, 2022.[arXiv]