Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
Jingyang Yuan, Huazuo Gao, Damai Dai, Junyu Luo, Liang Zhao, Zhengyan Zhang, Zhenda Xie, Yuxing Wei e mais 7
De quem é
- University of Washingtonafiliação declarada pelos autores, segundo o OpenAlex
Outros papers das mesmas organizações
- s1: Simple test-time scalingStanford University · 1.957 citações
- Instruction Tuning for Large Language Models: A SurveyAlibaba Group · 1.416 citações
- REPLUG: Retrieval-Augmented Black-Box Language ModelsKorea Advanced Institute of Science and Technology · 1.206 citações
- Splitwise: Efficient Generative LLM Inference Using Phase SplittingMicrosoft · 1.096 citações
- Counterfactual Explanations and Algorithmic Recourses for Machine Learning: A ReviewUniversity of Washington · 949 citações
- BLINK: Multimodal Large Language Models Can See but Not PerceiveColumbia University · 848 citações