Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
Heming Xia, Zhe Yang, Qingxiu Dong, Peiyi Wang, Yongqi Li, Tao Ge, Tianyu Liu, Wenjie Li e mais 1
De quem é
- Microsoft Research Asiaafiliação declarada pelos autores, segundo o OpenAlex
Outros papers das mesmas organizações
- CMMLU: Measuring massive multitask language understanding in ChineseMicrosoft Research Asia · 685 citações
- Fine-Tuning LLaMA for Multi-Stage Text RetrievalMicrosoft Research Asia · 540 citações
- EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time TestMicrosoft Research Asia · 465 citações
- Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement LearningMicrosoft Research Asia · 430 citações
- NaturalSpeech : End-to-End Text-to-Speech Synthesis With Human-Level QualityMicrosoft Research Asia · 425 citações
- A Survey on Video Diffusion ModelsMicrosoft Research Asia · 390 citações