CMU - 17c吃瓜网

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

liukang20243周前 (05-23)270

机器之心专栏机器之心编辑部近来，来自卡耐基梅隆大学（CMU）的 Catalyst Group 团队发布了一款「投机式推理」引擎 SpecInfer，不能自制凭借轻量化的小模型来协助大模型，在彻底不影响...