阿森纳
AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能_蜘蛛资讯网

,以及文本加视觉的 VLM 场景。该插件支持的代表模型包括 Qwen3-235B-A22B-Instruct-2507-FP8、DeepSeek-R1-0528、openai / gpt-oss-120b 和 amd / Kimi-K2.5-MXFP4。AMD vLLM-ATOM 与 Instinct GPU 配图广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更
Wccftech 昨日(5 月 11 日)发布博文,报道称 AMD 推出 vLLM-ATOM 插件,在不改动现有 vLLM 命令、API 和工作流的前提下,提升 DeepSeek-R1、Kimi-K2 和 gpt-oss-120B 等大语言模型推理性能。注:vLLM 是面向大语言模型部署的开源推理框架,重点优化高并发服务场景下的吞吐和显存利用率。与一般“单次调用”推理工具不同,它更强调请求调度、
当前文章:http://o7ons1.ceqishen.cn/lb0h/g7z4k.html
发布时间:00:00:00
