help wanted
Repository metrics
- Stars
- (2,180 stars)
- PR merge metrics
- (Avg merge 4d 5h) (559 merged PRs in 30d)
Description
任务背景
本 Issue 由 vLLM-Ascend 众测任务书自动生成，用于跟踪单个众测任务的执行、交付和问题闭环。
基本信息
- 分类：vllm
- 任务名称：MiniMax-M2.5 W8A8模型端到端验证
- 任务类别：资料验证和部署测试
- 镜像：quay.io/ascend/vllm-ascend:v0.18.0;
- 权重链接：https://www.modelscope.cn/models/Eco-Tech/MiniMax-M2.5-w8a8-QuaRot/files
- 配套信息：Ascend HDK 25.5.0.B078
- 卡数（Atlas 800I A2）：8
- 内存：1T
- 硬盘：300G
任务概述
在A2单机环境上部署MiniMax-M2.5量化模型，单机混部8卡部署，跑通基本的功能curl功能验证
核心要求
任务范围：部署vllm、vllm-ascend，拉起服务，使用curl进行模型功能验证。 能正常部署，curl能够正常回复，且内容符合基本常识，能跑通文档中的样例curl命令
验收标准
交付件 测试报告 交付标准 完成模型功能验证
测试方法
基于社区公开文档拉起vllm-ascend服务，并能curl通基本问题（如文档中的样例）
已知问题和补充说明
1、vllm服务启动loading模型高并发读取要3小时 2、如需使用投机推理，则要单独下载Eagle3模型 vllm任务23：启动脚本配置参数--max-model-len 133000 \超长，最长为131070，或新增环境变量：export VLLM_ALLOW_LONG_MAX_MODEL_LEN=1
交付要求
请在 Issue 中同步以下内容：
- 部署脚本或关键命令
- 功能/性能/精度验证结果日志或截图
- 遇到的问题、规避方案与最终结论
- 如发现社区文档问题，请给出文档链接、问题描述和建议修正内容