[Community Test] Qwen3.5-27B-W8A8 端到端功能与精度验证

Source: 推理众测任务书-vllm.xlsx row 8. This issue tracks one community testing task for vLLM-Ascend.

Task Information

• 分类: vllm
• 任务名称: Qwen3.5-27B-w8a8模型端到端验证
• 任务类别: 资料验证和部署测试
• 蓝区镜像: quay.io/ascend/vllm-ascend:v0.18.0;
• 权重链接: https://www.modelscope.cn/models/Eco-Tech/Qwen3.5-27B-w8a8-mtp
• 配套信息: Ascend HDK 25.5.0.B078
• 卡数（Atlas 800I A2）: 8
• 内存: 1T
• 硬盘: 300G

任务概述

在A2单机环境上部署Qwen3.5-27B-w8a8量化模型,单机混部8卡部署，跑通基本的功能curl功能验证，并使用AISBench进行精度测试，能复现文档上的数据集精度

核心要求

任务范围：部署vllm、vllm-ascend，拉起服务，使用curl进行模型功能验证，并使用AISBench进行精度测试。 curl能够正常回复，且内容符合基本常识，精度测试能复现文档上的数据集精度

验收标准 / 交付件

交付件 测试报告 交付标准 完成模型功能与精度验证

测试方法

基于社区公开文档部署环境并拉起vllm-ascend服务，并能curl通基本问题，能复现文档上的数据集精度

对接信息

• 技术对接人: 应宇轩  郑志崇  崔青
• PAE/小巧灵: 邹长江 00888932 宋洋 00835984
• 工作量: 暂无
• 任务书路径: 任务书\vllm任务书\修改任务书\任务书-jyf1.docx

任务问题和需求

vllm bench性能评估报v1/completions报404，但是curl http://localhost:8000/v1/completions能通 vllm bench serve --model Eco-Tech/Qwen3.5-27B-w8a8-mtp --dataset-name random --random-input 200 --num-prompts 200 --request-rate 1 --save-result --result-dir ./