[Community Test] Qwen3-32B-W4A4 性能测试

Source: 推理众测任务书-vllm.xlsx row 13. This issue tracks one community testing task for vLLM-Ascend.

Task Information

• 分类: vllm
• 任务名称: yxr2_qwen3-32B性能测试
• 任务类别: 资料验证和部署测试
• 蓝区镜像: quay.io/ascend/vllm-ascend:v0.18.0
• 权重链接: https://www.modelscope.cn/models/vllm-ascend/Qwen3-32B-W4A4
• 配套信息: Ascend HDK 25.5.0.B078
• 卡数（Atlas 800I A2）: 1
• 内存: 1T
• 硬盘: 300G

任务概述

在800I A2境上部署Qwen3-32B-W4A4模型，并跑通性能测试

核心要求

1.任务范围： 获取模型权重 创建容器环境 部署推理服务 按照社区文档的指导验证服务性能 撰写测试报告，包括资料验证和部署测试结果 资料验证要求： 指标 要求 完整性 文档内容步骤完整 易用性 文档内容易于学习使用 正确性 文档内容正确无误 部署测试要求： 记录每一步的命令和输出，形成完整的部署步骤说明 记录遇到的问题及解决方案，形成FAQ

验收标准 / 交付件

交付件 交付测试报告包括以下内容： 交付件内容 说明 部署脚本 服务部署的Python或者shell脚本 测试结果 服务验证的输出日志/截图 问题记录 部署过程中遇到的问题及解决方案 交付标准 维度 标准 功能 服务成功启动并能正常响应推理请求 文档 文档完整、步骤清晰、可复现 精度 推理结果正常，无明显异常

测试方法

1.创建容器环境：参考资料社区文档https://docs.vllm.ai/projects/ascend/en/v0.18.0/tutorials/models/Qwen3-32B-W4A4.html 的Run Docker Container章节创建容器环境 2.服务部署：参考资料社区文档https://docs.vllm.ai/projects/ascend/en/v0.18.0/tutorials/models/Qwen3-32B-W4A4.html的 Online Serving on Single NPU章节 3.性能测试：参考资料社区文档https://docs.vllm.ai/projects/ascend/en/v0.18.0/tutorials/models/Qwen3-32B-W4A4.html的Run basic benchmark章节使用vlln benchmark工具测试性能

对接信息

• 技术对接人: 应宇轩  郑志崇  崔青
• PAE/小巧灵: 邹长江 00888932 宋洋 00835984
• 工作量: 暂无
• 任务书路径: 任务书\vllm任务书\修改任务书\任务书-yxr2_qwen3-32B性能测试.docx

任务问题和需求

#NAME?