[Community Test] InternVL3.5-38B-W8A8 部署与性能验证

Source: 推理众测任务书-vllm.xlsx row 7. This issue tracks one community testing task for vLLM-Ascend.

Task Information

• 分类: vllm
• 任务名称: hjh4-InternVL3.5-38B
• 任务类别: 资料验证和部署测试
• 蓝区镜像: https://cmc-szv.clouddragon.huawei.com/cmcversion/index/componentVersionView?deltaId=14799823976793728&isSelect=Inner&url_data=vLLM-Ascend-images 把vllm-ascend:dev-26.1.0.B050-cann9.0.0-800I-A2-py311-Ubuntu24.04-lts-aarch64.tar.gz 传到蓝区
• 权重链接: https://modelscope.cn/models/Eco-Tech/InternVL3_5-38B-w8a8
• 配套信息: Ascend HDK 25.5.0.B078
• 卡数（Atlas 800I A2）: 2
• 内存: 1T
• 硬盘: 300G

任务概述

部署InternVL3_5-38B-w8a8推理服务

核心要求

任务范围：参考资料社区文档InternVL3.5(InternVL3_5-38B/241B-A28B) — vllm-ascend 获取模型权重 创建容器环境 部署Qwen3-VL-8B-Instruct推理服务 单curl验证推理服务成功部署 按照社区文档的指导测试服务性能 撰写测试报告，包括资料验证和部署测试结果 资料验证要求： 指标 要求 完整性 文档内容步骤完整 易用性 文档内容易于学习使用 正确性 文档内容正确无误 部署测试要求： 记录每一步的命令和输出，形成完整的部署步骤说明 记录遇到的问题及解决方案，形成FAQ

验收标准 / 交付件

交付件 测试报告 交付标准 测试报告中需包含部署脚本、使用权重、vLLM Benchmark命令、输入输出、性能截图、资料使用感受、全程问题记录 报告内容 说明 使用权重 部署服务所用的模型和权重类别 部署脚本 服务部署的Python或者shell脚本 测试结果 单curl测试和性能验证的输出日志/截图 资料验证 记录资料中的错误，对社区资料的完整性/易用性/正确性打分（满分5分） 问题记录 部署过程中遇到的问题及解决方案

测试方法

使用vLLM Benchmark测试性能Qwen3-VL-8B-Instruct的性能，环境依赖和使用方法参考InternVL3.5(InternVL3_5-38B/241B-A28B) — vllm-ascend，部署和单curl测试参考“Deployment”部分，性能测试参考“Performance”部分

对接信息

• 技术对接人: 应宇轩  郑志崇  崔青
• PAE/小巧灵: 暂无
• 工作量: 暂无
• 任务书路径: 任务书\vllm任务书\修改任务书\任务书-hjh4-InternVL3.5-38B.docx

任务问题和需求

官方文档没有vllm-ascend:v0.18.0部署指导