MS-Qwen-VL Skill

基于 ModelScope Qwen3-VL 系列模型的多模态视觉识别技能，使用 OpenAI SDK 兼容方式调用。

功能特点

• OpenAI SDK 兼容：使用标准 OpenAI SDK 调用 API
• 多种任务支持：图像描述、OCR、视觉问答、目标检测、图表解析
• 双模型模式：默认快速模型（30B）+ 精细高精度模型（235B）
• 灵活输入：支持本地图片和 URL

安装与配置

# 安装依赖
pip install -r requirements.txt

# 配置 API Key
cp .env.example .env

编辑 .env 文件，填入从 https://modelscope.cn/my/myaccesstoken 获取的 API Key：

MODELSCOPE_API_KEY=your_api_key_here

Claude Code 使用方式

重要：处理本地图片

当用户提供本地图片路径时（如桌面截图），必须使用 Python 脚本处理：

python scripts/ms_qwen_vl.py "<图片路径>" --task <任务类型>

脚本会自动将本地文件转换为 ModelScope API 需要的 base64 格式。

处理 URL 图片

当用户提供网络 URL 时，同样使用上述命令，脚本会自动识别：

python scripts/ms_qwen_vl.py "<URL>" --task <任务类型>

Claude Code 对话示例

场景 1：分析桌面截图

用户: 请帮我描述这张图片 C:\Users\...\Desktop\screenshot.png
助手: [执行] python scripts/ms_qwen_vl.py "C:\Users\...\Desktop\screenshot.png"

场景 2：OCR 识别本地图片

用户: 识别这张图中的文字: D:\Documents\invoice.jpg
助手: [执行] python scripts/ms_qwen_vl.py "D:\Documents\invoice.jpg" --task ocr

场景 3：分析网络图片

用户: 分析这张图片 https://example.com/photo.jpg
助手: [执行] python scripts/ms_qwen_vl.py "https://example.com/photo.jpg" --task describe

场景 4：视觉问答

用户: 这张图里有几个人？C:\Users\...\Desktop\photo.png
助手: [执行] python scripts/ms_qwen_vl.py "C:\Users\...\Desktop\photo.png" --task ask --question "图片里有几个人？"

任务类型对照

| 用户需求 | --task 参数 |

|---------|-------------|

| 描述图片内容 | describe |

| 识别文字/OCR | ocr |

| 回答关于图片的问题 | ask（需要 --question） |

| 检测物体 | detect |

| 解析图表 | chart |

快速使用

# 图像描述（默认）
python scripts/ms_qwen_vl.py image.jpg

# OCR 文字识别
python scripts/ms_qwen_vl.py image.jpg --task ocr

# 视觉问答
python scripts/ms_qwen_vl.py image.jpg --task ask --question "图片里有什么？"

# 使用精细模式（235B 模型）
python scripts/ms_qwen_vl.py image.jpg --task describe --precise

Python 代码调用：

from scripts.ms_qwen_vl import analyze_image

result = analyze_image("image.jpg", task="ocr")
print(result)

任务类型

| 任务 | 参数 | 说明 |

|------|------|------|

| 图像描述 | describe | 详细描述图片内容（默认） |

| OCR 识别 | ocr | 识别图片中的文字 |

| 视觉问答 | ask | 回答关于图片的问题 |

| 目标检测 | detect | 检测图片中的物体 |

| 图表解析 | chart | 解析图表数据 |

环境变量

| 变量名 | 说明 |

|--------|------|

| MODELSCOPE_API_KEY | API 密钥（必需） |

| MODELSCOPE_MODEL | 默认模型（可选） |

| MODELSCOPE_MODEL_PRECISE | 精细模式模型（可选） |

Resources

scripts/

ms_qwen_vl.py - 核心解析脚本，提供 analyze_image() 统一接口

references/

api-guide.md - OpenAI SDK 兼容调用方式详细说明

models.md - Qwen3-VL 系列模型及推荐使用场景