Qwen3.5中文网

Ollama 封装了完整的 Qwen3.5 模型管理与推理引擎，安装后一条命令即可自动下载并运行模型，并在本地 11434 端口开启兼容 OpenAI 格式的 API 服务，完全开箱即用。

① 安装 Ollama

brew install ollama

curl -fsSL https://ollama.com/install.sh | sh

② 按显存选择 Qwen3.5 版本并运行

# 无独立显卡 / 纯 CPU — 0.8B（模型约 1.0 GB）
ollama run qwen3.5:0.8b

# 8 GB 显存（RTX 3060 等）— 4B（模型约 3.4 GB）
ollama run qwen3.5:4b

# 16 GB 显存（RTX 3090 等）— 9B（模型约 6.6 GB，推荐）
ollama run qwen3.5:9b

# 24 GB+ 显存（RTX 4090 等）— 27B（模型约 17 GB）
ollama run qwen3.5:27b

③ 可选：Open-WebUI 可视化聊天界面

# 需要已安装 Docker Desktop
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  --name open-webui ghcr.io/open-webui/open-webui:main
# 浏览器访问 http://localhost:3000 即可打开 Chat 界面

④ OpenAI 兼容 API 调用示例

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.5:9b",
    "messages": [{"role":"user","content":"你好，介绍一下 Qwen3.5"}],
    "temperature": 0.6,
    "top_k": 20,
    "top_p": 0.95,
    "max_tokens": 2048
  }'

llama.cpp 是覆盖最广的本地 Qwen3.5 推理引擎，支持 Windows / macOS / Linux，纯 CPU 也能运行。可通过 -ngl 参数将任意层数卸载至 GPU，实现 CPU+GPU 混合推理，最大化利用现有硬件。

① 安装 llama.cpp

# macOS（最简方式）
brew install llama.cpp

# Linux / Windows — 源码编译，获得平台最优性能
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release -j 8
# 编译完成后程序位于 ./build/bin/ ，可将其加入系统 PATH

② 下载 Qwen3.5 GGUF 量化模型

# 方式 A：境外网络 — Hugging Face（需安装 huggingface_hub）
pip install huggingface_hub
huggingface-cli download Qwen/Qwen3.5-4B-GGUF \
  qwen3.5-4b-q4_k_m.gguf --local-dir ./models

# 方式 B：国内推荐 — ModelScope 镜像（速度快）
pip install modelscope
modelscope download Qwen/Qwen3.5-4B-GGUF \
  qwen3.5-4b-q4_k_m.gguf --local_dir ./models

量化精度说明：Q4_K_M（均衡推荐）· Q6_K（高质量，显存+50%）· Q2_K（极限压缩，质量有损）。不同版本的 4B 文件约 2.5–3.4 GB，9B 约 5.5–6.6 GB。

③ 运行 Qwen3.5 模型

# 交互式对话 — 纯 CPU（-t 指定线程数，建议等于物理核心数）
llama-cli -m ./models/qwen3.5-4b-q4_k_m.gguf \
  --jinja --color -t 8 \
  --temp 0.6 --top-k 20 --top-p 0.95 \
  -c 40960 --no-context-shift

# GPU 全速模式（-ngl 99 = 全部层放显卡，-fa 开 FlashAttention）
llama-cli -m ./models/qwen3.5-4b-q4_k_m.gguf \
  --jinja --color -ngl 99 -fa \
  --temp 0.6 --top-k 20 --top-p 0.95 \
  -c 40960 --no-context-shift

# CPU+GPU 混合（显存不足时：-ngl 20 = 前 20 层放显卡）
llama-cli -m ./models/qwen3.5-4b-q4_k_m.gguf \
  --jinja --color -ngl 20 \
  --temp 0.6 --top-k 20 --top-p 0.95 -c 40960

④ 启动 HTTP 服务（兼容 OpenAI API）

llama-server -m ./models/qwen3.5-4b-q4_k_m.gguf \
  --jinja -ngl 99 -fa -c 40960 \
  --host 0.0.0.0 --port 8080
# Web 界面：http://localhost:8080
# API：http://localhost:8080/v1/chat/completions

vLLM 通过 PagedAttention 显存管理与连续批处理，将 Qwen3.5 推理吞吐量相比原生框架提升数倍，是 NVIDIA GPU 服务器生产部署的首选方案。需 CUDA 11.8+ 环境。

① 安装 vLLM

pip install "vllm>=0.8.5"

② 按显存配置启动 Qwen3.5 推理服务

# 单卡 16 GB — 部署 Qwen3.5-9B（上下文 32K）
vllm serve Qwen/Qwen3.5-9B-Instruct \
  --port 8000 \
  --reasoning-parser qwen3 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.9

# 双卡张量并行 — 部署 Qwen3.5-27B（两张 16 GB 或单张 24 GB+）
vllm serve Qwen/Qwen3.5-27B-Instruct \
  --port 8000 \
  --tensor-parallel-size 2 \
  --reasoning-parser qwen3 \
  --max-model-len 32768

# 多卡集群 — 部署旗舰 Qwen3.5-397B-A17B（需 8× A100）
vllm serve Qwen/Qwen3.5-397B-A17B-Instruct \
  --port 8000 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --reasoning-parser qwen3

# 国内服务器：ModelScope 加速下载（推荐）
VLLM_USE_MODELSCOPE=true vllm serve Qwen/Qwen3.5-9B-Instruct \
  --port 8000 --reasoning-parser qwen3

③ 测试 API（OpenAI 兼容格式）

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3.5-9B-Instruct",
    "messages": [{"role":"user","content":"你好"}],
    "temperature": 0.6,
    "top_p": 0.95,
    "top_k": 20,
    "max_tokens": 2048
  }'

苹果 M1 至 M4 芯片用户首选方案。MLX 框架完全针对 Apple Silicon 统一内存架构优化，CPU 与 GPU 共享同一显存池，本地运行 Qwen3.5 的速度与功耗均优于 llama.cpp。

① 安装 mlx-lm

pip install mlx-lm

② 按统一内存大小选择版本并运行

# 8 GB 统一内存（M1 基础款）— 推荐 4B
mlx_lm.chat --model mlx-community/Qwen3.5-4B-Instruct-4bit

# 16 GB 统一内存（M1 Pro / M2）— 推荐 9B
mlx_lm.chat --model mlx-community/Qwen3.5-9B-Instruct-4bit

# 32 GB 统一内存（M1 Max / M3 Pro）— 可跑 27B
mlx_lm.chat --model mlx-community/Qwen3.5-27B-Instruct-4bit

# 命令行单次生成（不进入对话模式）
mlx_lm.generate \
  --model mlx-community/Qwen3.5-4B-Instruct-4bit \
  --max-tokens 2048 \
  --prompt "介绍一下 Qwen3.5 的推理架构"

③ 启动 OpenAI 兼容 API 服务器

mlx_lm.server \
  --model mlx-community/Qwen3.5-4B-Instruct-4bit \
  --port 8000

# 调用测试
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"mlx-community/Qwen3.5-4B-Instruct-4bit",
       "messages":[{"role":"user","content":"你好"}],
       "temperature":0.6,"max_tokens":1024}'