核心发现
一位用户在家用服务器上运行 Qwen3.6:27b 进行递归自我优化实验，26 小时内将推理速度从 2.3 tok/s 提升至 84.3 tok/s，增幅超过 36 倍。这不是在 GPU 集群上的优化，而是在一台普通家用服务器上完成的。
实验环境
| 组件 | 配置 |
|---|---|
| CPU | 24 线程 |
| 内存 | 93 GiB RAM |
| GPU | AMD 9060 XT 16GB |
| 模型 | Qwen3.6:27b |
| 优化方式 | 递归自我优化循环 |
| 总耗时 | 26 小时 |
关键细节
实验开始时，模型在服务器上以 2.3 tok/s 的速度运行——这是典型的 CPU 推理速度。随后，用户让 Qwen3.6 在一个递归循环中”优化自身”：模型分析了运行环境，检测到没有 NVIDIA GPU，只有 CPU/RAM 配置和一张 AMD 显卡，然后针对性地进行了一系列优化。
优化路径分析
从 2.3 tok/s 到 84.3 tok/s，这个提升幅度远超常规的量化优化预期。可能的优化路径包括：
1. 硬件感知的内核选择 模型识别出 AMD GPU 而非 NVIDIA，选择了适合 ROCm 而非 CUDA 的计算内核。很多推理框架默认针对 NVIDIA 优化，在 AMD 上性能大打折扣。
2. 内存布局优化 93GB 的 RAM 意味着模型可以完全加载到内存中。通过优化内存访问模式和 KV cache 策略，可以显著减少 CPU 和 GPU 之间的数据传输瓶颈。
3. 量化策略调整 Qwen3.6 27B 在不同量化精度下表现差异巨大。模型可能通过迭代测试找到了最佳的量化配置（如 4-bit/8-bit 混合量化），在精度和速度之间找到了最优平衡点。
4. 推理引擎参数调优 batch size、线程数、attention 实现方式等参数的自动搜索和调优，可能贡献了大部分的性能提升。
这一实验的意义
对开源模型生态
Qwen3.6 27B 本身已经是一个强大的开源模型（Intelligence Index 46 分，150B 以下参数开源模型第一），但这次实验揭示了另一个维度的潜力：模型不仅能推理，还能优化自己的推理方式。
这标志着开源模型从”被动使用”向”主动适配”的转变。模型不再只是被部署在某个环境中运行，而是能够感知环境并自我调优。
对本地部署的启示
很多用户在本地部署大模型时遇到性能瓶颈，第一反应是”我需要更好的 GPU”。但这次实验表明，在现有硬件条件下，通过正确的优化策略，消费级设备也能获得可用的推理速度。
84.3 tok/s 的速度已经接近许多云端 API 的响应速度，这意味着对于个人用户来说，本地部署不再是”能用但很慢”的妥协方案。
成本对比
| 方案 | 硬件成本 | 推理速度 | 持续成本 |
|---|---|---|---|
| 云端 API（Qwen3.6 Max） | $0 | 极高 | 按 token 计费 |
| 云端 API（Claude Opus 4.7） | $0 | 极高 | $25/1M 输出 |
| 本地部署（优化前） | ~$2,500（服务器） | 2.3 tok/s | 电费 |
| 本地部署（优化后） | ~$2,500（服务器） | 84.3 tok/s | 电费 |
优化后的本地部署方案，在速度上已经可以与低端云端 API 竞争，且无需担心数据隐私和 API 限额问题。
行动建议
- 有 AMD 显卡的用户：这次实验证明了 AMD 显卡运行大模型的可行性。如果你有一张 16GB 以上的 AMD 显卡，值得一试。
- Qwen3.6 用户：尝试让模型在部署后进行自我诊断和优化，可能获得意想不到的性能提升。
- 关注递归优化方向：这是开源模型生态的一个重要趋势——模型不仅能推理，还能优化自己的运行方式。未来可能有更多自动化工具出现。