本地AI部署教程：用Ollama在普通电脑上运行大模型（免费无API）

2026年了，跑一个本地大模型已经不需要昂贵的GPU了！用Ollama在普通电脑上就能部署7B级别的AI模型。

🚀 为什么选择Ollama？

• 一键安装 — macOS/Windows/Linux都有安装包，3分钟搞定
• 极简命令 — ollama run llama3.1 就开始对话了
• 自动量化 — 自动选择适合你硬件的量化版本（Q4/K/V）
• 兼容OpenAI API — 本地就能跑ChatGPT的API协议

📋 安装教程

# macOS / Linux
brew install ollama
# Windows：去 https://ollama.com 下载安装包

安装完后运行：ollama serve 启动服务。

🤖 推荐模型

• Qwen3.6-8B — 中文理解最佳，日常使用首选
• Llama 3.1 8B — 英文代码生成最强
• Gemma 3 4B — Google出品，内存占用仅2GB即可运行
• Mistral 7B — 推理速度快，适合做API后端

🔌 本地OpenAI API

Ollama启动后会自动监听 http://localhost:11434，兼容OpenAI的API格式！所有需要OpenAI Key的工具（Cursor, Continue, AnythingLLM）都可以无缝切换到本地模型。

# 用curl测试
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d "{"model":"qwen3.6","messages":[{"role":"user","content":"你好"}]}"

💰 硬件需求

• 7B模型（Q4量化） — 8GB内存即可
• 13B模型（Q4量化） — 需要16GB内存
• 推荐有独显：RTX 3060 12G就能流畅跑13B

总结

本地大模型=隐私安全+无API费用+离线可用。Ollama让这一切变得简单到不可思议。