https://funkygod.vip/tags/apple-silicon/ Recent content in Apple Silicon on MakeMoney https://funkygod.vip/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E https://funkygod.vip/%3Clink%20or%20path%20of%20image%20for%20opengraph,%20twitter-cards%3E Hugo -- 0.147.7 en Sat, 18 Apr 2026 09:00:00 +0800 https://funkygod.vip/posts/ai/ollama-mlx-apple-silicon/ Sat, 18 Apr 2026 09:00:00 +0800 https://funkygod.vip/posts/ai/ollama-mlx-apple-silicon/ <h1 id="ollama-与-mlx在-apple-silicon-上本地运行大语言模型的全新体验">Ollama 与 MLX：在 Apple Silicon 上本地运行大语言模型的全新体验</h1> <blockquote> <p>最近在模型调用经常遇到限流问题，导致任务频繁失败，模型商的coding plan价格实在是不便宜，于是准备在本地mac部署ollama的小模型，然后给任务能力要求不高的场景使用。</p></blockquote> <p><strong>标签</strong>：#AppleSilicon #MLX #Ollama #本地LLM# #AI开发</p> <p><img loading="lazy" src="https://funkygod.uk/1776477014720-dd24d8c1-1143-491f-b980-2f2d504557b0.png"> 我本地部署以Qwen微调的模型为主，毕竟内存有限</p> <p><img loading="lazy" src="https://funkygod.uk/1776477117211-22ae5c9f-227a-4ccd-aae8-d9a043abd307.png"></p> <p><img loading="lazy" src="https://funkygod.uk/1776483308293-802f886f-d971-4fa2-982a-9481d03c6017.png"></p> <hr> <h3 id="1-背景">1. 背景</h3> <p>在过去两年里，本地大语言模型（LLM）在开发者社区迅速兴起。</p> <ul> <li><strong>LM Studio</strong> 通过 GGUF、MLX 等格式让 Mac 用户能够离线跑模型。</li> <li><strong>Ollama</strong> 则以轻量的 CLI / API 为核心，强调易于集成的开发者体验。</li> </ul> <p>2024 年 Apple 推出 <strong>MLX</strong> 框架后，Ollama 在 2026 年完成了对 MLX 的深度集成，并针对 <strong>M5 系列（M5、M5 Pro、M5 Max）</strong> 进行专门优化，配合 <strong>NVFP4</strong> 量化格式，显著提升了在 Apple Silicon 上的推理性能与效率。</p> <hr> <h3 id="2-什么是-mlx">2. 什么是 MLX？</h3> <table> <thead> <tr> <th>特性</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><strong>Python‑first</strong></td> <td><code>import mlx</code> 即可使用，无需写 Metal 代码。</td> </tr> <tr> <td><strong>硬件感知</strong></td> <td>自动在 CPU、GPU、Apple Neural Engine 之间调度。</td> </tr> <tr> <td><strong>即时编译</strong></td> <td>JIT 编译把算子映射到 Metal GPU/Neural Engine，延迟低、内存占用小。</td> </tr> <tr> <td><strong>模型兼容</strong></td> <td>支持 ONNX、PyTorch (<code>torch.save</code>) 与 Core ML (<code>.mlmodel</code>)。</td> </tr> <tr> <td><strong>微调 API</strong></td> <td><code>mlx.train</code>、<code>mlx.optim</code> 等高层 API，适合设备端微调。</td> </tr> <tr> <td><strong>隐私本地化</strong></td> <td>所有计算均在本机完成，数据不离网。</td> </tr> </tbody> </table> <blockquote> <p><strong>示例</strong>（在 macOS 终端）</p>