AI

"本地LLM" "AI开发" categories: "人工智能" "技术教程" Ollama 与 MLX：在 Apple Silicon 上本地运行大语言模型的全新体验 最近在模型调用经常遇到限流问题，导致任务频繁失败，模型商的coding plan价格实在是不便宜，于是准备在本地mac部署ollama的小模型，然后给任务能力要求不高的场景使用。 标签：#AppleSilicon #MLX #Ollama #本地LLM# #AI开发 我本地部署以Qwen微调的模型为主，毕竟内存有限 1. 背景 在过去两年里，本地大语言模型（LLM）在开发者社区迅速兴起。 LM Studio 通过 GGUF、MLX 等格式让 Mac 用户能够离线跑模型。 Ollama 则以轻量的 CLI / API 为核心，强调易于集成的开发者体验。 2024 年 Apple 推出 MLX 框架后，Ollama 在 2026 年完成了对 MLX 的深度集成，并针对 M5 系列（M5、M5 Pro、M5 Max） 进行专门优化，配合 NVFP4 量化格式，显著提升了在 Apple Silicon 上的推理性能与效率。 2. 什么是 MLX？ 特性 说明 Python‑first import mlx 即可使用，无需写 Metal 代码。 硬件感知 自动在 CPU、GPU、Apple Neural Engine 之间调度。 即时编译 JIT 编译把算子映射到 Metal GPU/Neural Engine，延迟低、内存占用小。 模型兼容 支持 ONNX、PyTorch (torch.save) 与 Core ML (.mlmodel)。 微调 API mlx.train、mlx.optim 等高层 API，适合设备端微调。 隐私本地化 所有计算均在本机完成，数据不离网。 示例（在 macOS 终端） ...

可信 AI 代理落地实战——Anthropic《Trustworthy agents in practice》解读，4层安全体系保障业务场景安全 "AI agents 已从简单问答工具进化为能自主执行代码、管理文件、跨应用完成任务的系统。" ——Anthropic 官方博客 1️⃣ 什么是"可信 AI 代理" AI 代理（Agent）已不再是单纯的聊天机器人，而是 模型 + Harness + Tool + Environment 四层体系的有机组合【原文】： 组件 作用 模型 提供推理与决策能力 Harness（指令护栏） 安全约束、行为边界 Tool 代码编辑、文件管理、API 调用等外部能力 Environment 工作空间、运行时隔离、资源限制 这四层缺一不可，才能在真实业务场景中保证 可控性 与 安全性。 2️⃣ Plan Mode：从"逐步确认"到"一键批准" 传统方式下，用户需要对每一步操作都进行确认，导致 频繁中断、低效。 Plan Mode 则让代理 提前展示完整执行计划，用户可一次性审阅、编辑并批准，随后自动执行。 "用户可预先查看并批准整个执行计划而非逐个确认。"【原文】 这种 计划‑先‑批准‑后执行 的模式，显著提升生产力，同时保留了人类的最终决策权。 3️⃣ 不确定性处理：Pause‑Ask（暂停询问） Anthropic 在模型训练阶段强化了"先停下来再行动"的本能，使其在面对不确定时优先 暂停询问，而非自行猜测。 • 错误示例："我不确定这个文件是什么，但先删除试试。" • 正确示例："我不确定这个文件是否重要，删除前请确认：可以删除吗？" "模型在面对不确定性时的正确行为是暂停询问，而非擅自行动。"【原文】 这正是 Human‑in‑the‑Loop 的关键一步，防止了误删、误改等安全事故。 4️⃣ 多层防线：Prompt Injection 防御 Prompt Injection 是通过隐藏在内容中的恶意指令劫持模型的主要威胁。Anthropic 采取 纵深防御（defense‑in‑depth） 策略，分层防护： ...

"如果要支持消费者级别的 Agent，每个用户有多个 Agent，每个 Agent 都写代码，容器是不够的。我们需要更轻量的东西。" — Kenton Varda, Cloudflare 引言：AI Agent 的代码执行困境 AI Agent 正在改变软件开发的方式。从简单的工具调用到自主编写代码执行任务，Agent 的能力边界不断拓展。但这里有一个核心问题：AI 生成的代码在哪里执行？ 直接 eval()？不行——恶意用户可以诱导 AI 注入漏洞。 用容器？太重——启动慢、内存大、需要预热。 Cloudflare 在 2026 年 3 月给出的答案是 Dynamic Workers：基于 Isolate 的轻量级沙箱，比容器快 100 倍，内存效率高 10-100 倍。 本文将深入解析 Dynamic Workers 的技术原理、架构设计、实际应用和最佳实践。 一、问题溯源：为什么容器不够用？ 1.1 传统容器方案的技术瓶颈 容器（Docker、containerd 等）是目前最主流的代码隔离方案。但在 AI Agent 场景下，它存在根本性问题： 问题 技术原因 实际影响 启动慢 需要启动完整 Linux 用户空间、初始化进程树、加载运行时 300-500ms 冷启动 内存大 每个容器需要独立的内核命名空间、文件系统层 100-300MB/容器 需要预热 冷启动延迟不可接受，必须保持池化 成本增加、资源浪费 安全妥协 预热池复用容器，破坏隔离性 安全风险 1.2 规模化困境的计算 假设一个消费者级 AI 应用： ...

「Pi ships with powerful defaults but skips features like sub agents and plan mode.」 — Mario Zechner 引言 在 AI Agent 领域，Claude Code、Cursor、Windsurf 等工具往往内置了大量功能——MCP、Sub-agent、Plan Mode、权限弹窗等。然而，有一个项目反其道而行之：只带 4 个默认工具，却获得了 23,000+ Stars。这就是 Pi。 本文基于 Pi 官方源码（badlogic/pi-mono），深入解析其架构设计与技术实现。 一、Pi 是什么？ Pi 是一个终端编码 Agent 工具包，由独立开发者 Mario Zechner（@badlogic）开发和维护。 npm install -g @mariozechner/pi-coding-agent pi 项目信息 GitHub badlogic/pi-mono Stars 23,391 语言 TypeScript 定位 Minimal terminal coding harness 核心理念 "Pi is aggressively extensible so it doesn't have to dictate your workflow." ...

OpenClaw: 配置多agent全团队一起干活！ 🦞单个 Agent 处理多类任务会带来非常严重的记忆负担，导致巨额token开销，单独agent应该处理特定类型工作而不是各种杂七杂八的工作全部都要干！ 🐳系统复杂度提高：各自agent处理不同类型的任务，分工明确、职能分化。有独立的记忆、技能和工作空间 每个助手对应不同的agent，分工明确，干活不累 关键词：#openclaw #glm #minimax #龙虾 #多agent 参考文档： OpenClaw 多 Agent 架构配置指南 - 把这份文档发给你的 OpenClaw，它会引导你选择最适合的多 Agent 架构配置 OpenClaw 多 Bot 团队协作教程 - 开发调优 - LINUX DO 新增agent 命令说明 openclaw agents add --workspace 工作空间路径 新Agent的名称（ID） ℹ️ 说明：命令参数说明： • --workspace：指定独立的数据空间路径，建议格式为 /root/.openclaw/workspace-{} • 新Agent的名称（ID） • --model：如果需要使用自定义模型，可以添加此参数并填写模型 ID，否则将使用默认模型 演示如下： ~/.openclaw » openclaw agents add --workspace ~/.openclaw/workspace-coder coder ~/.openclaw » openclaw agents list gudaixin@Mac 🦞 OpenClaw 2026.3.8 (3caab92) — Somewhere between 'hello world' and 'oh god what have I built.' │ ◇ Doctor warnings ──────────────────────────────────────────────────────────────────────────╮ │ │ │ - channels.telegram.groupPolicy is "allowlist" but groupAllowFrom (and allowFrom) is │ │ empty — all group messages will be silently dropped. Add sender IDs to │ │ channels.telegram.groupAllowFrom or channels.telegram.allowFrom, or set groupPolicy to │ │ "open". │ │ │ ├────────────────────────────────────────────────────────────────────────────────────────────╯ Agents: - main (default) Identity: 🦔 OpenClaw CEO (IDENTITY.md) Workspace: ~/.openclaw/workspace Agent dir: ~/.openclaw/agents/main/agent Model: minimax-portal/MiniMax-M2.5 Routing rules: 0 Routing: default (no explicit rules) - coder Workspace: ~/.openclaw/workspace-coder Agent dir: ~/.openclaw/agents/coder/agent Model: minimax-portal/MiniMax-M2.5 Routing rules: 0 配置telegram bot 对应不同agent，并安全检查 ...

AI 在 2025 年是生产力革命性提高的一年 AI 工具集 AI 催生了一股快速创新的浪潮，而且这股浪潮的速度没有任何放缓的迹象。今天，主要是总结我在过去一年里使用的高价值 AI 产品，包含编程和办公 AI。不论你是学生还是上班族，或者是投资者，都应该积极拥抱 AI，AI 已经在重塑我们的就业岗位、工作环境和成长方式。 如果说 2024 年是 AI 开始普及的元年，那2025 就是 AI 真正上岗干活的一年且百花齐放互相竞争的一年。 推荐查询-AI 工具集：50+ AI 编程工具和助手（2025 年最新整理） | AI 工具集 盘点我在 2025 年使用的 AI 产品：编程 AI 模型和 IDE Cursor 我最爱的 AI 编程工具 编程是 AI 应用的热门场景，我也试过很多 IDE，但是效果最好的依旧是 Cursor。唯一的心疼就是最低每月 20 美金 💵，心疼但是好用。 网上好评如潮 好评：“Cursor 是一款由 AI 驱动的代码编辑器，能够理解你的代码库，并通过自然语言助你更快编写代码。 只需描述你想要构建或修改的内容，Cursor 就会为你生成相应的代码。” Vscode + Kilo Code 我最喜欢的开源免费 AI 编程插件，可以直接在 vscode 使用，且可以使用免费模型或者使用任意一家模型来进行 AI 编程开发。 ...

超强的Agent能力和思考推理：DeepSeek V3.2 12月01日，deepseek发布了2款新模型：DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale。对比结果相当惊艳，我们可以低成本的推理获得高质量的输出。DS为AI创业者带来越来越好的基座模型。官方原文：https://mp.weixin.qq.com/s/ohsU1xRrYu9xcVD7qu5lNw?click_id=2 评测得分 DeepSeek-V3.2 与其他模型在各类数学、代码与通用领域评测集上的得分（括号内为消耗 Tokens 总量约数） 模型场景 DeepSeek-V3.2 的目标是平衡推理能力与输出长度，适合日常使用，例如问答场景和通用 Agent 任务场景。 DeepSeek-V3.2-Speciale 的目标是将开源模型的推理能力推向极致，探索模型能力的边界。V3.2-Speciale 是 DeepSeek-V3.2 的长思考增强版，同时结合了 DeepSeek-Math-V2 的定理证明能力。DeepSeek-V3.2-Speciale 的目标是将开源模型的推理能力推向极致，探索模型能力的边界。V3.2-Speciale 是 DeepSeek-V3.2 的长思考增强版，同时结合了 DeepSeek-Math-V2 的定理证明能力。 思考模式 DeepSeek-V3.2 思考模式下的工具调用能力！非常重要的功能。模型名称：deepseek-reasoner，思考模式未充分适配 Cline、RooCode 等使用非标准工具调用的组件。 如何使用 **模型使用：官网，app，API都是V3.2，不管怎么用都是V3.2，通过参数控制是否启用深度思考！ 谢谢关注收藏 ⏰ 刚刷到的朋友注意啦！点击【关注】锁定宝藏库，从此升职加薪不迷路 ✨ 我的投资理财博客：MakeMoney，https://funkygod.vip/ 我的技术分享博客：Tesla，https://funkygod.vip/ 轻量云主机限时优惠 RackNerd ☁ 主机显示特惠：只要80元（3TB流量，1vcpu，50GB硬盘） 购买地址：https://my.racknerd.com/aff.php?aff=14942 CloudCone CloudCone 特惠轻量云主机：购买地址：https://app.cloudcone.com/?ref=12332 📢 腾讯云资源限时福利 有云服务器、CDN、对象存储、网络防护等需求的朋友，欢迎联系下方腾讯云官方销售 👇 ✔️ 内部专属折扣，价格更优 ✔️ 量大可谈，支持定制方案 ✔️ 技术咨询与售后无忧

性价比高的国内编程模型推荐：GLM-4.6（截止2025年12月1日） 使用GLM4.6 朋友们，我先替大家试试GLM4.6，看看前后端开发使用GLM4.6能够高质量的完成AI编程工作，后续效果等我过一段时间给大家反馈。 目前是黑五优惠时间，我是39.8元的包季度套餐，大家可以付费之后设置提醒，用2周看是否要取消自动续期，避免不合理扣费。 在付费完整后，就可以直接在AI插件里使用GLM4.6进行编程开发啦！ 按照以下流程配置即可： API Provider：选择 Z AI Z AI Entrypoint：选择 China Coding Plan (https://open.bigmodel.cn/api/coding/paas/v4) Z AI API Key：填入您的智谱 API Key Model：选择 glm-4.6 或者列表中您想使用的模型 更多AI插件使用GLM4.6的教程 Kilo Code - 智谱AI开放文档 GLM4.6关键改进 GLM-4.6。与GLM-4.5相比，这一代模型带来了几项关键改进： 更长的上下文窗口：上下文窗口已从128K tokens扩展至200K tokens，使模型能够处理更复杂的智能体任务。 卓越的编码性能：该模型在代码基准测试中获得了更高的分数，并在Claude Code、Cline、Roo Code和Kilo Code等应用中展现出更出色的实际性能。 高级推理：GLM-4.6在推理性能上有明显提升，并在推理过程中支持工具使用。 更强大的智能体：GLM-4.6在工具使用和基于搜索的智能体方面表现出更强的性能。 结果显示，与GLM-4.5相比，GLM-4.6有明显提升，同时也比DeepSeek-V3.2-Exp和Claude Sonnet 4等国内外领先模型具有竞争优势，但在编程能力上仍落后于Claude Sonnet 4.5。 评测GLM4.6和Cloud Claude Sonnet 4.5 对阵 GLM-4.6：中外大模型编程巅峰对决，胜负已分? 丨302.AI 基准实验室 - 在 Claude Code 中使用 GLM 4.6 的体验 | Randy's Blog “若项目追求视觉惊艳、代码优雅的展示型效果，且预算充裕，Claude 仍是理想之选；而若任务涉及严谨逻辑、复杂交互与系统架构，需兼顾功能完整与高度可靠，GLM-4.6 则展现出更强的综合实力与交付保障。” ...