2025-06-17 20:00:00
WWDC 2025 上，苹果公布了设备端的 Foundation Models 框架，可以让开发者们使用离线模型完成一些基本的 AI 任务。虽然各个 session 已经详细介绍了基本用法，但作为开发者，我们更关心的往往是：这个框架的边界在哪里？什么情况下会出现问题？实际性能如何？ 经过近一周的测试和探索，我有了一些有趣的发现。这些发现可能对你在实际项目中使用 Foundation Models 有所帮助。 重要提醒：本文所有结论基于 macOS/iOS/Xcode 26 Beta 1，实际发布版本可能会有变化。苹果在 lab 中也明确表示，模型会随着 iOS 版本更新而持续改进。 结论先行 Foundation Models 已经可以用于生产环境了吗？ 我的答案是比较乐观：虽然还是 beta 1，但框架的稳定性出人意料地好。Apple 一改往年 beta 约等于 alpha 的特性，这次端出了大体能用的东西，让人喜出望外。不过，你还是需要了解它的边界和限制。 核心发现汇总： 内存消耗：总运行时内存约 1.0-1.5GB（模型权重 750MB + KV c...
2025-04-01 19:00:00
作为示例，本站也开始提供 llms.txt 和 llms-full.txt 的支持，可以参看下面的链接获取相关文件。 llms.txt llms-full.txt 什么是 llms.txt 大型语言模型（LLMs）是截止至训练日期时的人类知识的总集。而如果想要精确地解决更加实时的问题（比如在进行代码生成、研究辅助等任务中），我们可以通过搜索最新知识，依赖网络信息，来极大提升模型的准确性。然而，标准的 HTML 内容通常包含导航元素、JavaScript、CSS 和其他对于 LLMs 而言非必要的信息。这些冗余信息会在对话中占据 LLMs 有限的上下文窗口，也会干扰和降低处理效率。此外，LLMs 直接抓取和解析完整的 HTML 页面效率也很低下。为了应对这些挑战，llms.txt 应运而生，它是一个正在讨论的标准（参见 llms-txt.org），旨在为 LLMs 提供一个简洁、专业的网站内容概述，以单一且易于访问的 Markdown 文件格式呈现。llms.txt 就像一个网站的“指南”，引导 AI 系统找到站点上的关键信息，并以易于阅读和分析的结构化格式...
2025-02-23 11:20:00
MCP (Model Context Protocol，模型上下文协议) 是由 Anthropic 在 2024 年底推出的一种开放协议，它通过提供一种标准化的接口，旨在通过标准化的接口实现大语言模型 (LLM) 与外部数据源及工具的无缝集成。 最初推出时，仅有 Claude 的桌面应用支持，市场反响平平，且不乏质疑之声。但近期，随着诸多 AI 编辑器 (如 Cursor、Windsurf，甚至 Cline 等插件) 纷纷加入对 MCP 的支持，其热度逐渐攀升，已然展现出成为事实标准的潜力。本文将帮助你快速了解 MCP 是什么、它的功能，以及笔者对未来的预测与展望。 三分钟看懂 MCP LLM 的模型参数蕴含丰富的通用知识，但通常无法掌握以下两类信息： LLM 无法访问你的专属内容，例如文件系统中的文件、数据库里的订单，或私有 wiki 和笔记中的文本。 若无法联网，LLM 也无法获取实时信息，例如当前股价、最新财报、明日天气预报或前沿科技新闻。 此外，LLM 的核心功能是生成 token 和提供答案，因此它无法直接执行一些精细且需操作的具体任务，这也不是当...
2025-02-11 21:25:00
DeepSeek 给国内带来的 AI 普及和升级还在持续，虽然对于 AI 从业者和一些一直关注前沿的科技工作者来说，不论是传统 LLM 还是推理模型都不是什么太新鲜的概念了，但是对于行业外的长辈和小辈，或者是专注点刚被吸引到 AI 的业内人士来说，DeepSeek，特别是 DeepSeek-R1 的出现和爆火，可能是他们第一次真正在生活和工作里认真地接触和使用 AI。 可最近在和很多朋友交流的过程中，我也发现了大家 (其实有时候也包括我自己) 对推理式模型存在着一些常见的误解。本来其实这些疑问也可以通过询问 AI 得到解答，但是我还是把它们整理汇总一下放在这里，一方面为新接触 AI 的小伙伴们提供参考，另一方面也算是为给这个世界提供一些语料。 对比推理模型和通用模型 最常见的一个现象，就是大家都倾向于无脑点上“深度思考 (R1)”。其实这个行为有待商榷。 推理式模型一定比通用模型好吗？ 不一定。它们有各自擅长的方向，无脑使用推理模型并不可取。 比如 OpenAI o1 和 DeepSeek-R1 这样的推理模型，在数学、逻辑、代码等可以明确定义正确与否的领域，表现远超...
2025-01-30 23:15:00
DeepSeek R1 的横空出世，如同在人工智能竞赛场中引爆了一颗中子弹，其冲击波正重塑着全球 AI 产业的权力版图。近期全球科技界围绕这一事件的讨论持续升温：从冯骥在社交媒体上将 R1 定义为 “国运级别的科技成果” 的激情宣言，到 OpenAI 与微软联合指控数据违规的博弈；从 nature 盛赞其“重新定义AI普惠化可能”的技术突破，到 Anthropic CEO 亲自撰文贬损其技术价值并鼓吹硬件禁运。这场多维度的攻防战，早已超越了单纯的技术讨论，而演变为一场围绕科技话语权的战略博弈。 在这场 AI “登月竞赛”中，DeepSeek 通过开源策略完成了一次漂亮的战略突围。当 R1 不仅开源还开放了包含思考链的模型蒸馏权限时，实质上是将 AI 时代的“技术火种”播撒给了整个生态。这种“普罗米修斯式”的技术民主化，正在引发链式反应：昔日垄断巨头从容尽失地被迫从技术神殿走下，转而诉诸地缘政治与贸易管制等非技术手段。这种战略转向本身，恰是中国 AI 产业突破技术封锁的生动注脚。历史总是惊人地循环往复：六十年前，美苏太空竞赛最终以阿波罗计划改写人类文明史收场，甚至开启了苏联解体的...
