2025-04-07 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
这哥们真的是直播鬼才，切片能看一下午。
抖音建立安全与信任中心，推进算法和平台治理透明化。
去哪儿网针对业务高峰期资源保障问题，开发了智能扩缩容方案，通过流量日历平台整合业务监控与运维数据，利用算法预测业务高峰时的资源需求，并自动执行扩缩容操作。该方案覆盖了考试、节假日和促销活动等多种业务高峰场景，通过九个阶段的业务流程实现从事件预判到复盘的全流程管理。
在业务流程方面，系统支持热点事件录入，根据事件类型和业务涨幅预估高峰期业务量，调用算法接口预测 CPU 核数，并结合安全阈值计算预估机器数。运维团队根据预估结果创建定时扩缩容任务，使用本地和云上资源执行操作。任务高峰期结束后，进入复盘阶段，分析预测准确率和覆盖率，以改进算法和流程。
算法部分采用神经网络模型，通过分析订单量、QPS、机器型号等影响 CPU 的因素进行训练，考察平均绝对百分比误差（MAPE）和相关性系数等指标。模型离线定时更新，学习高峰事件和近期数据，确保模型的时效性和鲁棒性。同时，系统设置了最大副本数和最小副本数的安全限制，保障机器数预测过低场景下的稳定性。
项目实施后，应用接入数量达到 150 个以上，占比酒店应用总核数 90% 以上，已完成多种重点高峰事件保障。应用预估平均覆盖度为 96%，准确率为 89%。单次事件高峰期节约人工运维效率 3pd/次，年化节约 270pd，相比人工预测资源节省约 20%。
未来，去哪儿网计划进一步拓展智能扩缩容的应用场景，包括实体机/KVM 场景和存储层资源，并提升容量扩容的安全性检测。同时，将继续优化算法，借助 AI 提升业务量预估准确性和业务指标与应用 CPU 的关联性，逐步覆盖公司各业务线，实现全司资源调度智能化。
本文是一份关于大型语言模型（LLM）应用落地实施的手册，作者林然结合自身开发经验，详细介绍了如何系统性地实施基于LLM的应用。文章首先介绍了LLM应用的常见场景，如文本分类、信息抽取、文本生成、对话系统等，并将其分为会话型和任务型两大类。会话型应用以用户输入为核心，输入复杂且涉及对话上下文；任务型应用则以系统数据为输入，输入较为固定，通常采用批处理方式。
在复杂度评估方面，作者将LLM应用划分为L1到L4四个级别，从简单的单轮调用到复杂的自主规划Agent。用户体验风险也是关键考量因素，错误影响和任务失败概率直接影响应用的成功与否。
文章进一步介绍了L3级LLM应用的构建方式，包括架构设计、知识工程、模型优化和迭代优化。架构设计强调任务拆解和检索增强，知识工程涉及构建多种知识库，模型优化则包括Prompt优化和模型微调。迭代优化则通过建立评估指标和记录实验结果来不断改进系统。
最后，文章通过一个具体的Text-to-SQL应用案例，展示了从需求分析、用户体验风险评估、架构设计、知识工程到开发落地及优化的全过程。该项目通过优化架构和知识工程，将Text-to-SQL的准确率从10%提升至90%以上，充分体现了LLM应用落地实施的有效性和潜力。
利用本地运行的语言模型（LLM），如Ollama或LMStudio提供的模型，帮助用户进行深度网络研究，并生成带有引用的研究报告。
RD-Agent 是一个旨在实现AI驱动研发自动化的项目，目前处于预览阶段，其核心目标是简化模型和数据开发流程，为工业研发创造价值。
Vim 激进重构版本，专注于可扩展性和可用性。
大型语言模型（LLMs）后训练方法的深入研究，提供了一个全面的资源库，涵盖了与LLMs后训练方法相关的最具影响力的论文、代码实现、基准测试和资源。
提供AI工程领域深度教程、代码示例和资源，帮助用户学习和实践。
更适合国人体质的油猴教程。
“氛围编程”（Vibe Coding）是由 OpenAI 联合创始人 Andrej Karpathy 提出的一种新型编程方式。它强调开发者无需深入理解代码细节，而是通过 AI 辅助快速实现功能。Karpathy 用此方法在一小时内用 Swift 完成了一个 iOS 应用的开发，展示了其高效性。该方法的核心是让开发者专注于功能效果，而非代码本身，从而大大降低了编程的门槛，使更多人能够参与到软件开发中来。
“氛围编程”正在改变软件开发行业，它推动了编程的民主化，让小团队能够快速开发出产品并创造高收入业务。它还可能改变软件的风格和设计，带来全新的交互模式，并重新定义软件开发的价值链，使软件的价值更依赖于创造力而非单纯的代码能力。
然而，“氛围编程”也存在一些局限性。由于开发者可能不完全理解代码，这可能导致代码质量和可维护性问题，甚至可能引入安全漏洞。此外，该方法目前更适合低风险的个人项目和概念验证工作。尽管如此，“氛围编程”仍为软件开发带来了新的可能性和机遇。
2025-03-24 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
不知道是不是只有成都这样，天气稍微好一点，公园就密密麻麻的人。茶必须在公园喝，烤肉必须在公园吃，牌也得在公园打。
在2025年GTC大会上，英伟达创始人黄仁勋宣布公司已进入“Agentic AI”时代，强调AI正从生成式向更具推理能力的自主智能体转变。黄仁勋提出“tokens”是AI的核心数据单位，其处理效率和数量成为衡量AI性能的关键。英伟达推出Dynamo操作系统优化AI推理效率，发布专为推理设计的Blackwell Ultra平台，并公布下一代AI芯片Rubin和Feynman的计划。此外，英伟达首次公开其光芯片技术进展，与台积电合作开发硅光子技术，用于数据中心优化，计划推出Spectrum-X和Quantum-X交换机。在机器人领域，英伟达发布GR00T N1模型和Newton物理引擎，通过Omniverse和Cosmos平台生成虚拟数据助力训练。英伟达还与通用汽车合作，利用仿真数据提升自动驾驶体验，展现了其在AI芯片、数据中心、机器人等领域的全面布局和雄心壮志。
JDK 24正式发布，包含24项重大增强功能，涵盖Java语言、API、性能和JDK工具的改进。其中包括语言特性如原始类型模式匹配、灵活的构造函数体、模块导入声明等的预览，以及Stream Gatherers、Class File API等库增强。性能方面有Compact Object Headers等改进，安全库方面引入了量子安全算法。此外，还有对JDK的维护和清理工作，如限制JNI使用、移除32位Windows端口等。
本文详细介绍了域名注册信息查询的两种主要方式——WHOIS和RDAP，以及它们在域名管理、网络安全和隐私保护中的应用和演变。WHOIS是一种传统的查询协议，允许用户通过查询域名注册数据库获取注册人信息、注册时间和到期时间等详情。然而，WHOIS存在格式不统一、国际化支持有限、隐私问题等局限性。RDAP（注册数据访问协议）作为WHOIS的现代替代品，使用HTTP接口返回标准化的JSON数据，具有支持国际化、提供安全访问控制和数据格式标准化等优势。ICANN宣布自2025年1月28日起，RDAP将成为通用顶级域名（gTLD）注册信息的权威来源，取代WHOIS服务。
文章还提供了实践中的注意事项，包括批量查询策略、解析和存储查询结果的方法，以及特殊顶级域名（TLD）的处理策略。此外，介绍了域名监控与安全应用，如域名到期监控系统、域名抢注监控和钓鱼域名检测等。随着RDAP的全面普及和隐私保护的加强，未来域名查询系统将更加高效、安全和符合隐私法规要求。
Netflix每天需要处理1.4亿小时的观看数据，这些数据对于提供个性化推荐和续播功能等用户体验至关重要。然而，随着用户数量的增加和观看行为的复杂化，Netflix面临着存储和检索这些数据的技术挑战。
最初，Netflix选择了Apache Cassandra作为存储解决方案，利用其灵活的数据结构、高写入负载能力和最终一致性支持。Netflix将每个用户的观看历史存储在Cassandra中，并通过“水平分区”将数据分散到多个服务器上以避免单点过载。然而，随着数据量的增加，系统逐渐暴露出性能瓶颈，如过多的SSTables导致读取变慢，以及压缩操作的开销增加。
为了解决性能问题，Netflix引入了EVCache缓存解决方案，将用户的观看历史以压缩格式存储在缓存中，减少了对Cassandra数据库的直接读取。此外，Netflix还采用了压缩存储模型，将观看历史分为“活跃观看历史”（LiveVH）和“压缩观看历史”（CompressedVH），分别针对频繁访问的近期数据和较少访问的旧数据进行优化。
随着Netflix的全球扩张和新功能的推出，如视频预览和多语言支持，数据存储和检索的需求进一步增加。Netflix对其存储架构进行了根本性的重新设计，将观看历史分为三个类别：完整标题播放、视频预览和语言偏好，并为每个类别分配了独立的存储集群。此外，Netflix还根据数据的时效性将存储分为近期集群、过去集群和历史集群，分别针对快速访问、归档和长期存储进行了优化。
Netflix通过多种策略提高了存储效率和数据检索速度。例如，过滤掉短暂的视频预览记录以减少存储开销，将语言偏好数据单独存储以避免重复，以及使用TTL自动删除不必要的记录。在数据检索方面，Netflix通过并行读取和智能拼接不同集群的数据来提高效率。此外，Netflix还引入了数据轮转机制，自动将旧数据移动到适当的存储位置，并通过EVCache缓存层进一步加速数据访问。
通过这些优化措施，Netflix不仅提高了存储效率，还降低了存储成本，改善了数据检索速度，确保了全球数百万用户的优质流媒体体验。
开源的macOS软件集合，旨在收集各种类别的优质macOS软件。项目包含大量软件推荐，涵盖阅读写作工具、开发工具、设计产品、通信工具、音频视频工具等多个领域。
Tree-sitter 是一个解析器生成工具和增量解析库，能够为源代码文件构建具体的语法树，并在源代码编辑时高效地更新语法树。
nginx-proxy 是基于 Docker 容器的自动化 Nginx 反向代理工具，使用 docker-gen 来动态生成 Nginx 的反向代理配置，并在容器启动和停止时重新加载 Nginx 配置。
关于计算机科学（CS）自学指南的介绍。利用开源资源自学的可行性和优势，通过自学让初学者在2-3年内成为掌握多种编程语言和计算机领域知识的全能程序员。
程序语言与编译技术相关资源，包含课程、书籍、论文、项目、博客和会议（论坛）。
这篇文章分享了作者在 Anthropic 公司作为项目管理负责人（DRI）的经验，介绍了如何高效管理大型危机项目。作者强调，项目负责人需全身心投入，每天花 6 小时组织协调，保持专注，避免项目失控。制定详细胜利计划也很关键，它能明确目标、及时发现问题并调整策略。快速运行 OODA 循环（观察、定位、决策、行动）能提高项目效率，项目负责人要投入时间、过度沟通、跟踪问题并频繁重新定位。过度沟通能让团队成员了解项目进展和目标，自主做出高质量决策。当项目规模超过 10 人时，需委派部分管理任务，以清晰、简单、高层次目标为单位，避免重叠。优秀的项目经理应有组织且专注目标，不一定是技术最强者。作者还建议项目负责人享受项目过程，从团队合作中获得成就感。最后，作者提供了一个项目负责人入门工具包，包括每周会议、项目主页、计划、人员分配、Slack 规范、每周更新和回顾会议等，旨在高效推进项目，减少流程和文书工作。这些经验对危机项目和其他类型项目管理都有参考价值。
文章介绍12个有助于简化生活的日常习惯，旨在帮助读者通过逐步改变生活方式来实现更简单、更充实的生活。文章指出，简化生活并非一蹴而就，而是需要时间和持续的努力。习惯研究专家Katy Milkman也提到，改变习惯需要长期坚持，而非短期的30天计划。
文章列举了12个具体的日常习惯，包括：饭后进行短暂散步以调节血糖；记录每日收支以发现消费模式并加以改变；在购买新物品前先利用现有物品；通过清理挑战分阶段清理杂物；限制技术使用以减少对手机的依赖；简化衣橱，定期捐赠不再穿的衣服；避免休闲购物，制定“购买清单”并在购买前等待30天；尝试低成本爱好，如日本的“刺子绣”；每天进行感恩练习，专注于当下；享受生活中的简单乐趣，如早晨制作咖啡、写日记等；加入社群或找一个“简约生活伙伴”以获得支持和责任感；限制新闻消费，减少压力。
文章聚焦于中国职场中年轻人因各种原因进入空窗期的现象及其所面临的困境。空窗期的成因复杂多样，既有主动选择，也有被动无奈。主动离职者多因身体、家庭或对工作强度的不满，而被动离职者则可能因行业不景气或公司裁员。脉脉报告显示，主动辞职待业的比例有所上升，而被动辞职的比例略有下降。
在空窗期中，年轻人的活动方式各异。有人选择休息、旅行，以放松身心；有人尝试旅居或转行做自媒体；还有人继续备考，如公务员、研究生等，试图通过提升学历或职业资格来增加竞争力。然而，空窗期过长会带来诸多问题。求职时，简历上的时间断层常被HR质疑，求职者需面对来自亲友的压力，同时还要应对生活成本的压力，如房租、社保等。前程无忧的调研显示，多数人需要攒够一定金额才敢暂停工作，而房租、社保等生存成本在一线及新一线城市中较高，给空窗期的年轻人带来了较大的经济压力。
文章指出，空窗期的求职者在重新进入职场时，往往面临被压薪甚至找不到工作的困境，这进一步加剧了他们的焦虑。同时，断缴社保可能影响城市落户、购房资格、买车摇号等，其他生存刚需费用也让生活成本居高不下。整体而言，空窗期的年轻人在追求自我价值与适应社会期望之间面临着诸多挑战。
2025-03-17 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
最近有点疲乏，感觉需要一个长假期来恢复一下情绪。
OpenAI于2025年3月11日发布了一系列新工具，旨在简化智能代理（agents）的开发，帮助开发者和企业构建更可靠、高效的自主任务执行系统。新工具包括Responses API、内置工具（如网络搜索、文件搜索和计算机使用）以及Agents SDK。Responses API结合了Chat Completions的简单性和Assistants API的工具使用能力，支持开发者通过单一调用完成复杂任务。内置工具通过连接现实世界数据提升模型实用性，例如网络搜索在SimpleQA基准测试中准确率达90%。Agents SDK则用于协调单代理或多代理工作流，支持开发者快速构建和部署智能代理系统，已在Coinbase和Box等企业的实际应用中取得成功。OpenAI计划在未来继续扩展这些工具，推动智能代理在各行业的广泛应用。
李飞飞团队推出具身智能新作BRS框架，旨在解决机器人家庭任务中的全身操作问题。研究基于Galaxea R1机器人，通过分析BEHAVIOR-1K基准测试，确定了三项关键全身控制能力：双臂协同、稳定导航和末端执行器的广泛操作性。团队提出两项创新：一是JoyLo，一种低成本全身遥操作接口，利用任天堂Joy-Con控制器实现高效全身控制，具备高数据收集效率和良好的用户体验；二是WB-VIMA学习算法，基于Transformer架构，通过自回归去噪和多模态注意力机制，解决机器人全身协调运动难题，显著提升任务成功率并减少错误。实验表明，BRS在清洁、倒垃圾等家庭任务中表现出色。该框架已开源，为家庭机器人研究提供了重要参考。
文章中分享了使用大型语言模型（LLM）辅助编程的经验。作者认为LLM更像是高级自动补全工具，能够加速开发过程，但需要合理设定期望。LLM的训练截止日期限制了其对代码库的熟悉程度，因此开发者需选择稳定的库。上下文管理是关键，清晰的对话和指令能让LLM更好地生成代码。作者还强调测试LLM生成代码的重要性，并建议利用支持运行代码的工具来快速迭代。
通过具体案例，如使用Claude Code创建展示工具提交历史的页面，作者展示了LLM在快速开发中的优势。LLM的最大价值在于加速想法实现，帮助开发者快速尝试新方案并学习新技能。同时，LLM并不能替代人类的专业知识和直觉，而是增强现有能力的工具。作者还提到“氛围编码”的学习方式，即通过随意提出想法来快速了解LLM的能力和局限性。总之，LLM是开发者强大的辅助工具，能够提升效率并拓展知识边界。
文章主要介绍了由 Anthropic 公司主导发布的 Model Context Protocol（MCP）及其在 AI 应用层开发中的重要性。过去 AI 模型与现有系统集成缓慢，而 MCP 作为一种开放、通用的协议标准，能够使 AI 模型与不同 API 和数据源无缝交互，推动了 AI 应用与现有服务的集成。文章还对比了 Function Calling、AI Agent 和 MCP 三者之间的区别，并详细阐述了 MCP 的工作原理，包括其架构中的 Hosts、Clients、Servers 等部分，以及如何通过创建 MCP Server 来实现 AI Agent 的自动化功能，最后提供了 MCP 的一些资源和使用建议。
Mermaid 是一个基于 JavaScript 的图表工具，它允许用户通过类似 Markdown 的文本定义生成各种图表，如流程图、序列图、甘特图等。
CAMEL是一个强大的开源框架，专注于多智能体系统的研究和开发。它提供了丰富的功能和工具，支持大规模智能体的模拟、数据生成、任务自动化和世界模拟。
Manus开源平替，通用智能体。
自托管指南，涵盖了从基础设置到高级应用的各个方面，包括软件和硬件选择、容器技术、CI/CD、开发工具、网络服务、云存储、数据库管理、远程访问、虚拟化、密码管理、安全措施、监控、备份、归档、家庭服务器、媒体服务器、智能家居自动化、语音助手、视频监控、文本转语音合成、视频和音频处理、播客、有声读物、健康、园艺、地图、书签、照片、过去ebin、笔记记录、时间监控、维基、游戏、基础项目等。
MCP 服务器集合。
一个基于 AI 的 Hacker News 中文播客项目，每天自动抓取 Hacker News 热门文章，通过 AI 生成中文总结并转换为播客内容。
2025-03-10 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
看了Manus的视频（邀请码就离谱，炒到了10万），感觉并没有给我当时GPT-3.5的那种震撼。必须承认，它把Agent做到了极致，产品力看起来非常的强。但智能体真的是通往AGI的必经之路吗？
QwQ-32B 拥有 320 亿参数，性能可与 6710 亿参数（370 亿被激活）的 DeepSeek - R1 媲美，凸显强化学习应用于大规模预训练基础模型的有效性，且集成 Agent 相关能力。该模型已在 Hugging Face 和 ModelScope 开源，采用 Apache 2.0 协议，可通过 Qwen Chat 体验。在冷启动基础上开展大规模强化学习，先针对数学和编程任务训练，通过校验答案和评估代码给予反馈；之后增加针对通用能力的 RL，提升通用能力且不影响前两者性能。同时展示了使用 OpenAI 库调用 QwQ-32B 的 API 示例代码。未来，团队计划结合更强大基础模型与规模化计算的 RL，探索智能体与 RL 集成实现长时推理，迈向通用人工智能。
3月6日凌晨，来自中国的初创公司BUTTERFLY EFFECT（蝴蝶效应）通过一部全英文的宣传片正式对外发布通用型AI Agent产品Manus，官方称它为“全球首个通用 Agent”。据其团队介绍，与传统AI助手不同，Manus不仅能提供建议或答案，还能直接交付完整的任务成果。据团队发布的案例，Manus可以进行简历筛选、房产研究、股票分析。
2024 年图灵奖授予强化学习先驱 Andrew Barto 和 Richard Sutton。他们自 1980 年代起提出强化学习主要思想，构建数学基础，开发重要算法，合著经典教材。强化学习是当今 AI 突破的原点，如 DeepSeek R1 的 GRPO 算法、AlphaGo 的自我博弈训练等都离不开它。强化学习结合深度学习后，应用领域广泛，包括机器人运动技能学习、网络拥堵控制等，还助力神经科学发展。获奖者 Barto 和 Sutton 在学术界和业界都有重要地位，他们的工作推动了 AI 领域进步，为未来计算及其他学科发展提供潜力。
随着得物离线业务增长，公司开展大数据 Galaxy 开源演进项目，离线开发治理套件中的 SQL 编辑器至关重要。为此，项目选用 ANTLR4 作为 SQL 解析引擎底座，以满足适配自研 Spark 引擎的多种功能需求。
ANTLR4 是强大的解析器生成器，具有强大的文法定义、抽象语法树遍历、自动语法错误处理、可扩展性等特性，在 Apache Spark、Twitter、IBM 等多领域广泛应用。SparkSQL 作为 Apache Spark 处理结构化数据的模块，具备高效查询执行、与 Hive 兼容、支持多种数据源的特点。
在技术实现方面，基于 ANTLR4 进行语法设计，通过 ANTLR4 生成的代码和相关工具实现语法补全、校验等功能。以字段补全为例，利用 ANTLR - C3 引擎和 ANTLR 生成的 AST 解决推荐语法类型和精准推荐问题。ANTLR4 生成的语法分析器内置错误报告和恢复策略，但在复杂场景下性能和错误恢复存在挑战，可从缓存、语法、预测模型选择等方面优化。同时，编辑器集成 MonacoEditor，提供辅助编程功能。
大模型发展促使 SQL 编辑器应用变革，如阿里云 DataWorks 推出 Copilot 产品。然而，SQL 代码补全因上下文依赖、语义多样等因素颇具挑战，成熟场景集中在有规律的代码推荐。
目前，Galaxy 数据研发 IDE 借助 SQL 引擎建设实现个性化词法规则定制和辅助编程功能。未来计划接入大模型能力并重构基础语法定义，以应对解析器开发难题，更好地满足复杂业务需求。
本文聚焦于领域特定嵌入模型微调，探讨其在金融问答系统等自然语言处理（NLP）任务中的关键作用。通用嵌入模型缺乏领域知识，难以准确检索信息，而微调嵌入模型可解决此问题。嵌入是将文本、图像等映射到多维空间的数值表示，能捕捉语义关系，在语义相似性计算、文本分类、问答和检索增强生成等NLP任务中至关重要。
以BAAI/bge-base-en-v1.5模型为例，针对特定领域微调嵌入模型，可使模型的相似性度量与领域上下文和语言对齐，提升相关文档的检索效果，进而得到更准确合适的回复。文中介绍了多种数据集格式，如正样本对、三元组、带相似性分数的句子对和带类别的文本等，不同格式对应不同的损失函数，像三元组损失、对比损失等，这些损失函数用于在训练中引导模型调整权重。
在代码示例部分，通过unstructured库提取PDF文本和表格，利用LangChain分块处理，借助Hugging Face Llama模型生成问答对，将数据处理为合适格式后加载到HuggingFace数据集，完成模型微调。微调后bge-base-en_dot_ndcg@10指标显著提升，证明了微调的有效性。总之，微调领域特定嵌入模型可提升NLP应用的准确性，构建模型时要利用如MRL等技术和强大模型。NLP发展迅速，持续关注新进展有助于构建更智能高效的领域应用。
本文围绕自然语言处理项目中使用大语言模型的经验展开，着重分享了提示词优化技巧。在项目实践中，团队发现发挥大语言模型潜力需深入了解其运作机制。大语言模型本质是统计模型，通过学习海量文本数据捕捉模式和关联，具备语义相似性识别、熟悉常见语法结构、掌握部分专业术语等特点，但对知识逻辑的理解存在局限。其输出是条件概率计算过程，而COT（思维链）能提升输出准确性。
提示词优化至关重要，它是与大语言模型交互的关键。大语言模型常出现理解偏差、信息不足、逻辑错误、推理不足和关注重点不一致等问题。针对这些问题，文章分享了一系列优化经验：让模型先输出结果再解释原因，以便分析错误、针对性优化提示词；基于模型解释添加提示词，解决理解偏差和信息不足问题；将COT编码到提示词中，通过分析错误用例解释的共性来提高正确率，解决逻辑错误和推理不足问题；把分析性提示词放在后面，可提升约5％的正确率；保持英文和中文一致性，避免隐性差异，解决关注重点不一致问题；使用简洁严谨的语言风格，使模型专注任务、节省token并加快响应速度。
总之，大语言模型应用广泛，但需调教，文中的理解和提示词设计经验有助于更好地发挥其作用。
SQL Chat 是一款基于聊天的 SQL 客户端，能通过自然语言与数据库交互，实现数据库的查询、修改、添加和删除等操作。
DiffRhythm 是首个开源的基于扩散模型的全长歌曲生成模型，为 AI 音乐创作带来新可能。
Repomix 是一款强大工具，可将整个代码库打包成便于 AI 处理的单个文件，适用于多种 AI 工具，如 Claude、ChatGPT 等
帮助人们理解 Shell 脚本编程基础。
课程从基础开始，涵盖什么是机器学习，它与传统方法有何不同，以及它的用途。然后深入研究机制，探索不同的模型、算法和训练过程。接下来，它介绍了生成人工智能，解释了它如何创建新内容，然后总结了人工智能系统的架构以及如何有效地设计和部署它们。
AI Engineering Hub 是一个聚焦人工智能工程的资源库，为不同技能水平的人员提供 AI 工程相关资源。
本文聚焦利用 Claude 生成 app 的 UI/UX 实践，为相关开发者提供了极具价值的参考。在工具选择上，推荐使用 Claude3.7，可通过官网或 Cursor 操作，Cursor 需切换至 Ask 模式（旧版为 Chat） ，禁用 Agent 或 Composer 模式。实践过程分阶段推进，1.0 版本按特定结构编写提示词，添加 “优秀 html 案例” 能优化效果，代码过长时多次输入 “继续” 获取完整代码。2.0 版本引入 tailwindcss 简化代码，Ask 模式稳定性更高，生成复杂 UI 后可引导调整。3.0 版本借助特定提示词，实现 Cursor 与设计软件协作生成 SVG 文件，优化提示词能规避文字、图片问题。此外，文中还分享了成功变现案例，有人用生成的 html 设计稿完成软件外包项目，同时展示了多个不同功能 app 的提示词及生成效果，助力开发者高效生成理想的 UI/UX 设计。
本文是Lars Wirzenius对Linux早期发展的回忆，讲述了Linux从诞生到逐步发展壮大的历程。1988年，Lars与Linus在赫尔辛基大学学习计算机科学，偶然发现Usenet。1990年，他们学习C和Unix编程后，对操作系统构建产生兴趣。1991年，Linus购买386 CPU的PC，玩游戏、学习MINIX后，开始学习英特尔汇编语言，编写了实现多任务的程序，这是Linux内核雏形。Lars还为其编写sprintf()函数，后演变为内核中的snprintf()。
同年8月，Linus在新闻组首次提及新内核，最初名为Freax，后被命名为Linux。Linux最初版本采用禁止商业使用的许可证，在多方影响下，1992年初改用GNU GPL许可证 。1992年，Linux与Andrew Tanenbaum展开辩论，X11系统移植使其成为桌面系统，首个Linux发行版SLS出现。1993年，Linus和Lars成为大学助教，Linux支持以太网和TCP/IP，但早期网络代码有问题。1994年，他们认为Linux已完善，发布1.0版本。
此后，Linux不断发展，被移植到新架构，“开源”概念兴起，IBM投资，Linux应用范围不断扩大。从最初屏幕上交替显示的“A”和“B”，到如今在全球数十亿设备上运行，Linux的发展堪称传奇。
2025-03-03 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
狩猎解禁！这作新增的“相杀“机制真的是太爽了，与怪物硬碰硬，正反馈拉满。虽然剧情还是一如既往的拉胯，但玩怪物猎人谁看剧情呢。人物捏脸也精细多了，看板娘也终于正常了，不用像世界那样被aibo折磨了。
2025年2月28日，OpenAI发布了其最新聊天模型GPT-4.5。该模型是OpenAI迄今为止最大、最强的模型，强调“情商”和自然交互能力的提升。GPT-4.5通过扩展无监督学习，增强了模式识别、创造性见解和减少幻觉的能力，但并非推理模型。其知识库更广泛，能更好地遵循用户意图，尤其在写作、编程和解决问题方面表现出色。测试显示，GPT-4.5在事实性回答、人类协作等方面优于前代模型，但在数学和编程能力上仍逊色于部分推理模型。目前，GPT-4.5支持搜索、文件和图片上传等功能，未来将扩展多模态功能。API价格因计算资源需求大幅上涨，每1M token收费75美元，比GPT-4o高出30倍。OpenAI仍在评估是否长期提供GPT-4.5 API。
Anthropic 发布了其迄今为止最智能的模型 Claude 3.7 Sonnet，这是市面上首款混合推理模型，具有标准和扩展思考模式，用户可通过 API 对思考时间进行细粒度控制。同时推出的 Claude Code 工具，使开发人员能从终端将工程任务委托给 Claude。Claude 3.7 Sonnet 在编码和前端 web 开发方面表现出色，成为 Anthropic 最佳编码模型，可通过多种计划和平台使用，价格与前代相同。该模型在多个基准测试中表现优异，尤其在 SWE-bench Verified 和 TAU-bench 上实现 SOTA 性能。Anthropic 还对模型进行了安全性和可靠性评估，未来希望 Claude 能成为独立自主工作的专家级智能体，解决复杂难题。
近日，北大校友王虹与哥大数学副教授Joshua Zahl在三维空间中证明了困扰数学家上百年的挂谷猜想（Kakeya猜想），引发广泛关注。该猜想由日本数学家挂谷宗一于1917年提出，断言包含每个方向上单位长度线段的集合（Kakeya集）在三维空间中具有Minkowski和Hausdorff维度等于3。王虹和Zahl通过127页论文，采用多尺度分析技术，引入非聚集条件、Wolff公理等进行论证，最终证明了猜想。王虹1991年出生于广西桂林平乐县，16岁考入北大地球与空间物理系后转入数学系，2011年获学士学位，后在巴黎综合理工学院、巴黎第十一大学、麻省理工大学深造，目前是纽约大学数学系副教授。此次突破使她成为2026年菲尔兹奖热门人选，有望成为首位中国籍女性菲尔兹奖得主。
本文详细介绍了亚马逊S3如何存储350万亿个对象，并实现99.999999999%（11个9）的持久性。S3是亚马逊于2006年推出的云存储服务，已成为现代云计算基础设施的核心。它支持从个人开发者到大型企业的各种需求，提供可扩展、安全且易于使用的存储解决方案。S3通过自动扩展存储容量、提供多种存储类别（如S3标准、智能分层、冰川和S3 Express One Zone）以及与AWS其他服务（如Lambda、CloudFront、Athena等）的集成，满足不同数据访问频率和成本优化的需求。
S3的架构基于微服务设计，包含超过350个微服务，分布在多个AWS区域和可用区，负责存储、检索和保护数据。其前端请求处理服务接收API请求，进行身份验证和路由；索引和元数据服务通过分布式索引跟踪对象位置；存储和数据放置服务使用纠删码和多可用区复制保护数据；读写优化服务通过多部分上传和缓存提高性能；持久性和恢复服务通过校验和验证和自动修复确保数据完整性；安全和合规服务则保护数据免受未经授权的访问和网络威胁。
S3的数据写入过程包括客户端发送写入请求、DNS解析和路由、负载均衡器和Web服务器处理请求、对象索引到元数据存储、数据放置和存储，最后向客户端发送响应。S3的索引系统通过分布式索引和键分区引擎实现快速查找和高并发处理，支持超过1亿次/秒的请求处理能力，同时通过动态分区和负载均衡避免热点问题。
S3的演变历程包括从全球模型到区域模型的转变、引入Glacier、增强性能和安全性、集成AI和分析能力、推出智能分层和S3 Select等功能。S3的持久性和高可用性得益于多可用区存储、自动扩展和AI驱动的预测性扩展策略。通过这些技术，S3成为支持媒体流、人工智能工作负载、实时分析和关键任务应用的基石。
一本面向机器学习研究者和工程师的实用指南，旨在帮助读者深入理解Transformer架构、硬件优化以及大规模模型训练和推理的实践技巧。文中强调了硬件与算法协同设计的重要性，并通过丰富的案例和工具支持，帮助读者实现模型性能的最大化。
文章首先介绍了深度学习中“模型扩展”的重要性，指出即使是小型模型也常常接近硬件极限，因此研究者需要关注大规模效率。作者通过屋顶线分析（Roofline Analysis）解释了计算、通信和内存如何限制模型的扩展能力，并详细讨论了TPU和GPU的工作原理以及它们如何通过有限带宽和延迟的互连网络协同工作。此外，文中还探讨了矩阵乘法的性能瓶颈以及如何利用硬件特性优化模型。
在Transformer架构方面，文中深入分析了其参数数量、FLOPs（浮点运算次数）的计算以及KV缓存的大小。通过数学分析，作者展示了如何计算Transformer在训练和推理过程中的计算量和内存使用。文中还讨论了四种主要的模型并行化技术：数据并行、张量并行、流水线并行和专家并行，这些技术可以帮助研究者在给定硬件平台上高效地训练和推理大规模模型。此外，文中还介绍了其他优化技术，如重计算、优化器/模型分片（ZeRO）、主机卸载和梯度累积。
文中通过LLaMA-3模型的训练和推理案例，展示了如何将理论应用于实际问题，并讨论了在TPU上训练和推理LLaMA-3的成本、时间和性能优化策略。此外，文中还介绍了如何使用JAX和XLA（加速线性代数）堆栈进行性能分析，并提供了使用JAX/TensorBoard分析器调试和优化代码的实用指南。
文章分享了Git核心开发者常用的配置方法，旨在帮助用户优化Git的使用体验。作者将配置分为三类：明显提升效率的配置、值得尝试的配置以及因人而异的配置。
明显提升效率的配置包括优化分支和标签的排序（如branch.sort和tag.sort）、设置默认分支名称（init.defaultBranch）、改进diff显示（如diff.colorMoved和diff.renames）、优化推送和抓取行为（如push.default和fetch.prune）。这些配置可以显著提升Git的可读性和操作效率。
值得尝试的配置 包括自动纠正提示（help.autocorrect）、提交时显示diff（commit.verbose）、记录冲突解决方案（rerere.enabled）、全局忽略文件（core.excludesfile）和优化变基体验（如rebase.autoSquash）。这些配置提供了额外的便利性和上下文信息，帮助用户更好地管理代码。
因人而异的配置 包括改进合并冲突显示（merge.conflictstyle）、设置拉取行为（pull.rebase）和运行文件系统监视器（core.fsmonitor）。这些配置需要根据个人偏好和项目需求选择。
有意思的中文周刊，拓宽视野，打破信息差。
利用AI去除水印。
Docling是一个由IBM开发的开源工具，旨在简化文档处理流程。它支持多种文档格式（如PDF、DOCX、XLSX、HTML等）的解析，并提供与生成式人工智能生态系统的无缝集成。
在Excel中学习AI。
中国科学技术大学 Linux 用户协会编写的Linux入门指南。
通过实际项目学习编程技能。
2025-02-24 08:00:00
周刊内容: 对一周内阅读的资讯或技术内容精品（个人向）进行总结，分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”，除周刊外还有更多原创技术博文，欢迎关注👏🏻~
没有什么比看着孩子一天天长大更开心的事了。
2025年2月18日，马斯克的xAI团队发布了最新旗舰大模型Grok-3及其轻量版本Grok-3 mini。该模型系列性能大幅提升，比前代Grok-2好10倍，并采用扩展数据集训练。Grok-3在数学、科学和编程领域表现出色，超越Gemini-2 Pro、DeepSeek-V3等模型，在Chatbot Arena中得分高达1420分，位居第一。其推理能力尤为突出，解锁了测试时计算能力，在AIME 2025数学竞赛中占据前两名。
此外，Grok-3还具备强大的智能体能力，可通过DeepSearch进行深入研究、头脑风暴、数据分析、图像生成和代码编写等操作。xAI计划推出Grok驱动的语音应用，支持用户语音对话并保留部分对话记忆。在商业模式上，Grok-3将通过X Premium+订阅提供，SuperGrok版本收费每月30美元或每年300美元。xAI继续遵循开源原则，新一代模型发布后将开源上一代模型。
微软宣布开发出Majorana 1量子计算芯片，这是其17年研究的成果。该芯片基于“拓扑导体”这一全新物质状态，可在单芯片上集成数百万量子比特，有望推动量子计算机的大规模应用。拓扑导体利用马约拉纳粒子进行计算，通过其独特性质保护量子信息，使量子比特更可靠。微软展示了从单量子比特设备到多量子比特阵列的路线图，并计划通过4×2四元组阵列实现可扩展量子误差校正（QEC），将开销降低十倍。这一成果不仅为量子计算的工程化奠定了基础，还为未来在材料科学、农业和化学等领域的应用提供了可能。微软还与美国国防高级研究计划局（DARPA）合作，计划在未来几年内建造基于拓扑量子比特的容错原型量子计算机。
本文详细介绍了百度网盘的防雪崩架构实践。百度网盘用户超10亿，日PV过千亿，内部实例数达60万+，模块数过千。在高并发场景下，系统容易因短暂异常进入雪崩状态，表现为初始阶段的过载和循环阶段的无效请求死循环，严重影响用户体验。
传统方法从预防、阻止和止损三个方向入手。预防包括热点治理、长尾治理等，阻止包括重试率控制、队列控制和限流等，止损则依赖人工调整限流阈值或重启服务。然而，这些方法存在诸多问题，如静态限流阈值难以适应动态变化，重试率控制难以确定合理值，队列控制依赖假设条件，且在极端负载下可能失效。
百度网盘通过动态熔断和流量隔离减少过载流量。动态熔断借鉴网络拥塞控制思想，根据下游成功率动态调整请求转发比例，避免静态熔断的缺陷。流量隔离则通过分级流量和隔离机制，确保高优流量不受低优流量影响。此外，百度网盘通过请求有效性和Socket有效性减少无效请求。请求有效性通过传递截止时间并结合相对超时时间解决问题，但需应对网络故障等缺陷场景。Socket有效性则通过检测客户端是否断开连接，避免处理无效请求。
百度网盘的防雪崩架构通过流量限制和流量处理两部分实现，显著提升了系统的可用性。实践证明，该架构能有效规避雪崩故障，保障业务稳定运行。
本文深入探讨了Linux系统中文件、硬链接和软链接的机制及其行为特点。文章首先指出，Linux文件由数据块、inode和路径名组成。数据块存储文件内容，inode包含文件元数据（如权限、大小等），路径名则是用户访问文件的标识。这种结构使得文件在存储和访问上具有灵活性。
硬链接是将路径名与inode直接关联的一种方式。通过硬链接，多个路径名可以指向同一个inode，从而共享同一文件内容。硬链接的创建和删除不会影响文件的实际数据，只有当所有硬链接都被删除后，inode才会被释放，文件数据块也会随之被标记为可回收。硬链接的一个重要特性是它不能跨越文件系统，且不能链接到目录。
软链接（符号链接）则与硬链接不同。它是一个独立的文件，有自己的inode和数据块，其内容是目标文件的路径名。软链接可以跨越文件系统，也可以指向目录。在I/O操作中，如复制文件时，软链接默认会复制目标文件的内容，而不是链接本身。但如果使用特定参数（如cp -P），则会复制软链接文件本身。软链接在移动或删除目标文件后会变成悬挂链接，但其内容（即目标路径名）保持不变。
文章还讨论了硬链接和软链接在文件操作中的行为差异。例如，移动软链接文件时，其路径名会更新，但仍然指向原始目标文件。而硬链接的移动则不会改变inode的关联。此外，软链接在目标文件被删除后会失效，而硬链接则不会受到其他硬链接删除的影响。
总的来说，文章通过对比硬链接和软链接的特性，帮助读者深入理解Linux文件系统中这两种链接机制的工作原理及其在实际操作中的行为表现。这对于系统管理员和开发者在文件管理和系统维护中具有重要的指导意义。
本文探讨了Instagram如何通过扩展基础设施来支持十亿用户。Instagram自2010年推出后迅速增长，早期运行在AWS上，面临服务器过载和数据库扩展问题。2012年被Facebook收购后，Instagram迁移到Facebook的数据中心，利用其工具和技术实现大规模扩展。
Instagram的扩展策略包括三个维度：向外扩展（增加服务器）、向上扩展（优化现有服务器性能）和团队扩展（优化开发流程）。向外扩展方面，Instagram采用分布式数据库（如PostgreSQL和Cassandra）和负载均衡系统，利用Facebook的TAO、Scuba和Tupperware等工具优化资源利用。向上扩展方面，Instagram通过优化数据库查询、使用缓存（如Memcached）和改进代码性能（如将Python代码替换为C++实现）来减少CPU负载。团队扩展方面，Instagram采用持续部署模型，每天多次推送代码更新，通过逐步部署和实时监控确保系统稳定性。
Instagram的后端架构包括Django（核心Web框架）、RabbitMQ（消息代理）和Celery（异步任务处理）。存储服务方面，Instagram使用PostgreSQL存储结构化数据，Cassandra存储分布式数据，Memcached缓存频繁访问的数据，Haystack优化媒体文件存储和检索。数据一致性方面，Instagram通过缓存失效机制和Memcache Lease机制解决“雷暴群”问题，避免数据库过载。
Instagram的持续部署模型包括代码审查、自动化测试、金丝雀测试和实时监控，确保新代码不会引入性能问题。通过Linux性能分析工具，Instagram优化CPU使用，确保系统高效运行。
总之，Instagram的成功扩展归功于其精心设计的基础设施和部署策略。通过技术优化和持续部署，Instagram能够高效处理数十亿次日常交互，同时保持高性能和稳定性。
Milvus是一个高性能的向量数据库，用于处理大规模的非结构化数据，例如文本、图像和多模态信息。
vditor是一款开源的浏览器端 Markdown 编辑器，支持多种编辑模式，包括所见即所得（WYSIWYG）、即时渲染（类似 Typora）和分屏预览模式。
关于Mac生产力工具推荐，涵盖了Markdown编辑器、Mac重度依赖工具、终端工具、Chrome扩展插件、Alfred工作流以及一些其他实用工具的推荐。
技术文档集合的索引，展示了大量与计算机科学和技术相关的资料，涵盖了从基础理论到高级应用的多个方面。
《How To Ask Questions The Smart Way》是由知名黑客Eric S. Raymond和Rick Moen共同撰写的指南，旨在教导人们如何正确地提出技术问题以获得满意的答案。这份指南强调了在技术社区中提问的智慧和技巧，倡导提问者在寻求帮助时表现出尊重、努力和清晰的思考，以提高获得有效帮助的可能性。
一份关于如何在Linux环境下高效使用命令行的指南。
蜜雪冰城自1997年由张红超、张红甫兄弟创立以来，从最初的“寒流刨冰”逐步发展成为全球门店数量最多的消费品牌。其成功源于对供应链的持续投入和创新的加盟模式。早期，蜜雪冰城通过低价策略和产品创新站稳脚跟，并逐步建立冷链配送体系，从常温罐头转向新鲜水果，提升产品质量。2014年后，公司通过大规模采购和集中配送降低成本，同时建立工厂实现原材料自产自供。
2018年，蜜雪冰城推出“雪王”IP，通过洗脑式广告语和歌曲迅速提升品牌知名度。此后，公司加快门店扩张，从2014年的2万家增长到如今的4.5万家，并开放乡镇市场加盟，进一步扩大市场覆盖范围。在加盟商管理方面，蜜雪冰城通过严格筛选、优化利益分配机制和取消区域保护范围等策略，鼓励加盟商在好位置开店，以应对市场竞争。
蜜雪冰城的成功不仅在于供应链建设和品牌推广，还在于其对加盟商的精细化管理。公司通过提供低价优质原料、严格的品控体系和持续的培训支持，帮助加盟商实现盈利。同时，蜜雪冰城也在全球范围内布局，目前已在海外开设超过1000家门店，并计划在海南、广西、越南等地设厂，进一步优化供应链。
未来，蜜雪冰城将继续朝着“两美元让全球人民吃饱喝好”的愿景迈进，通过持续创新和优化供应链，保持低价优势，同时提升品牌竞争力。其全球扩张计划和对加盟商的支持策略，使其成为中国距离“百万家店”梦想最近的企业。
生成式AI从一个新颖的概念变成了21世纪最大的泡沫之一。尽管像GPT-4o这样的模型有其用途，但这并不意味着生成式AI是一个可持续的、万亿美元规模的行业。
ChatGPT声称有3亿周用户，但这一数据的真实性存疑。媒体报道和行业炒作对用户数量的夸大作用明显，而用户数量并不能证明一个行业的可持续性或盈利能力。ChatGPT的用户增长数据与Similarweb提供的数据不符，这进一步引发了对OpenAI数据真实性的怀疑。
在财务和商业模式方面，作者质疑OpenAI和Anthropic等公司烧钱严重且缺乏盈利能力。这些公司通过制造泡沫吸引投资，但未能找到可持续的盈利模式。文章还批评了生成式AI产品如Deep Research的质量低下，引用的资料不可靠，且这些产品并没有真正改变人们的生活。
生成式AI对环境和社会存在潜在负面影响，是一个金融、生态和社会定时炸弹。它对科技行业和社会关系造成了根本性的损害。文章最后呼吁人们认识到这些技术的局限性，停止对这些公司的盲目追捧，因为生成式AI行业的泡沫最终会破裂，届时将对科技行业和社会造成严重的后果。
本文探讨了AI爬虫对互联网开放性的影响。AI爬虫通过大量抓取网络数据以训练AI模型，但这一行为引发了网站的抵制。网站担心自身数据被AI利用后会损害其经济利益，因此采取了诉讼、立法和技术手段加以限制。例如，《纽约时报》对AI公司提起版权侵权诉讼，欧盟的《人工智能法案》也赋予版权所有者拒绝AI使用数据的权利。许多网站还设置了访问限制并采用反爬虫技术，以保护自身数据。
然而，这种限制措施虽然在一定程度上保护了网站的利益，但也导致互联网逐渐趋于封闭。这种趋势不仅阻碍了AI的发展，还影响了真实用户的体验，并破坏了有益爬虫的生态多样性。未来，互联网可能会被分割成一个个数据孤岛，权力集中在少数大公司手中。小型创作者可能因无法承担数据保护成本而选择付费专区或停止发布内容，普通用户获取网络内容的难度也会增加。
文章指出，这种“爬虫大战”对各方都是一种损失。大型网站、出版商和科技公司虽然有能力应对，但网络生态的多样性正在降低。为了实现可持续发展，未来需要构建一个合理的生态系统，平衡各方利益，避免互联网因数据封锁而陷入分裂。
