MoreRSS

site iconAmeow | 阿猫修改

后端工程师,写Go 和 Python,运营「猫鱼周刊」。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

Ameow | 阿猫的 RSS 预览

猫鱼周刊 vol. 059 可拷的代码

2025-03-09 19:05:13

关于本刊

这是猫鱼周刊的第 60 期,本系列每周日更新,主要内容为每周收集内容的分享,同时发布在

博客:阿猫的博客-猫鱼周刊

RSS:猫鱼周刊

邮件订阅:猫鱼周刊

微信公众号:猫兄的和谐号列车

私信:[email protected]

文章

程序员在公司生产环境放置破坏程序,检测到自己被裁员就启动

原文链接

不时有人讨论的「防御性编程」的终极版:埋个大雷,离职后爆雷。类似的事件貌似国内外都有,不得不说就是非常可刑可拷。

vol. 034就提到过,在就业环境恶化的现在,大家都喜欢搞一些「防裁员编程」,我也写过一篇文章解释为什么「防裁员编程」是个人短期利益上的最优选择。距离写这两篇文章已经过去差不多一年,中间又经历了几次大小规模的裁员,又有一些新的想法。

裁员这个事情,首先是预算问题,当公司预算吃紧的时候才会开始裁员,跟能力、努力都不是很有关系(末位淘汰除外),业务没了,自然对应的岗位也要裁撤掉。要留下来,要么是还要留点人维护还能赚钱的系统,要么是老板捞你去做另外的业务(也叫活水吧)。裁员裁的不是 hc,是按预算考虑的,如果薪资比较高,相应也更容易被裁,当然年龄、工时、能力等等也稍微是一些因素。

基于此,其实「防裁员编程」是非常没意义的事情——埋的雷爆了,被证实有主观恶意,刑;即使只是恶心的代码,不会影响上面是否把你排进裁员名单。

好物分享清单

物品
订阅

来自群友 @Luoras 的分享,很长的一个列表,涵盖厨房用品、数码产品、健身、日用等等领域。从列表里看,老哥家里不但有健身房、机房,也很在行烹饪和咖啡。

不会考察候选人的「AI 能力」?你可能招不到未来的人才!

原文链接

最近确实非常多的 JD 都追加了「熟练使用 AI 工具」这一条,作者认为需要具备以下能力:

  1. 提示词工程(Prompt Engineering)能力:懂得用最好的方式问问题(Prompt),引导 AI 高效输出
  2. 内容评估能力——知道 AI 生成的内容是否靠谱,能有效验证和优化
  3. 熟练使用 AI 工具的能力:熟悉 AI 工具的使用方法,能快速上手各种 AI 工具
  4. 任务拆解能力——知道哪些工作适合用 AI,哪些环节应该自己把控
  5. 业务场景应用能力:知道如何用 AI 真正提高工作效率
  6. 快速学习能力:能够跟上 AI 技术快速迭代的节奏

原文中还有几个具体职业领域的例子以及几个示例的面试问题,值得一看。

其实我觉得最关键的还是要考察候选人是否有用 AI 解决某个实际问题的能力,这跟其他的面试是一样的,另外就是考察对新知识的接受程度。现在出来很多 AI 八股,例如 PE 的几种范式、RAG 等等,我觉得没必要在面试中去考核,不要重蹈软件开发的覆辙。

未来已来?-- 基于 cursor 的 ai code review

原文链接

比较依赖 Cursor 的一种 AI Code Review 方式,介绍了两种不同的方法。作者提到:

与早期使用 GPT API 进行 Code Review 相比,现在的 Cursor Pro 版本在代码理解能力上有了质的飞跃。它不仅能够分析单个文件的变更,还能够理解整个代码库的上下文,提供更加全面和准确的建议。

我这两年花过很多时间探索使用 AI 去做 Code Review 在公司落地的实践,结果是比较受挫,主要有两点原因,一是当时的 LLM 能力还是稍弱(GPT-3.5 时代),二是需要跟公司现有的流程整合以及推动团队使用。

LLM 的能力实际上是 deal breaker,对实际工作来说,提出一些代码风格的建议没有太大的价值(也不一定有人愿意改),但发现代码的 bug 却很受到重视。我探索的时候(2023 年中),AI 还不太能提出这种有价值的建议,最多提出一些稳定性或者风格上的改进;近期在 Cursor 中再稍微尝试了一下,使用推理模型,它能一针见血地指出中间件使用上的问题并给出了正确的解决方案,真的让人眼前一亮。

另一个方面是与公司开发流程整合和推广使用的问题。如果你的公司没有很好的 CR 文化,并不强制 CR 或者只是同事应付性地点下通过,又或者你提出建议对方根本不改,这样引入 AI CR 根本没有意义。另外就是,要想更好推广,要把 AI 做进 CI 中,不能像这样每人都要各自配环境,这样推广阻力也非常大。

项目

modelcontextprotocol/servers

modelcontextprotocol/servers - GitHub

项目链接

MCP 标准化了应用给 LLM 提供上下文的方式,而这个项目则是一个目前已经支持 MCP 的服务列表。有点像是之前很多 AI chat 项目的插件,不过这个把插件通用化了,而且是由 Anthropic 牵头做的。

yamadashy/repomix

yamadashy/repomix - GitHub

项目链接

把一整个项目打包进一个文件里供 AI 读取,可以把文件结构和代码等都合并到同一个文本文件中,并输出预计的 token 数等。也提供了一个网页版 可以在线使用。

最后

本周刊已在 GitHub 开源,欢迎 star。同时,如果你有好的内容,也欢迎投稿。如果你觉得周刊的内容不错,可以分享给你的朋友,让更多人了解到好的内容,对我也是一种认可和鼓励。(或许你也可以请我喝杯咖啡

另外,我建了一个交流群,欢迎入群讨论或反馈,可以通过文章头部的联系邮箱私信我获得入群方式。

猫鱼周刊 vol. 058 DeepSeek 的开源是一种大义

2025-03-02 23:25:29

关于本刊

这是猫鱼周刊的第 59 期,本系列每周日更新,主要内容为每周收集内容的分享,同时发布在

博客:阿猫的博客-猫鱼周刊

RSS:猫鱼周刊

邮件订阅:猫鱼周刊

微信公众号:猫兄的和谐号列车

私信:[email protected]

尖岗山上的落日,城市高楼、主干道、夕阳和远处的大桥同框。周刊写到一半去爬的山,半个小时到山顶,欣赏了一场落日。

本期尝试把「想法」栏目移到「文章」后面,虽然有「想法」这个栏目,但其实「文章」这部分已经有非常多我的想法在输出。其实这两个栏目的差别是,一个是有来源的,会希望读者先看看原文,再来看我的思考(又或者直接吸收我蒸馏的想法,x);另一个是比较没有由头,可能是我平时一拍脑袋的想法或者跟朋友聊起的想法。

文章

一些模型发布

这两周有比较多模型的发布,主要是 Grok 3、Claude 3.7 Sonnet、GPT-4.5,就合起来一起说,同时附上官方的发布原文。

  • Grok 3:支持推理(Think),从 benchmark 上看比 DeepSeek-R1 和 o1 等都强;DeepSearch 功能,推理+工具使用,对标 deep research。API 暂时还没开放。
  • Claude 3.7 Sonnet:也是支持推理的小改款。benchmark 结果感觉比 DeepSeek-R1 略强,不过在 Cursor 里用起来感觉没明显差别。
  • GPT-4.5:GPT-4 的升级,有更加泛化的知识,而且减少了输出中的废话。另外,它比 GPT-4o 更慢而且更贵,不是 4o 的替代。

一些想法:

  • 上期就提到,从基座模型到推理模型不难,因此其实可以看到最近各家都在往这个做。推理模型的能力其实最依赖的还是基座模型的性能。
  • deep research(推理+工具使用)的模式,对模型性能的提升非常明显。在之前提到的 Humanity's Last Exam测试中,OpenAI 的 deep research 取得了 26.6% 的准确率,而基座模型基本上只有不超过 10%的准确率。(via OpenAI)
  • GPT-4o 可能是个蒸馏模型,OpenAI 明显是有更加大参数、能力更强的模型(GPT-4/4.5),但出了个更加快而且便宜的 4o,除非有什么其他闻所未闻的黑科技,蒸馏看起来是个比较合理的解释。一些讨论

社交关系中的“主动降频”

原文链接

作者和高中同学聚会时的感想。

我不知道从什么时候养成了一个习惯,在跟别人交流的时候,尤其是陌生人,我会下意识的思考对方说话所包含的潜在逻辑和原因,我还会去思考对方这么说的原因的一些可能性。

说回这次跟朋友的聚会,文章标题说的主动降频其实就是主动取消这种下意识行为,用十年前的自己和大家相处。

有引起共鸣,我平常在人际关系中也比较敏感,这种敏感会导致非常多苦恼和纠结。另一个话题其实是信任,更加信任你的朋友、同事甚至陌生人,相信对方没有恶意,心智负担会低很多。

注释是你的好朋友

原文链接

作者收集了一些关于注释的文章,也谈到了他对注释的理解。里面的文章列表非常值得一读。

国内编程教育(至少我接受到的教育)非常忽略注释的重要性,只是说「这部分不会执行」一笔带过,在工作中也鲜有见到有人非常认真去写注释。对了,我见得最多的注释就是一大坨「不会被执行」的过时代码。

我觉得写注释最简单的原则就是,如果某个地方你写的时候非常困惑,或者需要查阅某个文档,那么把你的想法/看的文档用注释记录下来,一定不会错。将来自己或者其他人再遇到这块代码,就不需要重头踩一遍原来的坑。

另外一个概念是,注释也是代码的一部分,也是需要维护的。当注释的内容过时时,一定要去更新,不然就会出现注释撒谎的情况。

这两点其实已经非常容易做到了,但我在工作中很少见到有这样的实践。而在好的开源项目中,一个函数甚至都会有几乎有跟代码同等行数的注释在做说明。

想法

LLM 工具化、实用性的一些思考

自从 LLM 问世,或者说火爆,在日常使用中用得最多的还是聊天和代码生成这两个场景。中间有过不少昙花一现的想法,也做过一些开源项目,最终都没有持续用下来。

总是蠢蠢欲动用 AI 想给自己做一些实用的工具,但是到头来可能发现编排完或者开发完,根本不会多用上。目前用的最多的一个编排就是周刊摘要的提取,而它一开始是 Quail 上的一个功能,只是为了方便我的编辑流程,我自己又再做了一个而已。

AI 的出现不会创造需求,需求还是原本的需求,AI 只是一种万金油实现而已。

对互联网产品经理来说,大可不必从 AI 出发去想需求,发掘需求还是和以前一样的,不一样的只是技术上可以用 AI 去实现了而已。

DeepSeek 的开源,是一种大义

最近可以看到非常多云服务厂商等针对私有化部署在 2B、2G 疯狂收割,会感叹 DeepSeek 把模型权重开源真是让别人捡大漏赚得盆满钵满。

但其实单靠 DeepSeek 自己根本没有那么多算力去供应这个需求,把模型权重开源,让别的有算力的厂商去廉价普及才是更可行的路。一方面 DeepSeek 算是赚足了流量,一时间街头巷尾猫猫狗狗都在谈论 DeepSeek,名声算是打出来了;另一方面它真正做到了小米的 Slogan「让每个人都能享受科技的乐趣」,这在国内比 OpenAI(国内不能合法用)、Copilot(仅限软件开发领域)能触达的人群更广。

项目

moepush

beilunyang/moepush - GitHub

项目地址

又一个消息推送服务,基于 Cloudflare 部署,应该也是「零成本」的。

我在做 Heimdallr 的时候也考虑过这个方向,里面有两个点我觉得比较难受:vendor-lockin(供应商绑定)以及依赖数据库。首先是 vendor-lockin,使用大量供应商特性/特有的服务进行构建,非常限制部署的灵活性,还有个风险是,哪天这个服务商开始收费,当前的架构就需要大改。另一个是数据库的依赖,考虑免费、稳定这些因素的时候,架构自然是越简单越好。

当然多一个数据库可以做的事情就多很多,例如消息聚合、定时发送、多租客等等 feature 都可以做了,做渠道管理也方便很多。我在考虑给 Heimdallr 也做一版有数据库的,这个项目也许会成为我的学习对象。

linuxpdf

ading2210/linuxpdf - GitHub

项目地址

文档不只能运行恶意代码,甚至能运行一整个完整的 Linux,更甚至能运行 doom

Xiaomi-BootLoader-Questionnaire

MlgmXyysd/Xiaomi-BootLoader-Questionnaire - GitHub

项目地址

小米解锁 BL 的题库。曾经「为发烧而生」的小米,哎。

看了下题目的内容,除了有些精神上的送分题,剩下的题目专业性颇强,甚至考察了一些安卓开发的内容。很难说这些题目是在拦谁,纯粹爱折腾的高中生、热爱玩机的非开发爱好者就被这样拒之门外。

不允许解 BL 我认为就是厂商不愿意为用户折腾产生的问题买单。且不谈设备所有权、使用权这些 BS,小米我觉得还是对科技有热爱的,连这小部分用户群体都考虑不到,有点「下头」。

ZeroOmega

zero-peak/ZeroOmega - GitHub

项目地址

SwithcyOmega 的 fork,兼容了 manifest v3。目前来说 SwithcyOmega 还没遇到什么问题,存档备用。

最后

本周刊已在 GitHub 开源,欢迎 star。同时,如果你有好的内容,也欢迎投稿。如果你觉得周刊的内容不错,可以分享给你的朋友,让更多人了解到好的内容,对我也是一种认可和鼓励。(或许你也可以请我喝杯咖啡

另外,我建了一个交流群,欢迎入群讨论或反馈,可以通过文章头部的联系邮箱私信我获得入群方式。

猫鱼周刊 vol. 057 什么是推理语言大模型?

2025-02-23 23:16:48

关于本刊

这是猫鱼周刊的第 58 期,本系列每周日更新,主要内容为每周收集内容的分享,同时发布在

博客:阿猫的博客-猫鱼周刊

RSS:猫鱼周刊

邮件订阅:猫鱼周刊

微信公众号:猫兄的和谐号列车

私信:[email protected]

文章

认识推理语言大模型 —— 构建和优化推理模型的方法和策略

原文链接

一篇关于推理语言大模型(Reasoning LLMs)的介绍,以 DeepSeek-R1 为例讲解推理模型的构建和优化。

作者认为「推理(reasoning)」是指模型回答复杂的问题前中间的中间步骤,因此简单的问题(如「法国的首都是哪里?」)并不是推理,而「一辆火车以 30mph 的速度前进 3 个小时,它前进了多少距离」则需要简单的推理。

推理语言大模型在以下问题上表现更佳:

  • 演绎或归纳推理(例如谜语或数学证明等)
  • 链式思维推理(分解需要多步解决的问题)
  • 复杂的决策任务
  • 对新颖的任务有更好的泛化

但相应也有一些地方不如普通的模型:

  • 推理速度
  • 基于知识的任务(需要私域知识)
  • 过于简单的任务

其实找到这篇文章的一个契机是有人问,「从 LLM 到推理 LLM,好像没有太高的技术门槛或者跃进,是否这个过程非常简单?」。回忆一下,刚才说的「推理」,其实在很早 Prompt Engineering 中就有一个经典名句 「Let's think step by step.」,可以视为最古早的「推理」。文章整理了下图,展示从 DeepSeek-V3(基座模型)发展到 DeepSeek-R1 以及其他蒸馏模型的技术路径。


可以看到,DeepSeek-V3 产生的数据,经过一系列 RL(强化学习)和 SFT(有监督微调),就能得到 R1;利用相同的数据,在开源模型上微调,即可得到蒸馏模型(Destill 系列)。所以理论上说,R1 并不是一个全新的模型,更多地是 V3 的一个变种,被训练成一开始就先输出一个 <think> 来进行相应的「推理」。

回到上面的问题,答案就是,开发基座模型,比从基座模型开发推理模型要难。

自顶向下方式深度解读 DeepSeek-R1,内含大量细节

原文链接

一篇中文的文章,会比上文更加详细去解析中间的步骤,也值得一读。

在 emoji 中夹带任意数据

原文链接

通过零宽连字夹带数据的方式并不新鲜,但作者发现了可以利用Unicode 变体选择符来在 emoji 中夹带数据。这种技术在隐写水印等方面有很大的作用。

项目

ai-chatbot

vercel/ai-chatbot - GitHub

项目链接

Vercel 开源的 AI 聊天机器人模板,支持推理模型等多种形式的模型对话。

subtrace

subtrace/subtrace - GitHub

项目链接

一个 Docker 抓包工具。不需要侵入代码,用来做一些调试或者逆向等比较有帮助。

工具/网站

sqlnoir

网站链接

一个通过数据库查询解密的游戏,每个谜题以案件的形式,要求通过给出的数据库进行各种查询来获得结果。算是一个「在实操中学习」的例子,甚至可以做成线上面试题,模拟现实工作中各种复杂的情况。

想法

Cursor w/ deepseek-r1

Cursor 最近上新了 deepseek 的模型,终于是体验了推理模型在代码编写方面的应用。此前因为 o1 系列都是需要另外充值使用,deepseek-r1 出来后,因为推理成本降低,Cursor 将其列在跟 Claude 3.5 Sonnet 同一个收费等级,因此也可以不额外付费就能使用。

在一个场景中,我要求帮忙把一段代码改得更加健壮,我用同样的代码片段和 prompt,分别让 Claude 3.5 Sonnet、gpt-4o 和 DeepSeek-R1 去优化。结果是前两者都提出了非常多代码风格上的改进,只有 DeepSeek-R1 建议我关掉 Kafka 的自动提交,手动控制 offset 来保证 exacly-once。坦白说,之前我根本没有想到这一点,而这却正好是这段代码中最为薄弱,容易出问题的点。在这个场景中,推理模型表现出了之前模型都做不到的「智能」,提出了真正有用的建议而不是一些可有可无的改进。

当然了,R1 也不是万金油,在一些简单改写的场景下,完全没必要使用它,主要的原因还是太慢了,可能要花很多时间盯着他 <think> 一大堆,but wait 一大堆,最后才改出来一两行代码。

最后

本周刊已在 GitHub 开源,欢迎 star。同时,如果你有好的内容,也欢迎投稿。如果你觉得周刊的内容不错,可以分享给你的朋友,让更多人了解到好的内容,对我也是一种认可和鼓励。(或许你也可以请我喝杯咖啡

另外,我建了一个交流群,欢迎入群讨论或反馈,可以通过文章头部的联系邮箱私信我获得入群方式。

猫鱼周刊 vol. 056 AI Infra 会是今年风口吗?

2025-02-16 22:24:24

关于本刊

这是猫鱼周刊的第 57 期,本系列每周日更新,主要内容为每周收集内容的分享,同时发布在

博客:阿猫的博客-猫鱼周刊

RSS:猫鱼周刊

邮件订阅:猫鱼周刊

微信公众号:猫兄的和谐号列车

私信:[email protected]

摄于江西武功山。也是春节假期期间去的,当天一直阴雨,在山顶时难得停雨,在从金顶下到吊马桩时掏出相机拍了一张,也是我对这座山最深的印象:多雾,天气多变。山间的雾飘得很快,所以前一刻还能看得清的山峰,下一刻就可能被大雾笼罩。

文章

武功山游记

原文链接

本来是想放在上面图说的部分简单写一下,后面发现可能会变成比较大的篇幅,临时加更了一篇文章讲一下我的武功山游记。

简单总结一下就是合适的装备和补给非常重要,另外路线规划也要尽可能做好。第一次写游记类型的文章,写完发现观感上比较流水账,后面一篇长沙的尽量好好组织一下。

模型量化技术概述及 GGUF/GGML 文件格式解析

原文链接

最近不可避免地接触到「本地部署」这个话题,于是稍微补了一下课。为了能让参数量巨大的模型方便传输以及在小规模硬件上能够运行,需要把原来的模型进行一些处理减小其参数需要的存储量以及加速推理,具体做法就是把高精度的参数映射到更低精度,称为「量化(Quantization)」。一般来说是把 32 位的浮点数转为 16 位的浮点或 8 位的整型,在 GGUF 中分别称为 F16、Q8。

如果你使用过 Ollama 或者 LM Studio,应该会见到形如 DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf 这样的模型名称,它的意思是:

  • 模型:Qwen-7B(7B 参数),使用 DeepSeek-R1 蒸馏。
  • 量化:3 位量化,L 意味着部分参数可能使用更高的量化。

这里提到「蒸馏」的概念,顺便也讲解一下。蒸馏的概念是有一个复杂的教师模型,将其知识迁移至一个更小的学生模型中,来达到减少模型参数同时提升效果的目的。说白了,就是让小模型「鹦鹉学舌」。上面的例子就是让 DeepSeek-R1 去教 Qwen-7B。

现在一般把全部参数的模型叫「满血版」,经过量化或者蒸馏的模型都称为「阉割版」。从我的体验来说,deepseek-r1-distill-qwen-7b(Q4_K_M) 就非常地智障。按照网友的经验,Q4 左右是最低能接受的水平,而 Q8 可用性会好一点。

另外,也看到个观点说 DeepSeek 本地化部署最大的意义是让一些公司能私有化部署媲美主流闭源模型的大模型,我觉得确实有些道理,因此我更正一下上期「本地部署都是扯淡」的观点。不过,还是需要留意成本、模型效果(是否满血)以及吞吐量这三个指标,他们有点像不可能三角。从实际使用来说,这三个指标牺牲任何一个都是不值得的。

4090 单卡跑满血版 DeepSeek-R1,清华团队开源项目再破大模型推理门槛

原文链接

大模型推理方面的进展,通过「专家卸载」技术,单卡能跑 DeepSeek-R1 量化版本(我觉得也不算「满血」)。这篇算是新闻稿,如果对具体的技术感兴趣,还可以深入阅读下:

对应的开源项目是:

GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations

另外,我发现这个团队还有在做一个推理平台,是 Kimi 的服务平台(Moonshot),名字也很有意思,叫 Mooncake(月饼)。

GitHub - kvcache-ai/Mooncake: Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.

项目

AI-Guide-and-Demos-zh_CN

Hoper-J/AI-Guide-and-Demos-zh_CN - GitHub

项目链接

一个不错的大模型入门指南,上面的文章就来源于此。

nezha

nezhahq/nezha - GitHub

项目链接

一个轻量的服务器监控工具(以针会友)。界面还蛮好看的,Homelab / MJJ 自娱自乐神器。

beszel

henrygd/beszel - GitHub

项目链接

也是一个轻量的服务器监控工具,有历史数据,支持 Docker 状态信息的查看和告警等。跟 nezha 最大的区别是能同时看到 Docker 容器的信息。

Awesome-LLM-Inference

DefTruth/Awesome-LLM-Inference - GitHub

项目链接

一些大模型推理方面的进展和集锦,一知半解(x。

工具/网站

Humanity's Last Exam

网站链接

直译就是「人类最后的考试」。背景是现在 AI 能力不断提升,已经在很多数据集做到 90% 以上的准确率。这个测试集的组织者认为,如果有 AI 可以通过一个由人类各个学科各种复杂问题组成的数据集,就可以认为 AI 超越了人类的智力,达到了 AGI(通用人工智能)的水平。

目前来说:

Random Nerd Tutorials

网站链接

一个嵌入式教程网站,有很多案例,也有比较系统的教学。

想法

AI Infra 会是今年风口吗?

这里的 AI Infra 其实有两种定义,一是指运行 AI 的基础设施,二是相关的职业。

先说基础设施。从 DeepSeek-R1 爆火之后,很多平台都推出了对应的 API。目前为止用下来最稳的还是字节的火山引擎,比较有意思的是硅基流动(使用了华为昇腾),甚至连国家超算中心也有。算力是一个很大的竞争因素,所以后续很多云计算公司都会在这方面加大投入,建设自己的「基础设施」。另外异构计算、国产算力这些都会是比较有看点的地方。

再说 AI Infra 这种新职业。它有点像运维和算法工程师的合体,可以偏向于量化、推理等方向的开发(例如上面的,或者也可以称为「科研向」),也有接地气一点的负责相应技术的部署落地的(称为「工程向」)。

上面说到,DeepSeek 模型的能力以及开源的性质,使得「一些公司能私有化部署媲美主流闭源模型的大模型」成为可能,因此 AI Infra 不再是一些大公司的专利,一些中小规模的公司也会产生对应的需求。我觉得今年面向中小公司的大模型算力需求会有增长,以及中小企业对「工程向」人才的需求也会增长。

一个疯狂的猜想:今年的 AI Infra(行业) 会像当年移动互联网兴起一样,行业蓬勃发展,继而大量吸纳人才,使得转型成 AI Infra(职业) 相对容易,算是一个风口。

最后

本周刊已在 GitHub 开源,欢迎 star。同时,如果你有好的内容,也欢迎投稿。如果你觉得周刊的内容不错,可以分享给你的朋友,让更多人了解到好的内容,对我也是一种认可和鼓励。(或许你也可以请我喝杯咖啡

另外,我建了一个交流群,欢迎入群讨论或反馈,可以通过文章头部的联系邮箱私信我获得入群方式。

2025.02.01 武功山游记

2025-02-16 01:37:30

装备清单

  • 衣物
    • 背包 Liigear 章鱼老师 2
    • 冲锋衣 赫利肯火枪手软壳
    • 抓绒衣 猫虎兽抓绒卫衣
    • 速干衣/速干裤 迪卡侬 BL500
    • 冲锋裤 迪卡侬 MH500
    • 徒步鞋 迪卡侬 MH500
    • 袜子 迪卡侬运动袜
    • 帽子 猫虎兽美利奴帽子
    • 手套 迪卡侬手套
  • 照明
    • 奈特科尔 EDC35
    • 傲雷小方侠 Pro
  • 摄影
    • 索尼 a6700 + 适马 1650
    • 傻瓜胶卷机(w/ 柯达 CP 200)
    • DJI Action4 + 电池
    • 相机备电
    • 运动相机手柄
  • 补给
    • 果冻 * 2
    • 蛋白棒
    • 卤鹌鹑蛋
    • 黑巧克力
    • 猪肉脯
    • 泡面
    • 水 500ml * 1
    • 电解质饮料 500ml * 1

路线

游客服务中心 - 石鼓寺 - 中庵索道 - 紫极宫 - 情人花廊 - 金顶 - 万宝柜 - 吊马桩 - 好汉坡- 石鼓寺 - 萍乡北站

整体用时 7 小时左右。12:20 到达武功山山门(石鼓寺),15:50 登顶,上山用时两个半小时左右;17:00 左右到达吊马桩,离金顶约 1 小时;吊马桩有休息点,有热水和室内休息室,吃了个泡面,整理了下装备,19:40 到达山脚,下山用时两个小时左右。当天天气上山的时候有阵雨,但不大,下山过程中雨比较大,雾也很浓。

(手表的运动记录下山的时候暂停了一段,所以不准确,只有总时间可能比较准。爬升由于坐了一段索道,所以也有作弊成分。)

复盘

装备

首先不得不提装备和补给的重要性。这次让我最为满意的是冲锋衣、冲锋裤、美利奴帽和徒步鞋。当天天气算是比较恶劣,山上湿度非常高,大雾且偶尔有雨,下山的时候雨势还比较大。在上山的大半部分路里面我是没有穿雨衣的,因为雨不算很大,冲锋衣也大致能撑得住;抓绒其实我也一直没穿,动态的话身体一直在散发热量,加上冲锋衣内层也有绒,不觉得冷。整个过程中,腿和脚一直非常干爽,冲锋裤和徒步鞋的防水性非常足,而且鞋子在湿滑路面也非常有抓地力,非常舒适。美利奴帽也算是一个非常值得的 DLC,首先它非常轻量且透气,而且打湿的情况下保暖效果也很好,同时它也是快干的。

补给的话,食品带得有一点多,到下山还有半袋。果冻我觉得是一个比较好的品,能补充水分和能量,软质包装也很省空间。泡面也是一个爽点,提前知道山上有休息点会有热水,而且泡面贵而且口味一般,所以挑了一个番茄牛肉面带着。在吊马桩休息点我一边吃泡面,一边吃卤蛋和猪肉脯,热气腾腾真的很爽。水的话我带了一瓶纯净水和一瓶电解质饮料,前半程一直喝的纯净水,快到山顶的时候上厕所发现尿量很少而且呈褐色,担心横纹肌溶解所以马上开始喝电解质饮料。感觉以后只带电解质饮料或者带点盐丸会好一点。

再点名几个雷,如果没点到,那就是中规中矩(x)。

先说背包,章鱼老师 2 背负上说是蛮好的包,舒适性来说挑不出毛病。但是没有考虑轻量化(包自重都蛮离谱),考杜拉的防水性也不足,在山下不太放心给它买了个防水套,但即便如此外挂的副包(X50 面料)里的傻瓜机的胶卷还是受了潮。包里面的收纳完全是模块化设计,一个猫虎兽的相机包,一个 Liigear 的杂物袋装补给,在休息点拿取物品都很方便,不用费心翻找。这个包还有一个问题,肩带太厚,导致一些摄影类的配件兼容性不好。左肩带挂了一个小隼的相机快拔,右边是 Action 4,都只有在很特定的一小块区域可以夹上。而且小方侠在上面也没有一个很好的夹持角度,能够照到正前方的地板。后续再去徒步,会考虑换一个防水性和轻量化都更好的包。

然后是速干衣,它是有一点点厚,带保暖的款式,因为提前看天气山顶最低有零度,怕会比较冷。实际上全程我只用了两层衣物,而且中途也没太觉得冷。这个速干衣感觉速干性能有点差,衣服里面一直湿漉漉,汗水没法蒸发。所以时不时要把冲锋衣拉链多拉开一点,尝试把水汽蒸发一点(也有可能是冲锋衣不够透气)。感觉其实薄的长袖速干衣就够了。

手套方面,这个手套不防水,导致长时间手都是湿湿的状态,不戴更冷。后续考虑买个认真的手套。照明方面,EDC 35 好用,但要占用一只手,而且在山里雾大的情况下,开远光也照不了多远;小方侠 Pro 原本要作为解放一只手的方案,夹在包上照明的,但其实没法找到一个可以照到地面的角度,所以后面换成手拿 EDC 35 了。武功山的路有地面的灯,其实不带手电也可以。

摄影方面,微单带了但由于天气没怎么拍,有点 dead weight 的意思了。另外 Action 4 也只拍完了一块电池,后面下山的路太黑就没拍。后来回看素材的时候,还发现镜头长期歪的,中间拍的内容也不是很有兴趣剪成片。从轻量化的角度,我感觉手机+Action 4 好像就够了。

路线

最大的失误在于没有预估好下山时间,所以最后下山走完了全程,也算是意外地刷完了全部路线。理想的路线应该是从好汉坡下来就坐索道下行,剩下那段路其实没什么风景看(晚上也没什么东西看),耗时两个小时左右,一直下台阶,也导致后面小腿疼痛影响后面旅程。赶时间的话,其实可以两段索道直接到金顶,中间其实没什么特别的风景,好看的都在金顶到吊马桩这段。

整体的话,其实走下来不算特别难,我的用时也比较接近甚至比平均要快一点。路上每隔三五百米会有一个休息点,有小卖部卖吃喝,有些点甚至会有现煮的。上山过程中,基本上我每个点都会停下来休息一下,刚好就是间隔二三十分钟左右,喝下水吃点东西调整下装备。

比较遗憾的是去的时间确实不太凑巧,本来是想看白武功,但是当天没有下雪,只有雨和雾。天气预报当时看到是有降水和山顶温度有低到 0 度,但是过两天就有零下。本来应该把行程改成先在长沙玩两天,然后下雪马上去武功山,但是由于长沙到萍乡的高铁买不到了,所以只能作罢维持原行程。结果下山两天后下雪了,我腿还贼痛,不然马上回头再爬一次了。

风光

贴几张照片吧!

登顶

雾&松

雾&山&路

猫师兄收过路费

猫鱼周刊 vol. 055 城市旅游就是打卡吗?

2025-02-09 19:32:26

关于本刊

这是猫鱼周刊的第 56 期,本系列每周日更新,主要内容为每周收集内容的分享,同时发布在

博客:阿猫的博客-猫鱼周刊

RSS:猫鱼周刊

邮件订阅:猫鱼周刊

微信公众号:猫兄的和谐号列车

私信:[email protected]

摄于湖南长沙东风路文创园。这里原本是长沙北站原址,被改造成了一个非常小的文创园区。过年期间没有什么商家营业,游客也不多,蛮适合扫街的地方。

今天是农历正月十二了,给大家拜个晚年,各位身体健康万事胜意。

文章

可视化世界上所有的书

原文链接

又是一个我非常喜欢的可交互式的文章。它把世界上所有的书按照 ISBN 放在一整个大书架上,还能实现无级放大。

最夸张的是,当你慢慢放大的时候,每本书的书脊都会渲染出来。

默认会按发表时间染色,另外还有按照图书馆存书量染色稀有度等。

文章里介绍了详细的实现方式,感兴趣可以看看。看到这个我想起做开源项目的时候经常忍不住去想的问题:做这个有什么用?我觉得答案是:没用,就是好玩。

图灵机

原文链接

也是一个可交互式的文章,介绍了图灵机的原理。

图灵提出了一种假象的机器,由一条无限长的纸带、一个读写头、一套控制规则有限的表和一个状态寄存器组成,机器只需要能执行五种指令:打印、向左或向右移动读写头、跳转至指定的状态以及停机,就能完成所有的计算。文章同时也解释了为什么计算机使用二进制会更加合理——在一个位上存储 0 和 1 比 0-9 更加方便。

如何让 LLM 闭嘴

原文链接

greptile 是一家专门做 LLM Code Review 方向产品的公司,调研发现只有 19%的 good case,有 79%是 nit(可改可不改,多数人会忽略)。这个发现其实跟之前我探索的时候差不多,会产生非常多这类实际开发的时候不会被理会的问题。在解决过程中,他们发现:

  1. 反馈很重要,可以用来评估以及后续优化 comment 的质量。
  2. Prompt Engineering 没有用,few-shot 也没有用,甚至会使效果更差。
  3. 加一层 LLM 判断原来的 comment 质量,也没有用,而且会让耗时变长。
  4. nits 是主观的,每个团队的认知不一样。
  5. fine-tuning 没有尝试,成本、速度和可移植性都不佳。

最终他们使用的方案是:

  • 按团队维度,记录生成的 comment 是否被 upvote/downvote,向量化后存储。
  • 如果生成的 comment 与三个被 downvote 的 comment 相似度超过一定阈值,则会被屏蔽;如果与三个被 upvote 的 comment 相似度超过一定阈值,则通过;默认会通过。

采用该方案后,“满意度”从 19% 提升到 55+%。

vol. 051 中我提到过:

  • 绝大部分 AI 不是一个产品,只是一个功能。
  • 产品背后使用的模型不重要。
  • AI 最好以无感接入的形式悄然融入现有的办公流程。

这个公司的产品就非常符合这些思想。他们的技术方案跟模型本身是无关的(没有微调模型),因此当能力更强、成本更低的模型出现时,切换过去即可。他们也没有打破常规的 CR 流程,也通过反馈的方式使得结果更能让一线程序员接受。

项目

MartialBE/one-hub

MartialBE/one-hub - GitHub

项目链接

one-api 的二开。我原本以为这类产品最大的意义是减少不同厂商模型之间的差异,降低开发成本,结果却是各类卖课用来赚信息差的工具。

ZJU-LLMs/Foundations-of-LLMs

ZJU-LLMs/Foundations-of-LLMs - GitHub

项目链接

浙江大学团队的出品,分成传统语言模型、大语言模型架构演化、Prompt 工程、参数高效微调、模型编辑、检索增强生成六章。比较有意思的是,这个项目每周会更新一批新论文。我觉得应该是本科高年级/研究生在撰写,还蛮有意思。

快速看了前两章,大致就是我本科阶段的接触到的内容,讲述过程其实不是很适合没有 NLP 基础的人,对数学基础不好的人也不是很友好(对,就是我,看得云里雾里)。我抱着补补课,不求甚解的态度去看的,算是粗浅做做「继续教育」。

工具/网站

Proud Versioning

网站

一种根据光荣程度的版本号规范,算是对 semver 的一种简化。

绘制城市简笔画

网站链接

一个快速生成城市街道简笔画的网站,试着画了一下广州和深圳。

粗细的道路有点像城市的「脉络」,从简笔画其实也能看出什么地方是城市的核心,什么地方是郊区等等。另外,比较有意思的是,你可以试着在简笔画中找到一些你熟悉的地标、你家所在的位置等等。

/llms.txt

网站链接

一种类似 sitemap.xml 的格式,使用自然语言帮助 LLM 更好地阅读网站。

不少网站已经有做这个,这里有两个网站收集了一些有 llms.txt 的网站:

想法

城市旅游就是打卡吗?

春节期间我去长沙玩了几天,去之前做了一些攻略,但发现这些攻略不是很对我的胃口。有很多所谓「打卡点」,例如 IFS 顶楼那个雕塑、旁边的步行街等等,这些东西每个城市都有,毫无特色。我很快就转变了思路,去找一些有城市味道的街区,去扫街,随缘找路边小店吃饭,不去排网红餐厅。

这算是不同的旅游风格。我去年在香港也进行了一次扫街,我直接就没有去通常推荐的旅游地方,而是沿着港岛线去走街串巷,摆脱了拥挤的游客,更加深度地去感受这座城市。对于拍照这件事,我不是很喜欢给自己拍照,对照片里有没有自己不是很有执念;另外,我觉得拍千篇一律的打卡机位其实没什么意思,你在网上能找到无数差不多一样的照片,不如自己去创作。

这次旅游也有一个非常有意思的地方,我带着从家里找出来的傻瓜胶卷相机,拜访了长沙一家胶片馆。老板非常善谈,店里也有非常多胶卷相机收藏。最后我把相机里 07 年拍摄的胶卷交给了老板冲洗,又买了一卷柯达全能 400 在后续的旅途中拍摄。这卷 07 年的胶卷最终洗出了差不多二十年前的影像,包括一位已经去世十年的长辈。也许后续我会再写篇文章讲讲我胶卷摄影的故事。

警惕 LLM 懂哥

想了好久,给这段这么个比较偏激的标题。我知道最近非常多博主创作 DeepSeek 相关的内容来蹭流量,效果也非常好;另外这个话题也非常出圈,在现实生活中也经常有人提起。目前我产生了一种生理反射,听到这个词就恶心。

我目前对它的理解是这样的:

  • 一家中国企业,在硬件条件受限的情况下,训练并开源了媲美闭源商业模型的大模型。这是值得称道的,确实很优秀。
  • 至于开源只开了权重这件事,其实大模型的「开源」就是这样,训练数据其实跟算法本身同样值钱,加上开放出来你再训练一遍意义不大,纯浪费电。
  • 其实模型功能并没有很大的创新,推理也是 OpenAI 先做出来的,如果想体验完全没必要都去挤那个 R1。另外推理也不适合全部的应用场景,慢加上成本高,并非银弹。

回到标题「警惕懂哥」,是因为很多人蹭着这个流量开始卖课、卖 API,但其实他们屁都不懂。什么叫懂呢,至少把上面推荐那本书说的知识点脉络串讲清楚吧,我相信大多数在卖课的人压根说不出来(甚至连「语言模型」到底是什么都不知道)。

还有一个很火的话题是「本地部署」,这个也比较扯淡,先说观点:

  • 所有在消费级硬件上能部署,能跑起来的,都是蒸馏模型,简单来说就是让小参数的模型「鹦鹉学舌」,并不能反映所谓「满血模型」的实力。换句话说,就是「看起来像」,也会比模型本身好,但是 benchmark 达不到「满血模型」的水平。
  • 基于上一条,所有本地部署的都是玩具级别的,如果你手头正好有闲置的硬件,可以部署着玩,但是没必要因此去购入任何硬件。
  • 如果是想用于生产,更加没必要自己搭建。规模上来的时候,吞吐量会是一个非常关键的指标,需要堆很多硬件才能保证。另外,集群的稳定运行也会耗费巨大的成本。使用公有设施在成本和性能上都更优。

摸着良心,我分享几个比较合理的方式:

  • 个人体验玩,首先考虑官网的网页对话;如果要 API,可以用官方的,或者用硅基流动的。(硅基流动目前注册有免费的额度。)另外 OpenRouter 等现在也有,不过价格略高。
  • 个人已有设备,可以尝试 OllamaLM Studio自己部署一些蒸馏模型玩玩,这些产品已经把部署做到非常傻瓜式。
  • B 端接入,可以考虑硅基流动里面带 「Pro」的模型,例如「Pro/deepseek-ai/DeepSeek-V3」,是独立的通道,只能充值使用,不能用赠送的余额。好处是不怎么会出现超时的问题,免费的那个目前基本不怎么可用。
  • B 端有比较高的性能或稳定性要求,可以考虑各云服务厂商的预留实例。例如 AWS 可以用导入模型,或者硅基流动也有可以商务洽谈的预留实例。这类的吞吐量和成本也不如公共服务理想。

最后

本周刊已在 GitHub 开源,欢迎 star。同时,如果你有好的内容,也欢迎投稿。如果你觉得周刊的内容不错,可以分享给你的朋友,让更多人了解到好的内容,对我也是一种认可和鼓励。(或许你也可以请我喝杯咖啡

另外,我建了一个交流群,欢迎入群讨论或反馈,可以通过文章头部的联系邮箱私信我获得入群方式。