MoreRSS

site iconManatee LazyCat修改

懒猫微服CEO,Linux, Emacs开源社区从业二十余载。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

Manatee LazyCat的 RSS 预览

懒猫微服今年的五项底层更新

2026-11-19 00:00:00

懒猫微服今年其实有几个底层的大更新,最近都搞完了,用户的满意度提升了很多

  1. 手机原生应用,解决了原来应用需要登录客户端,再打开 APP 这种双进程的方式。双进程在手机上经常容易被手机厂商的省电策略误伤。现在改成了原生应用以后,每个 APP 都独立登录,手机上的稳定性和易用性提升的非常多

  2. 国内优享中继,针对跨运营商和跨省的情况,会容易受运营商之间的网络墙导致的限速,通过优享中继的方法可以彻底解决跨省、跨运营商的网络连接限速问题

  3. 跨国优享中继,通过优享中继的开箱即用方案,加上用户自己买的 VPS 线路,可以实现全球直通。我们测试的从美国手机访问中国微服的下载速度最高可以达到 42MB,延迟控制在 200 毫秒左右

  4. PC 端 AI 代理冲突助手,当用户装了一些特别小众的代理软件,就会在腾设备上和懒猫微服的客户端产生冲突。我们针对这种情况加了 AI Agent 的能力,用户可以自助的通过 Agent 能力来解决 VPN 软件之间的相互冲突问题,大大提升了开箱即用的易用性

  5. 电脑模式,最早的懒猫微服插上 HDMI 可以实现大屏 Chrome 电视。我们最近的版本也支持用户插上鼠标键盘当成电脑使用。出门就是个人超级服务器,回家就是一台 PC 电脑

这些都是我们在实战中根据用户反馈做的底层增强,只为让用户用的更方便、更省心,在方便自己访问个人数据的同时,能抵御黑客攻击

从硬件加速器的角度看,为什么 Thor T5000 是比 GB10 更好的 AI 推理芯片?

2026-11-19 00:00:00

大模型推理的核心计算几乎全是矩阵运算(GEMM / GEMV),尤其是 Attention 和 MoE/FFN。Thor 的这些加速器不是“多了几个核”,而是专门针对“大矩阵 + 频繁数据搬运 + 低精度格式”这条路径做的硬件优化。GB10(sm_121)在这些路径上支持不完整,所以同样代码在 Thor 上能走完全不同的硬件通路

1. tcgen05 UMMA(核心矩阵加速单元)

大模型怎么用到它

  • Prefill 阶段:Attention 的 QK^T 和 PV 都是大矩阵乘,K 维度很长。
  • Decode 阶段:虽然单步是 GEMV,但 MoE 专家计算、以及多 batch / 多头时仍然会聚合成较大 GEMM。
  • 低精度权重(FP4 / FP8 / MXFP4)本身也需要硬件支持才能高效计算。

原理

普通 CUDA Core 做矩阵是“通用指令逐元素算”,寄存器和调度开销很大。tcgen05 是专门的 Tensor Core 指令,一次可以发出很大的矩阵乘加(UMMA),而且是异步的——发射后计算单元自己跑,主线程可以去做别的事。累加结果直接写到 TMEM,而不是塞进有限的寄存器文件。

GB10 上没有完整的 tcgen05 路径(软件层不暴露或降级到旧的 mma 指令),只能用 CUDA Core 做软解码和计算,算力利用率很低。Thor 可以走完整的 tcgen05 通路,所以 Attention Prefill 能从几百毫秒压到几十毫秒。

2. TMEM(Tensor Memory)

大模型怎么用到它

矩阵乘的累加器(C 矩阵)体积很大。以前必须放在寄存器里,寄存器一满就得 spill 到 Shared Memory 或显存,来回搬数据。TMEM 是专门给 Tensor Core 用的片上累加器存储(每 SM 约 256 KB),tcgen05 直接读写它。

原理

  • 计算时结果留在 TMEM,不占用寄存器。
  • 下一轮计算或 epilogue(后处理、量化、写回)可以直接从 TMEM 读取。
  • 结果是:单 SM 能同时驻留更多计算任务(更高 occupancy),并且减少寄存器压力带来的带宽浪费。

没有 TMEM 时,大 tile 的 GEMM 会因为寄存器不够而被迫缩小 tile 或频繁 spill,效率暴跌。这就是为什么同样是 Blackwell,Thor 在 Attention/MoE 上能跑出更高有效带宽的关键原因之一。

3. TMA + 更大 Shared Memory

大模型怎么用到它

权重和激活需要从显存(LPDDR5X)搬到计算单元附近。TMA 是专用的异步拷贝引擎,专门负责把大块 tensor 从 global memory 搬到 Shared Memory,搬运过程几乎不占用 CUDA Core。Thor 的 Shared Memory 容量更高(约 228 KB/SM),可以一次装下更大的 tile。

原理

典型流水线是:

  1. TMA 异步把下一块权重/激活搬到 Shared Memory;
  2. 同时 tcgen05 在用上一块数据做计算(结果写 TMEM);
  3. 计算完成后,再从 TMEM 读出做后处理。

计算和搬运真正重叠,显存带宽被吃得更满。GB10 上 TMA/multicast 支持不完整,很多时候只能用普通 load 指令,搬运和计算互相抢资源,带宽利用率上不去。

4. PVA / OFA(多模态场景才会用到)

纯文本 LLM 几乎用不到它们。但当模型是视觉-语言模型(VLM)或需要同时跑相机流时:

  • PVA 做图像预处理(resize、归一化、特征提取);
  • OFA 做光流/立体视差。

这些任务从 GPU 上卸下来,GPU 可以专注跑 Transformer。整体系统延迟和功耗都会下降。

5. 双 NVENC/NVDEC + MIG

  • 编解码器:多路视频输入/输出时不占 GPU 算力。
  • MIG:把 GPU 硬件分区,一个实例跑语言模型,另一个跑视觉模型,资源隔离,延迟更可预测。

总结

Thor 跑大模型时,真正被用到的核心加速器是 tcgen05 + TMEM + TMA。 它们共同解决了三个问题:

  1. 大矩阵计算本身慢(tcgen05 专用加速);
  2. 累加结果占用太多寄存器(TMEM 专用存储);
  3. 数据搬运和计算抢资源(TMA 异步重叠 + 更大 Shared Memory)。

这也是懒猫AI算力舱选择 Thor T5000 这款更强的芯片做AI算力舱的原因, 不但 FP4 2070T 的算力是 GB10 的两倍, AI模型要快主要就比拼芯片内置硬件加速器, Thor T5000 完全就是数据心中的高端芯片下放到C端的最强推理芯片,再加上超强的视觉并行处理能力,不光AI模型,以后在AI摄像头上的能力都要全面碾压 GB10

为什么懒猫微服的内网穿透比 Tailscale 更适合国内?

2026-11-19 00:00:00

懒猫微服的内网穿透技术是非常复杂的

我在跟大佬们介绍的时候,其实也很难一下讲清楚

好的是,今天我们的网络底层工程师让 AI 做了一个宣传视频,讲得特别好,分享给大佬们

试了五款车载手机支架后,我选了这款

2026-11-19 00:00:00

连续买了 5 个手机的支架。都不行,今天这个终于满意

  1. 不要买那种带胶水底座吸盘的手机支架,吸力不行。吸盘只有像 Ins 360 官方的 500 元的电动吸盘才靠谱,但是那种电动吸盘一般都很大

  2. 也不要买那种背后螺丝太紧的手机支架,默认就太紧了,会产生巨大的压力,让屏幕变黄,长期会让车机的屏幕损坏

  3. 要买像我今天这种挂在屏幕的手机支架,第一不会异响,第二,它的受力在于边缘,而不在于屏幕的内角,所以说不会让屏幕因为压力而损坏

这个手机支架还不错,还带了磁吸和无线快充,背后还有一个风扇,这个风扇很重要,在户外越野的时候,因为太阳直射很大,如果没有风扇的话,就会因为温度过高而关机

挂在车机屏幕上的手机支架

AI模型御三家能力实测

2026-11-19 00:00:00

  1. Claude 最猛,但是 Dairo 不让用,国人很不爽

  2. Gemini 4 Carbon, 超级强,又快又好,三家中逆向倾向最牛逼的, 动不动就直接反汇编,感觉内置REA一样

  3. GPT, 现在开 fast 模式都非常非常的慢,正常干活要急死人,适合项目后期做功能迭代,因为这家伙补的测试用例真的很全啊, 测试用例是功能代码的100倍 🤡

AI 御三家架构能力对比

2026-11-19 00:00:00

  1. Claude 最强的是,它能知道你需求背后的真实深层目标是什么,它可以以高于你需求的目标,给你一个更好的方案。在本来就是架构师的时候,Claude 增强的有限,但是对于新手来说特别友好,因为新手就缺少架构能力。所以说这就是社区为什么都喜欢 Claude 的 one shot 的原因

  2. Gemini 是一个非常开阔、敢于冒险的 AI 模型。我这段时间做性能优化,它基本上就会以非常激进的方式,把所有的情况都尝试一遍,从底层到上层。这样激进的方式有个特别大的好处,就是它可以发现很多人类认知以外的一些组合的可能性。搭配高手非常好,因为高手本身有很强的架构能力,但是高手的精力有限,不可能尝试所有的方案。Gemini 是一个非常灵活,愿意尝试新鲜方向的模型。所以说我最近特别喜欢这个模型,虽然 Agy 用户体验很拉,但是不能影响对 Gemini 的高度评价。我下面的截图就是 Gemini 的回复

    Gemini 的回复截图

  3. GPT,曾经最强的 AI 模型,我从去年到 10 月份一直用 GPT 写代码,主要有两个原因,第一,Claude 经常被封号,累了,第二, GPT 这种非常严谨的思路,其实特别适合我,因为架构能力很强的人,其实不太需要 AI,但是需要 AI 去做很多测试用例。所以说 GPT 写的代码是非常严谨的,这个从商业的质量来说是非常好的,即使它很慢,但是是非常严谨。但是 GPT 从 6 开始以后,就变成是一种内耗性人格,他特别怕犯错,所以他做任何创新的事情,他都会给你做很多的测试用例和兜底的方案,导致做架构设计的时候,或者做这种性能优化的时候,他整体的结果是偏保守的,因为他的质量优先的测试用例的思维会否定很多创新性的设计和性能优化的方案。所以现在我做创新性的架构设计和性能优化的时候,我更优选 Gemini。只有那些非常成熟的项目,需要它补充一些测试用例,或者说写一些质量很好的代码,才会备选 GPT

简而言之,总结一下

  1. Claude 是当之无愧的王者,但是使用成本太高了

  2. Gemini 其实很像 Opus 5.5 的表现,而且它非常的灵活而且视野开阔,适合做性能优化,不拒绝逆向,它是三家唯一不拒绝逆向的模 AI 模型

  3. GPT 更适合成熟项目的后期维护,不太适合创新的架构设计和性能优化