Logo

site iconManatee LazyCat

懒猫微服CEO,Linux, Emacs开源社区从业二十余载。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

Manatee LazyCat RSS 预览

懒猫微服今年的五项底层更新

2026-11-19 00:00:00

懒猫微服今年其实有几个底层的大更新,最近都搞完了,用户的满意度提升了很多

  1. 手机原生应用,解决了原来应用需要登录客户端,再打开 APP 这种双进程的方式。双进程在手机上经常容易被手机厂商的省电策略误伤。现在改成了原生应用以后,每个 APP 都独立登录,手机上的稳定性和易用性提升的非常多

  2. 国内优享中继,针对跨运营商和跨省的情况,会容易受运营商之间的网络墙导致的限速,通过优享中继的方法可以彻底解决跨省、跨运营商的网络连接限速问题

  3. 跨国优享中继,通过优享中继的开箱即用方案,加上用户自己买的 VPS 线路,可以实现全球直通。我们测试的从美国手机访问中国微服的下载速度最高可以达到 42MB,延迟控制在 200 毫秒左右

  4. PC 端 AI 代理冲突助手,当用户装了一些特别小众的代理软件,就会在腾设备上和懒猫微服的客户端产生冲突。我们针对这种情况加了 AI Agent 的能力,用户可以自助的通过 Agent 能力来解决 VPN 软件之间的相互冲突问题,大大提升了开箱即用的易用性

  5. 电脑模式,最早的懒猫微服插上 HDMI 可以实现大屏 Chrome 电视。我们最近的版本也支持用户插上鼠标键盘当成电脑使用。出门就是个人超级服务器,回家就是一台 PC 电脑

这些都是我们在实战中根据用户反馈做的底层增强,只为让用户用的更方便、更省心,在方便自己访问个人数据的同时,能抵御黑客攻击

从硬件加速器的角度看,为什么 Thor T5000 是比 GB10 更好的 AI 推理芯片?

2026-11-19 00:00:00

大模型推理的核心计算几乎全是矩阵运算(GEMM / GEMV),尤其是 Attention 和 MoE/FFN。Thor 的这些加速器不是“多了几个核”,而是专门针对“大矩阵 + 频繁数据搬运 + 低精度格式”这条路径做的硬件优化。GB10(sm_121)在这些路径上支持不完整,所以同样代码在 Thor 上能走完全不同的硬件通路

1. tcgen05 UMMA(核心矩阵加速单元)

大模型怎么用到它

  • Prefill 阶段:Attention 的 QK^T 和 PV 都是大矩阵乘,K 维度很长。
  • Decode 阶段:虽然单步是 GEMV,但 MoE 专家计算、以及多 batch / 多头时仍然会聚合成较大 GEMM。
  • 低精度权重(FP4 / FP8 / MXFP4)本身也需要硬件支持才能高效计算。

原理

普通 CUDA Core 做矩阵是“通用指令逐元素算”,寄存器和调度开销很大。tcgen05 是专门的 Tensor Core 指令,一次可以发出很大的矩阵乘加(UMMA),而且是异步的——发射后计算单元自己跑,主线程可以去做别的事。累加结果直接写到 TMEM,而不是塞进有限的寄存器文件。

GB10 上没有完整的 tcgen05 路径(软件层不暴露或降级到旧的 mma 指令),只能用 CUDA Core 做软解码和计算,算力利用率很低。Thor 可以走完整的 tcgen05 通路,所以 Attention Prefill 能从几百毫秒压到几十毫秒。

2. TMEM(Tensor Memory)

大模型怎么用到它

矩阵乘的累加器(C 矩阵)体积很大。以前必须放在寄存器里,寄存器一满就得 spill 到 Shared Memory 或显存,来回搬数据。TMEM 是专门给 Tensor Core 用的片上累加器存储(每 SM 约 256 KB),tcgen05 直接读写它。

原理

  • 计算时结果留在 TMEM,不占用寄存器。
  • 下一轮计算或 epilogue(后处理、量化、写回)可以直接从 TMEM 读取。
  • 结果是:单 SM 能同时驻留更多计算任务(更高 occupancy),并且减少寄存器压力带来的带宽浪费。

没有 TMEM 时,大 tile 的 GEMM 会因为寄存器不够而被迫缩小 tile 或频繁 spill,效率暴跌。这就是为什么同样是 Blackwell,Thor 在 Attention/MoE 上能跑出更高有效带宽的关键原因之一。

3. TMA + 更大 Shared Memory

大模型怎么用到它

权重和激活需要从显存(LPDDR5X)搬到计算单元附近。TMA 是专用的异步拷贝引擎,专门负责把大块 tensor 从 global memory 搬到 Shared Memory,搬运过程几乎不占用 CUDA Core。Thor 的 Shared Memory 容量更高(约 228 KB/SM),可以一次装下更大的 tile。

原理

典型流水线是:

  1. TMA 异步把下一块权重/激活搬到 Shared Memory;
  2. 同时 tcgen05 在用上一块数据做计算(结果写 TMEM);
  3. 计算完成后,再从 TMEM 读出做后处理。

计算和搬运真正重叠,显存带宽被吃得更满。GB10 上 TMA/multicast 支持不完整,很多时候只能用普通 load 指令,搬运和计算互相抢资源,带宽利用率上不去。

4. PVA / OFA(多模态场景才会用到)

纯文本 LLM 几乎用不到它们。但当模型是视觉-语言模型(VLM)或需要同时跑相机流时:

  • PVA 做图像预处理(resize、归一化、特征提取);
  • OFA 做光流/立体视差。

这些任务从 GPU 上卸下来,GPU 可以专注跑 Transformer。整体系统延迟和功耗都会下降。

5. 双 NVENC/NVDEC + MIG

  • 编解码器:多路视频输入/输出时不占 GPU 算力。
  • MIG:把 GPU 硬件分区,一个实例跑语言模型,另一个跑视觉模型,资源隔离,延迟更可预测。

总结

Thor 跑大模型时,真正被用到的核心加速器是 tcgen05 + TMEM + TMA。 它们共同解决了三个问题:

  1. 大矩阵计算本身慢(tcgen05 专用加速);
  2. 累加结果占用太多寄存器(TMEM 专用存储);
  3. 数据搬运和计算抢资源(TMA 异步重叠 + 更大 Shared Memory)。

这也是懒猫AI算力舱选择 Thor T5000 这款更强的芯片做AI算力舱的原因, 不但 FP4 2070T 的算力是 GB10 的两倍, AI模型要快主要就比拼芯片内置硬件加速器, Thor T5000 完全就是数据心中的高端芯片下放到C端的最强推理芯片,再加上超强的视觉并行处理能力,不光AI模型,以后在AI摄像头上的能力都要全面碾压 GB10

为什么懒猫微服的内网穿透比 Tailscale 更适合国内?

2026-11-19 00:00:00

懒猫微服的内网穿透技术是非常复杂的

我在跟大佬们介绍的时候,其实也很难一下讲清楚

好的是,今天我们的网络底层工程师让 AI 做了一个宣传视频,讲得特别好,分享给大佬们

试了五款车载手机支架后,我选了这款

2026-11-19 00:00:00

连续买了 5 个手机的支架。都不行,今天这个终于满意

  1. 不要买那种带胶水底座吸盘的手机支架,吸力不行。吸盘只有像 Ins 360 官方的 500 元的电动吸盘才靠谱,但是那种电动吸盘一般都很大

  2. 也不要买那种背后螺丝太紧的手机支架,默认就太紧了,会产生巨大的压力,让屏幕变黄,长期会让车机的屏幕损坏

  3. 要买像我今天这种挂在屏幕的手机支架,第一不会异响,第二,它的受力在于边缘,而不在于屏幕的内角,所以说不会让屏幕因为压力而损坏

这个手机支架还不错,还带了磁吸和无线快充,背后还有一个风扇,这个风扇很重要,在户外越野的时候,因为太阳直射很大,如果没有风扇的话,就会因为温度过高而关机

挂在车机屏幕上的手机支架

AI模型御三家能力实测

2026-11-19 00:00:00

  1. Claude 最猛,但是 Dairo 不让用,国人很不爽

  2. Gemini 4 Carbon, 超级强,又快又好,三家中逆向倾向最牛逼的, 动不动就直接反汇编,感觉内置REA一样

  3. GPT, 现在开 fast 模式都非常非常的慢,正常干活要急死人,适合项目后期做功能迭代,因为这家伙补的测试用例真的很全啊, 测试用例是功能代码的100倍 🤡