2025-01-29 18:56:23
Re Steve Hsu @hsu_steve :
关于“杰文斯悖论”和 NVDA 估值
这是一个没有考虑到时间尺度不匹配的轻率回应。今天购买 NVDA 芯片的人只有几年的时间，之后芯片的价值将贬值 50% 或更多。他们必须在短期内从芯片上获得投资回报。但目前流向 genAI 的实际收入并不多，如果其中大部分被免费的开源模型捕获，这些模型不一定需要 NVDA 芯片来运行（请参阅 Groq 或甚至是精简模型的传统硬件），并且效率高出约 30 倍，那么今天对 NVDA 芯片的投资可能会产生较低的投资回报率。同样，如果每个人在模型训练方面都像 DS 一样高效，那么今天购买的 NVDA 芯片可能足以进行这种训练。
我可以想象，在未来几年，DS V3 和 R1 类模型（包括其他高度优化的中国模型，如 Qwen 或字节跳动）将广泛应用于人工智能应用。但是这些模型需要约 1/30 的计算量来进行推理，因此，即使学校、工作场所、网络搜索等领域对 genAI 的采用呈现健康增长，未来几年对目前销售的 NVDA 芯片的需求也可能远低于人们的预期（30 倍很难弥补！）。除此之外，如果模型训练也更加高效（就像 DS 一样），并且预训练的数据可能有限，那么对 NVDA 芯片的需求中模型训练部分也可能比预期的要小得多。
如果几年后 NVDA 在 genAI 中的优势还没有基本消失，我会感到震惊。设计用于 LLM-transformer 计算的竞争性芯片并不难。从 GOOG 到 AMD 再到华为等许多实体都在这样做。NVDA 拥有 CUDA 软件库锁定（除中国外，人们可能会被迫转向 HW Mindspore 生态系统），但这也会随着时间的推移而消失。
我现在正在参加一个人工智能 CX（客户服务、呼叫中心等）会议。虽然 CX 是人工智能替代人类劳动力的最佳目标之一，但人类决策者在部署方面仍存在大量阻力和犹豫。人工智能取代约 50% 的人类全职工作岗位还需要数年时间，尽管这显然是可能的。
https://x.com/hsu_steve/status/1884362604195266764?s=46&t=aomtGSgjAW0sID_OV1dG_Q
2025-01-29 18:55:27
Re Pat Gelsinger, Intel CEO:
DeepSeek 的回应非常吸引人，我认为这种回应忽略了我们在过去五十年的计算中学到的三个重要教训。
首先，计算遵循气体定律。这意味着，它填充了可用资源（资本、电力、热预算等）定义的可用空间。正如我们在 CMOS、PC、多核、虚拟化、移动和许多其他领域所看到的那样；以极低的价格广泛提供计算资源将推动市场爆炸式扩张，而不是收缩。人工智能将在未来无处不在，而今天，实现这一潜力的成本太高了。我记得我第一次使用互联网浏览器的经历——哇。而现在——如果你是一个青少年，那就是每天的每一分钟或每一秒。市场反应是错误的，降低人工智能的成本将扩大市场。今天我是 nVidia 和人工智能股票的买家，很高兴从更低的价格中获益。
第二，工程是关于约束的。显然，DeepSeek 团队面临诸多限制，但他们找到了创造性的方法，以 10-50 倍更低的成本提供世界一流的解决方案。出口法限制了可用资源，因此中国工程师需要发挥创造力，他们也确实做到了。他们不需要 100 亿美元的硬件和最新的芯片以及数十亿美元的培训预算。几年前，我采访了我们这个时代著名的（也许是最伟大的）计算机科学家 Donald Knuth。他详细描述了在资源最有限、时间安排最紧张的情况下，他是如何做到最好的。我认为这种洞察力是我工程管理生涯中最重要的见解之一。
第三，开放获胜。过去几年，基础模型研究变得越来越封闭，这令人失望。在这一点上，我更认同 Elon 而不是 Sam - 我们真的希望，不，需要人工智能研究来提高其开放性。我们需要知道训练数据集是什么，研究算法，并反思正确性、道德和含义。了解了 Linux、Gcc、USB、Wifi 和许多其他示例的强大功能后，所有学习计算机历史的学生都清楚地认识到了这一点。在法律、频谱、工程和采用方面展开斗争——开放从来都不是件容易的事，而且市场力量不断对其进行挑战。开放每次得到适当的机会都会获胜。人工智能对我们的未来太重要了，不能让一个封闭的生态系统成为这个领域的唯一。
DeepSeek 是一项令人难以置信的工程，它将引领人工智能的更广泛采用。它将有助于重塑行业对开放式创新的看法。这需要一支来自中国的团队来提醒我们所有这些计算历史的基本教训。
https://www.linkedin.com/posts/patgelsinger_wisdom-learning-the-lessons-i-thought-i-activity-7289659541477113856-o1Qr
2025-01-28 21:40:33
Re @Compute_King 这个显著差距具体是指？想听听您是具体怎么看的。
2025-01-28 08:19:53
Re via @TrungTPhan
本·汤普森（Ben Thompson）关于DeepSeek将如何影响科技巨头的分析：
从长期来看，“模型商品化和更低成本的推理……对科技公司来说是好事”，但影响程度有所不同：
◽ **微软**：受益，因为可以减少在数据中心和GPU上的支出（尽管客户需求仍在增长）。
◽ **亚马逊**：大赢家，因为它尚未开发出自己的AI模型，但现在可以以极低成本获得高质量模型，并通过AWS提供服务。
◽ **苹果**：“推理内存需求的大幅降低使得边缘推理更加可行，而苹果拥有最适合的硬件。”
◽ **Meta**：最大赢家，因为它拥有最多的消费者接触点，可以以更低的成本服务所有用户。
◽ **谷歌**：“可能处境更糟”，因为其专用TPU硬件的价值下降，且更便宜的推理增加了搜索领域出现更多AI替代品的可能性。
◽ **英伟达**：其两大护城河（CUDA和多GPU网络）受到挑战。公司“不会消失……但突然面临更多不确定性”。
然而，英伟达仍有三个有利因素：
1）DeepSeek的方法可能会提升H100及未来芯片的性能；
2）整体AI使用量的增加对英伟达有利；
3）r1/o1类型的推理模型对计算资源需求极高。
https://x.com/trungtphan/status/1884018574106218792?s=12&t=aomtGSgjAW0sID_OV1dG_Q
2025-01-28 08:19:52
Re via @xleaps
杰文斯悖论确实存在，但其影响并不均衡分布。
让我们回顾历史。
当蒸汽机的效率提升时，其应用范围迅速扩大。
需要注意的是，真正的技术创新在于蒸汽机本身，而非煤炭。然而，杰文斯悖论讨论的是煤炭，而非蒸汽机。
早期的静态蒸汽机制造商，如博尔顿与瓦特，并未成为铁路和船舶领域的主导者；相反，专门化的机车和船用发动机取而代之。
类似的情况也发生在计算领域：IBM曾主导大型机市场，但随着计算需求的爆发式增长，英特尔、微软以及后来的云服务巨头和如今的英伟达成为了赢家。是的，真正的技术创新围绕的是摩尔定律，而非某一家制造商。
人工智能将变得更便宜、更小巧、更普及。但它会集中在核能驱动的数据中心吗？杰文斯悖论无法给出明确答案。但有一点是明确的，更多的人工智能不仅仅意味着数据中心需要更多的GPU；它意味着人工智能将无处不在，运行在优化的芯片上。
但与蒸汽机不同的是，计算更具通用性。如果英伟达能够适应这一变化——通过从数据中心扩展到边缘人工智能、消费硬件和去中心化计算（这是他们的根基）——它可能继续保持主导地位。
如果英伟达未能成功转型，人工智能的扩散可能会重演历史：需求激增，但红利将流向更适应新范式的新玩家。
再次强调，杰文斯是对的——增长是不可避免的。但更深层次的智力问题是：谁将抓住这一增长的机会。
https://x.com/xleaps/status/1884011738200231936?s=46&t=aomtGSgjAW0sID_OV1dG_Q
2025-01-28 08:19:51
Deepseek 一夜之间抹掉了数千亿美元的市值。显然，其中有不少恐慌情绪在，盘后，标普和 QQQ 都有反弹，但不确定性仍然存在。
我们不能当做一切没有发生。
Deepseek 在中美竞争的叙事下打开了低成本效率竞争的盖子，这个盖子一旦成为共识，就意味着一个技术周期开始走入下个阶段，原有的价值分布将被重新安排。
我的观点在我的个人主页找到置顶文章。
下面整理一些我看到的有价值的观点，这几天会滚动更新在这个 thread 里。
