2026-03-24 00:46:27
本期播客Lex Fridman与英伟达(NVIDIA)CEO黄仁勋(Jensen Huang)展开对话。NVIDIA作为人类文明史上最具重要性和影响力的公司之一,是推动人工智能(AI)革命的核心引擎。公司的巨大成功直接归因于黄仁勋作为领导者、工程师和创新者强大的意志力以及诸多卓越的战略决策。
NVIDIA在AI时代已经超越了传统的芯片级设计,转向了机架级(rack-scale)设计。过去,NVIDIA的成功在于打造最佳GPU,但现在其范畴已扩展到对GPU、CPU、内存、网络、存储、电源、散热、软件、机架本身乃至数据中心的“极限协同设计”。
黄仁勋指出,这种极限协同设计的必要性在于,当前问题已无法仅通过单个计算机或单个GPU来加速解决。用户希望添加一万台计算机,却能实现百万倍的加速,这意味着必须分解算法、重构、分片管道、数据和模型。当问题以这种方式分布式处理时,所有环节都会成为瓶颈,即阿姆达尔定律(Amdahl’s Law)的挑战。分布式计算的复杂性涉及CPU、GPU、网络、交换等所有环节,构成了一个极其复杂的计算机科学问题。因此,NVIDIA必须利用所有技术进行协同设计,否则性能提升将仅限于线性或摩尔定律(Moore's Law)的缓慢增长(由于丹纳德缩放定律 Dennard scaling 的放缓)。
NVIDIA的运营模式是其“奇迹”所在。黄仁勋的直接下属多达60余人,且几乎都是各领域的专家,涵盖内存、CPU、光学、GPU、架构、算法和设计等。他不会进行一对一的会议,而是将问题抛给整个团队,让所有相关专家共同探讨和解决,因为公司始终在进行“极限协同设计”。
黄仁勋回顾了NVIDIA的发展历程: * 初期定位:NVIDIA最初是一家加速器公司。但他意识到,过于专业的加速器应用领域狭窄,限制了研发能力和计算领域的影响力。因此,公司需要扩展为“加速计算”公司,在保持专业性的同时,逐步拓宽通用计算的范围。 * 关键技术演进: * 第一步:发明可编程像素着色器,迈向可编程性。 * 第二步:将FP32(单精度浮点数)引入着色器,使其符合IEEE标准,吸引了流处理器等领域的研究者使用GPU进行计算。 * 第三步:在此基础上开发Cg,最终演变为CUDA。 * CUDA的战略性决策:将CUDA搭载到GeForce显卡上是一个“事关存亡”的战略决策。当时,此举大幅增加了GPU的成本,几乎耗尽了公司所有毛利,导致市值从70-80亿美元骤降至15亿美元。 * 决策原因:黄仁勋坚信,计算平台的核心在于开发者生态和安装基础。为了吸引开发者,即便亏损,也必须将CUDA广泛部署到数百万台GeForce PC中,使其成为研究人员、科学家和学生触手可及的“超级计算机”,从而奠定其安装基础。这一大胆的押注最终为深度学习革命奠定了基础。 * 领导力哲学: * 远见与信念:黄仁勋通过强烈的好奇心和系统性推理,清晰地预见未来并坚信其必然实现。 * 塑造信念系统:他每天都在与董事会、管理团队、员工甚至行业伙伴沟通,逐步传递他的思考和愿景,利用外部信息、新发现和工程突破来塑造大家的信念系统。他希望在重大决策公布时(如收购Mellanox、全面投入深度学习),员工们会觉得“黄仁勋,你终于做到了!” * 平台公司定位:NVIDIA是一个“计算平台公司”,它进行垂直设计和集成以优化产品,但随后将整个平台开放到每个层面,供其他公司的产品、服务、云、超级计算机和OEM集成。GTC大会也是黄仁勋“具现化未来”的平台,确保当NVIDIA的产品准备就绪时,合作伙伴也已做好准备。
黄仁勋坚信AI扩展定律,并指出目前有四种主要的扩展定律:预训练、后训练、测试时间(推理)和代理(Agentic)扩展。
黄仁勋表示,供应链瓶颈(如ASML的光刻机、台积电的CoWoS先进封装、SK海力士的高带宽内存HBM)是他持续关注并努力解决的问题。NVIDIA以史无前例的速度增长,且增长还在加速,因此上游和下游供应链对公司至关重要。
(本节内容已整合至“供应链”章节,黄仁勋在其中详细阐述了如何预见并推动HBM和LPDDR5内存的供应链发展。)
黄仁勋深入探讨了能源问题及其解决方案:
黄仁勋高度赞扬了埃隆·马斯克及其xAI在孟菲斯四个月内建成“巨人”(Colossus)超级计算机的成就(目前拥有20万颗GPU且迅速增长)。
黄仁勋认为,协同设计本身就是终极的系统工程问题。他30年前就确立了一个方法论,称之为“光速”(speed of light)思考。
黄仁勋谈到了中国科技产业的成功:
黄仁勋评价了台积电(TSMC)的成功及其文化:
NVIDIA的“护城河”在于其独特的优势:
黄仁勋谈到了在太空中部署AI数据中心的可能性和NVIDIA的布局:
黄仁勋认为NVIDIA的增长“极有可能”且“不可避免”,并解释了原因:
黄仁勋谈到了作为NVIDIA CEO,面对巨大压力时的应对方式:
黄仁勋感谢玩家多年来对NVIDIA图形技术的支持。
关于通用人工智能(AGI)的时间线,黄仁勋的回答基于一个特定定义:一个AI系统能够启动、发展并成功运营一家价值超过10亿美元的科技公司。
黄仁勋深入探讨了AI对就业和编程未来的影响:
黄仁勋谈到了他对人类意识和AI能力的看法:
黄仁勋谈到了对死亡的看法和NVIDIA的传承: