未來(lái)與現(xiàn)在，老黃 30 年的信念
編者按：本文來(lái)自微信公眾號(hào) 有新Newin（ID：NewinData），創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
(資料圖片僅供參考)
英偉達(dá)在上周結(jié)束了發(fā)布會(huì)，上月更早的時(shí)候，硅谷的兩位知名投資人 Sarah Guo 和 Elad Gil 就與 Jensen Huang（黃仁勛）在英偉達(dá)圣克拉拉的總部辦公室展開了一次對(duì)話。
在對(duì)話中，Jensen Huang 討論了更廣泛的平臺(tái)轉(zhuǎn)變對(duì)開發(fā)者的意義，談到了NVIDIA對(duì)氣候和生物制藥等領(lǐng)域的長(zhǎng)期投資，這些領(lǐng)域?qū)⑹芤嬗谌斯ぶ悄艿膭?chuàng)新應(yīng)用，上周發(fā)布的下一代芯片Hopper，以及英偉達(dá)為何以及如何選擇解決當(dāng)前無(wú)法解決的問題，并在對(duì)話末尾留了一個(gè)有趣的彩蛋～
這次對(duì)話分為 9 個(gè)話題，如下：
01 Nvidia 的起源Sarah Guo：
我們從一開始說(shuō)起，你在創(chuàng)辦公司之前曾在 LSI（Large Scale Integration）和 AMD（Advanced Micro Devices）工作過(guò)，是什么樣的經(jīng)歷呢？
Jensen Huang：
他們給了我一份工作。我當(dāng)時(shí)在俄勒岡州立大學(xué)，參加了學(xué)校組織的公司招聘日，面試了很多公司。有兩家公司讓我印象深刻，我喜歡設(shè)計(jì)芯片和計(jì)算機(jī)，當(dāng)時(shí)我們計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室貼著一張 AMD 的 32 位 CPU 29000的海報(bào)，我一直覺得能夠設(shè)計(jì)那樣的芯片很酷，還有一家由硅谷的初創(chuàng)公司，他們使用軟件設(shè)計(jì)芯片，而不是手工設(shè)計(jì)，采用可編程邏輯，通過(guò)描述語(yǔ)言合成芯片。
我選擇去了 AMD ，在那里設(shè)計(jì)微處理器，而我的辦公室同事去了 LSI，她去了之后， LSI 團(tuán)隊(duì)告訴我他們也希望我來(lái) LSI Logic 工作，在前同事的邀請(qǐng)下，我決定去 LSI ，因?yàn)槟鞘请娮釉O(shè)計(jì)自動(dòng)化行業(yè)的起步階段，是用計(jì)算機(jī)設(shè)計(jì)芯片的開始，那可能是我經(jīng)歷過(guò)的最好的事情之一，也是每家公司都能夠自研芯片的開始。
那時(shí)候我有機(jī)會(huì)遇到一些優(yōu)秀的計(jì)算機(jī)架構(gòu)師，比如 Andy Bechtolsheim 是 Sun 的創(chuàng)始人，我也有幸與一些在Silicon Graphics 工作的杰出架構(gòu)師合作過(guò)，比如 John Rubenstein，他曾在 Dana Computer 工作，后來(lái)成為蘋果的副總裁。
所以在很小的時(shí)候，我就有機(jī)會(huì)與一些了不起的計(jì)算機(jī)架構(gòu)師一起工作，從中學(xué)到了很多關(guān)于使用芯片構(gòu)建計(jì)算機(jī)的知識(shí)，那是我早期的經(jīng)歷。
Sarah Guo：
你們什么時(shí)候意識(shí)到必須創(chuàng)辦一家公司呢？
Jensen Huang：
那不是我的主意，是 Chris 和 Curtis 的想法，他們想離開 Sun ，而我在 LSI Logic 工作得很好，我喜歡我的工作，我和 Lori 有兩個(gè)孩子，就像你一樣，他們不停地告訴我說(shuō)他們想創(chuàng)辦一家公司，真的需要我加入，我當(dāng)時(shí)告訴他們我真的需要一份工作，無(wú)論如何，在創(chuàng)辦之前他們需要想清楚怎么做。
當(dāng)時(shí)，計(jì)算機(jī)設(shè)計(jì)的價(jià)值在通用計(jì)算和使用加速器之間存在差異，大約 99% 的人相信通用計(jì)算，只有約 1% 的人相信加速器，在過(guò)去的25年里，99% 的人是正確的，所以我們決定創(chuàng)辦一家加速計(jì)算的公司。
當(dāng)時(shí)，加速計(jì)算能做的事情主要是解決那些通用計(jì)算難以解決甚至無(wú)法解決的問題，我們的公司致力于解決那些普通計(jì)算機(jī)無(wú)法解決的問題。如果追溯這個(gè)使命的最終目標(biāo)，我們走向了無(wú)人駕駛汽車、機(jī)器人、氣候科學(xué)問題、數(shù)字生物學(xué)等領(lǐng)域。當(dāng)然，最著名的領(lǐng)域之一就是 AI 。
02 AI 優(yōu)勢(shì)與發(fā)展之道Sarah Guo：
所以在當(dāng)前 AI 熱潮之前，你們已經(jīng)在廣泛的應(yīng)用領(lǐng)域工作了。Nvidia 在 AI 方面最初的技術(shù)優(yōu)勢(shì)是什么？你們是什么時(shí)候開始意識(shí)到這將成為重要的應(yīng)用場(chǎng)景呢？
Jensen Huang：
我們擴(kuò)展了我們加速器的靈活性，使其更具通用性。我們發(fā)明了一種名為 CUDA 的新的計(jì)算模型。
Elad Gil：
這是非常令人興奮的新技術(shù)。
Jensen Huang：
我們需要一些加速計(jì)算，并希望我們的圖形處理器變得越來(lái)越通用。一開始的原因是我們需要進(jìn)行通用圖像處理和后期效果相關(guān)的工作，例如你渲染圖像然后進(jìn)行后期效果處理，當(dāng)然還有其他應(yīng)用，我們希望給場(chǎng)景帶來(lái)生機(jī)，所以我們必須進(jìn)行物理處理，進(jìn)行物理計(jì)算，有粒子物理、流體力學(xué)等等，因此我們擴(kuò)大了加速計(jì)算平臺(tái)的應(yīng)用范圍，使其變得越來(lái)越通用。
通用性的問題在于，你越通用，你在特定領(lǐng)域的加速效果就越低，所以必須非常小心地找到那條線，這是我們公司的一個(gè)天賦，找到在一方面每一代產(chǎn)品都能給應(yīng)用程序帶來(lái)巨大的加速效果，遠(yuǎn)遠(yuǎn)超過(guò) CPU 的能力，但是如果變得過(guò)于通用，就像 CPU 一樣，如何用 CPU 來(lái)加速 CPU 呢？所以必須找到一種方法來(lái)平衡。
另一方面，如果不擴(kuò)大你所服務(wù)的應(yīng)用領(lǐng)域，能夠產(chǎn)生的研發(fā)資金就不足以趕上 CPU ，因?yàn)?CPU 是全球研發(fā)預(yù)算最大的芯片，想一下這個(gè)問題，實(shí)際上幾乎是不可能的，因?yàn)橛幸粋€(gè)規(guī)模較小的應(yīng)用市場(chǎng)，我們稱之為 10 億美元市場(chǎng)，在這個(gè) 10 億美元市場(chǎng)中，你每年投資 1.5 億美元，如何跟上幾千億美元規(guī)模的行業(yè)？這甚至是不合理的。
所以必須非常小心地找到那個(gè)非常細(xì)小的市場(chǎng)，使得 1.5 億美元能夠異常地和瘋狂地加速這個(gè)特定的應(yīng)用，然后隨著時(shí)間的推移，可以擴(kuò)大應(yīng)用范圍，使市場(chǎng)規(guī)模從 10 億美元增長(zhǎng)到 50～100億美元，而不會(huì)掉進(jìn)那個(gè)懸崖，這是我們努力尋找的平衡點(diǎn)，所以我們不斷擴(kuò)大通用性，這讓我們進(jìn)入了分子動(dòng)力學(xué)模擬領(lǐng)域，就像這張圖片看起來(lái)的樣子，地震處理是另一個(gè)行業(yè)，通過(guò)這樣一點(diǎn)一滴的努力，我們擴(kuò)大了應(yīng)用范圍。
我們做得不錯(cuò)的一點(diǎn)是確保無(wú)論使用我們的平臺(tái)進(jìn)行通用計(jì)算還是加速計(jì)算，始終保持架構(gòu)的兼容性，原因是因?yàn)槲覀兿Ｍ幸粋€(gè)能吸引開發(fā)者的平臺(tái)；如果全球每一款 Nvidia 芯片都不兼容，開發(fā)者怎么能選擇一款呢？即使他們了解到 CUDA 對(duì)他們來(lái)說(shuō)很重要，他們?cè)撨x擇哪個(gè)芯片來(lái)開發(fā)應(yīng)用呢？沒有人能夠弄清楚。
所以，如果我們相信這個(gè)架構(gòu)，如果我們希望它成為一個(gè)新的計(jì)算平臺(tái)，那就讓我們確保我們的每一款芯片的性能完全相同，就像 x86、ARM 或任何計(jì)算平臺(tái)一樣，所以在最開始的 5～10 年里，我們的 CUDA 客戶很少，但我們使每一款芯片都兼容 CUDA ，你可以回顧歷史，看看我們的毛利率，開始時(shí)很低，然后變得更低，因?yàn)槲覀兲幵谝粋€(gè)競(jìng)爭(zhēng)激烈的行業(yè)中，我們?nèi)栽谂γ魅绾巫龊梦覀兊墓ぷ鞑⒔ㄔ斐杀拘б娓叩漠a(chǎn)品，這本身就很具挑戰(zhàn)性，然后我們又把它疊加在 CUDA 架構(gòu)上，這個(gè)架構(gòu)沒有應(yīng)用，就沒有人為它買單。
Elad Gil：
這真是令人驚訝，因?yàn)楝F(xiàn)在當(dāng)我與 AI 界的人交談時(shí)，他們非常喜歡使用 Nvidia 的GPU，原因之一是因?yàn)?CUDA 和可擴(kuò)展互聯(lián)的能力，所以你可以高度并行化這些處理，這是其他方法或現(xiàn)有市場(chǎng)上的架構(gòu)無(wú)法做到的。
Jensen Huang：
這個(gè)計(jì)算平臺(tái)帶來(lái)了一些奇跡般的效果。我們將它通過(guò) Geforce這張游戲卡帶給全世界，這是 Geoffrey Hinton 實(shí)驗(yàn)室的第一款 GPU，想象一下，Jeff走進(jìn)來(lái)說(shuō)：“這是幾張GPU，叫做 Geforce，你們應(yīng)該試著用它來(lái)進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練”，但當(dāng)時(shí)它僅僅是一張游戲卡。
03 從游戲跨界 Crypto 與AIElad Gil：
你當(dāng)初有哪些應(yīng)用想法？因?yàn)閺哪愕挠^點(diǎn)來(lái)看，你從90年代開始創(chuàng)辦公司時(shí)，從非常受歡迎但游戲領(lǐng)域開始，然后我開始越來(lái)越多地聽到有關(guān) Nvidia GPU 的消息，無(wú)論是在加密貨幣和挖礦的背景下，還是在 AI 的背景下，似乎這是兩個(gè)市場(chǎng)，許多人都自然而然地選擇了你們的產(chǎn)品，是因?yàn)槟銈冡槍?duì)這些群體進(jìn)行市場(chǎng)營(yíng)銷嗎？還是人們開始意識(shí)到他們需要的產(chǎn)品呢？
Jensen Huang：
這就是計(jì)算平臺(tái)的美妙之處，對(duì)吧？一開始你必須針對(duì)應(yīng)用進(jìn)行定位，我們做的第一個(gè)應(yīng)用之一是地震處理，它們都是那種粒子物理學(xué)的應(yīng)用；另一個(gè)是圖像處理以及逆物理學(xué)，在一個(gè)特定的領(lǐng)域，我們只是去找人進(jìn)行研究，我們?nèi)タ茖W(xué)計(jì)算中心，問他們有哪些超出他們能力范圍的問題？應(yīng)用領(lǐng)域的清單包括量子化學(xué)、量子物理等等。
Elad Gil：
那么你什么時(shí)候意識(shí)到，哇，這個(gè) AI 的東西對(duì)我們來(lái)說(shuō)真的很重要。
Jensen Huang：
我想大約是在 2012 年吧。同時(shí)，Andrew Ang 聯(lián)系了我們的首席科學(xué)家 Bill Daly，希望找到一種方法將他們正在研究的神經(jīng)網(wǎng)絡(luò)模型放入 GPU 中，這樣他們就可以用幾個(gè) GPU 來(lái)進(jìn)行訓(xùn)練，而不是使用成千上萬(wàn)臺(tái) CPU 服務(wù)器。幾乎同時(shí)， Geoffrey Hinton 也聯(lián)系了我們，我們開始聽說(shuō)這方面的事情，而且 Yann LeCun 在他的實(shí)驗(yàn)室也發(fā)生了同樣的事情，所以在幾個(gè)不同的實(shí)驗(yàn)室里，我們同時(shí)感受到了這種神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，這引起了我們的注意。
Elad Gil：
我想 2012 年也是 AlexNet 發(fā)布的一年，我覺得那真的是深度學(xué)習(xí)的一個(gè)轉(zhuǎn)折點(diǎn)，至少在我記憶中，我認(rèn)為那是一個(gè)令人激動(dòng)的 AI 浪潮的開始，然后我覺得在接下來(lái)的 10 年里，創(chuàng)業(yè)公司并沒有真正發(fā)生什么，但很多老牌公司開始采用這種技術(shù)。
Jensen Huang：
我們?cè)谥熬烷_始感受到了，也聽說(shuō)過(guò)了，有一張圖片吸引了我們所有人的注意力。
Sarah Guo：
你曾經(jīng)提到過(guò)早期的 AI 實(shí)驗(yàn)室使用 Nvidia 的游戲卡，因?yàn)槟銈兘鉀Q了其他人無(wú)法解決的問題，并提高了效率和規(guī)模，在 Nvidia 開始投資某個(gè)應(yīng)用程序時(shí)，他們是認(rèn)為這是一個(gè)不斷增長(zhǎng)的應(yīng)用程序，還是更像是一個(gè)平臺(tái)，市場(chǎng)會(huì)接受它呢？
Jensen Huang：
不是的。每次一個(gè)應(yīng)用程序得到應(yīng)用時(shí)，我們都會(huì)問自己，如何讓它變得更好？這次是在深度學(xué)習(xí)方面，我們作出的重要觀察是，這不僅僅是一個(gè)用于計(jì)算機(jī)視覺的新算法，雖然它在一開始主要應(yīng)用在計(jì)算機(jī)視覺上，這對(duì)我們來(lái)說(shuō)非常有幫助。如果僅僅是計(jì)算機(jī)視覺，我們可以將它用于各種有趣的應(yīng)用，比如自動(dòng)駕駛汽車和機(jī)器人技術(shù)。
我們確實(shí)使用了它，但發(fā)現(xiàn)這可能是一種全新的軟件編寫方式，并且我們問自己，這對(duì)芯片設(shè)計(jì)、系統(tǒng)設(shè)計(jì)、互連、算法和系統(tǒng)軟件有什么影響，以便真正思考的不僅僅是這個(gè)領(lǐng)域?yàn)槭裁慈绱肆钊伺d奮，它為什么如此有效，這在本質(zhì)上是個(gè)奇跡，ImageNet 在沒有任何人為設(shè)計(jì)的特定算法的情況下，與 30 年的計(jì)算機(jī)視覺算法相比，一夜之間就達(dá)到了相當(dāng)高的準(zhǔn)確性，這是一次飛躍。
首先，我們要問的問題是它為什么如此有效？它是否可擴(kuò)展？如果它可擴(kuò)展，那對(duì)計(jì)算機(jī)科學(xué)的其他領(lǐng)域有什么影響？這個(gè)能解決高維度問題的通用函數(shù)，只需要足夠的數(shù)據(jù)進(jìn)行訓(xùn)練，當(dāng)時(shí)我們相信可以得到足夠的數(shù)據(jù)，以及將這個(gè)模型系統(tǒng)地逐層訓(xùn)練到一個(gè)良好的狀態(tài)。
04 更廣泛的計(jì)算機(jī)科學(xué)轉(zhuǎn)變Elad Gil：
你能更詳細(xì)地談?wù)勀闶侨绾慰创@種更廣泛的計(jì)算機(jī)科學(xué)轉(zhuǎn)變的嗎？比如頁(yè)面是如何生成和服務(wù)的，還有其他方面的變化，與 AI 的轉(zhuǎn)變相關(guān)的。
Jensen Huang：
現(xiàn)在快進(jìn) 10 年，前 5 年我們一直在思考整個(gè)計(jì)算機(jī)科學(xué)的影響。與此同時(shí)，我們開發(fā)了各種新模型，從卷積神經(jīng)網(wǎng)絡(luò)到循環(huán)神經(jīng)網(wǎng)絡(luò)，再到長(zhǎng)短期記憶網(wǎng)絡(luò)，還有其他各種新模型，并且將它們擴(kuò)展得越來(lái)越大，在感知模型方面取得了很大進(jìn)展。當(dāng)然， Transformer 是一個(gè)重要的里程碑，BERT 也是一個(gè)重要的里程碑，你們都對(duì)這個(gè)故事非常了解。
Sarah Guo：
在 Transformer s和 BERT 等方面，你們是否看到了量的增長(zhǎng)的變化？因?yàn)楦杏X這種具備注意力機(jī)制的架構(gòu)使得模型的規(guī)?；蔀榭赡?，這也是產(chǎn)業(yè)發(fā)展的推動(dòng)力。
Jensen Huang：
嗯，你能夠從空間數(shù)據(jù)和順序數(shù)據(jù)中學(xué)習(xí)模式和關(guān)系，這一定是一種非常有效的架構(gòu)，所以我認(rèn)為從基本原理上來(lái)說(shuō)，你可以想象 Transformer 會(huì)是一個(gè)重要的突破。此外，你可以并行訓(xùn)練它，真正將這個(gè)模型擴(kuò)展起來(lái)，這非常令人興奮。
我認(rèn)為當(dāng) Transformer 首次問世時(shí)，我們意識(shí)到它克服了循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的局限性，我們現(xiàn)在可以以一種非常大規(guī)模的方式學(xué)習(xí)順序數(shù)據(jù)。這非常令人興奮，BERT 也非常令人興奮，我們自己訓(xùn)練了一些早期的語(yǔ)言模型，取得了非常好的結(jié)果，但直到結(jié)合了強(qiáng)化學(xué)習(xí)和人類反饋，以及與檢索模型、對(duì)話管理等方面的突破性工作結(jié)合起來(lái)，我們才真正看到了一些重大進(jìn)展。
直到各種要素開始融合，我們才意識(shí)到編程語(yǔ)言已經(jīng)完全改變了?，F(xiàn)在，在計(jì)算的歷史上，編程計(jì)算機(jī)的語(yǔ)言是人類的語(yǔ)言，可以是任何一種人類語(yǔ)言，而且甚至不需要語(yǔ)法正確，任何人都可以編寫計(jì)算機(jī)程序，這是一件了不起的事情。
這是個(gè)大問題，因?yàn)槟阋圆煌姆绞骄幊?，它?huì)寫出不同的應(yīng)用程序，這種新的計(jì)算模型的影響有多大？顯然非常大，這也是為什么 ChatGPT 是歷史上發(fā)展最快的應(yīng)用程序的原因。
Sarah Guo：
我們?cè)诠?jié)目中還有 Alex gravely，他是聯(lián)合編寫者的首席架構(gòu)師，他最喜歡的用例是一些人告訴他他們以前不會(huì)編程，現(xiàn)在卻可以了，我認(rèn)為這種情況非常民主化。
Jensen Huang：
真是令人驚奇，你可以給 ChatGPT 提供一個(gè)問題，它會(huì)逐步推理，但最后得出了錯(cuò)誤的答案；但另一方面，你可以讓它寫一個(gè)解決同樣問題的程序，它卻能完美地解決問題，這種應(yīng)用既可以推理解決問題，做得相當(dāng)不錯(cuò)，已經(jīng)非常接近了；另一方面，它也可以完全寫出一個(gè)解決相同問題的程序，你必須真正思考一下這個(gè)意義。
Elad Gil：
將它看作未來(lái)世界的某種形式的機(jī)器感知。
Jensen Huang：
從技術(shù)上講，我不知道那個(gè)詞是什么意思，但我相信我們現(xiàn)在擁有一種軟件，它能夠推理和解決許多類型的問題，并且能夠持續(xù)不斷地提供解決方案或程序。
05 未來(lái)的開發(fā)者與專有模型Elad Gil：
那么，展望未來(lái)，你如何考慮 Nvidia 的業(yè)務(wù)發(fā)展方向？你過(guò)去提到過(guò) Nvidia 在訓(xùn)練模型方面做了一些非常有趣的事情，這將是你未來(lái)主要關(guān)注的一部分嗎？還是主要關(guān)注芯片方面？你如何考慮推動(dòng)研究并成為行業(yè)的基礎(chǔ)平臺(tái)的這種組合？
Jensen Huang：
我們是一家計(jì)算平臺(tái)公司，我們必須向上游發(fā)展，以滿足開發(fā)者的需求，問題聚焦在誰(shuí)是開發(fā)者？起初，開發(fā)者是控制自己操作系統(tǒng)的人，所以在那些日子里，我們可能只需要到達(dá)設(shè)備驅(qū)動(dòng)程序或稍微低一些的層面，以某種方式使開發(fā)者能夠使用。
對(duì)于科學(xué)計(jì)算和其他各種領(lǐng)域，開發(fā)者實(shí)際上正在使用某個(gè)求解器，他們需要將該領(lǐng)域的算法以某種方式表達(dá)出來(lái)，以便進(jìn)行加速，這就是為什么當(dāng)我們涉足多領(lǐng)域物理問題時(shí)，我們意識(shí)到我們必須開發(fā)算法本身，因?yàn)榻鉀Q問題的算法與底層的計(jì)算機(jī)架構(gòu)相關(guān)。架構(gòu)的 CPU 通過(guò)以太網(wǎng)連接在一起，那個(gè)算法肯定與通過(guò)一個(gè) GPU 內(nèi)部的網(wǎng)絡(luò)連接的數(shù)千個(gè)處理器以及數(shù)據(jù)中心內(nèi)的數(shù)千個(gè) GPU 不同。
顯然，算法必須被重新構(gòu)建和重組。所以我們的公司在設(shè)計(jì)計(jì)算機(jī)算法方面非常擅長(zhǎng)，可以是粒子物理學(xué)或流體力學(xué)的算法，當(dāng)然也包括深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。CUDA 實(shí)際上是一種用于加速深度學(xué)習(xí)的領(lǐng)域?qū)Ｓ谜Z(yǔ)言，我們已經(jīng)為深度神經(jīng)網(wǎng)絡(luò)和光線追蹤等計(jì)算機(jī)圖形學(xué)做過(guò)這種工作，所有這些不同的領(lǐng)域庫(kù)實(shí)際上是為了理解科學(xué)領(lǐng)域并重新設(shè)計(jì)算法，使其運(yùn)行速度非?？臁?/p>
現(xiàn)在，未來(lái)的開發(fā)者是什么樣的呢？我認(rèn)為未來(lái)的開發(fā)者可能會(huì)使用大型語(yǔ)言模型或基礎(chǔ)模型。如果有人能夠通過(guò)微軟使用 ChatGPT 或 OpenAI 的模型，我非常鼓勵(lì)；如果有人能夠通過(guò)谷歌使用它，我也非常鼓勵(lì)。但是，如果有人需要為某個(gè)領(lǐng)域構(gòu)建一個(gè)專有模型，可能需要?jiǎng)?chuàng)建一個(gè)新的基礎(chǔ)模型，比如領(lǐng)域是蛋白質(zhì)，或者領(lǐng)域是化學(xué)，或者領(lǐng)域是氣候科學(xué)，或者是多物理學(xué)，那種基礎(chǔ)模型是相當(dāng)專業(yè)的，雖然它不是一個(gè)小市場(chǎng)，顯然，因?yàn)樗幬锇l(fā)現(xiàn)領(lǐng)域很大，氣候科學(xué)領(lǐng)域也很大，氣候技術(shù)領(lǐng)域也很大。然而，它不太可能對(duì)每個(gè)人都有廣泛的用途。
因此，我們可能決定為 3D 圖形、虛擬世界建立一個(gè)基礎(chǔ)模型，因?yàn)樗鼈儗?duì)我們非常重要，我們可能決定為機(jī)器人技術(shù)建立一個(gè)基礎(chǔ)模型，因?yàn)樗婕暗轿覀兎浅Ｉ瞄L(zhǎng)的領(lǐng)域交叉；即使如此，我們也可能只做到必要的程度，而不再深入，我們并不試圖成為一個(gè)AI模型公司，我們?cè)噲D幫助行業(yè)創(chuàng)建AI模型。
Elad Gil：
非常有道理，基本上是跟隨客戶的需求。
Jensen Huang：
是的，然后在適當(dāng)?shù)臅r(shí)候?qū)⑵湟平唤o他們。
我試圖將這個(gè)原則與公司做出的一些非常長(zhǎng)期的承諾相協(xié)調(diào)，比如 CUDA 是一個(gè)非常長(zhǎng)期的賭注，我們10 年前見過(guò)面，當(dāng)時(shí) Nvidia 的估值是現(xiàn)在的 1/ 100，并且面臨著激進(jìn)投資者等壓力；當(dāng)然，在那時(shí)做出長(zhǎng)期賭注可能有些困難。
06 未來(lái)與現(xiàn)在，老黃 30 年的信念Elad Gil：
我想知道，你如何平衡作為一家大型上市公司的壓力和當(dāng)今的機(jī)會(huì)，以及架構(gòu)承諾或長(zhǎng)期賭注，并對(duì)此進(jìn)行優(yōu)先排序。
Jensen Huang：
投資未來(lái)和現(xiàn)在的可持續(xù)性并不沖突。對(duì)于所有初創(chuàng)公司和所有公司的 CEO 來(lái)說(shuō)，挑戰(zhàn)在于找到一種方法，能夠以自己所信仰的核心信念為基礎(chǔ)，并負(fù)擔(dān)得起這樣做，這就是公司的目的所在，所以這部分是信念，部分是技能。
賺錢不是信念的問題，賺錢是技能的問題。這是一種可學(xué)習(xí)的技能。我花了很長(zhǎng)時(shí)間才學(xué)會(huì)它，我承認(rèn)這一點(diǎn)。我已經(jīng)從事這個(gè)工作30年了，在前面的 20 年中，我還在試圖弄清楚，但這是一種技能，學(xué)會(huì)賺錢和有效地管理公司這些都是技能，公司必須發(fā)展這些技能。
我認(rèn)為我們最終的做法是問自己，我們真的相信嗎？如果我們真的相信做某件事，那么這就是公司的目的，是企業(yè)的唯一目的去追求自己的信仰，其他方面都取決于公司的聰明才智，盡力做好工作，建立人們?cè)敢赓?gòu)買的產(chǎn)品，并盡可能提高成本效益，使公司更高效。這些都是技能。
艱難的部分，事實(shí)證明，不是技能部分。我花了很長(zhǎng)時(shí)間才學(xué)會(huì)它，但很多公司都知道如何賺錢。顯然，賺錢不是那么困難，其他人也可以做到，困難的是單一地推進(jìn)一種新的計(jì)算模型，我們稱之為加速計(jì)算。
我們相信，加速計(jì)算一方面可以幫助我們解決普通計(jì)算機(jī)無(wú)法解決的問題，另一方面它也為我們帶來(lái)了許多令人驚嘆的應(yīng)用，比如我今天對(duì)數(shù)字生物學(xué)非常興奮，比如我們對(duì)氣候變化興奮，對(duì)機(jī)器人技術(shù)和自動(dòng)駕駛車輛也充滿激情。如果不是因?yàn)槲覀冏非竽切┰谄胀ㄓ?jì)算機(jī)上不可能的應(yīng)用，我們?yōu)槭裁磿?huì)發(fā)現(xiàn)所有這些東西？我們?yōu)槭裁磿?huì)發(fā)現(xiàn) AI ？為什么我們成為大型語(yǔ)言模型的工作么？因?yàn)榇笮驼Z(yǔ)言模型幾乎是不可能的。如果你在做一些幾乎不可能的事情，就給我們打電話吧。我們可以提供工具幫你解決這些問題的，我希望我們能夠發(fā)現(xiàn)這些未來(lái)的東西。
另一方面，我們深信，總有一天所有事物都會(huì)被加速，這是非常清楚的， CPU 將會(huì)達(dá)到極限，你無(wú)法無(wú)限地?cái)U(kuò)展通用計(jì)算，而且你總是需要它，總是需要 CPU ，但在未來(lái)，加速計(jì)算將是最佳前進(jìn)方式。所以，從一開始，30年前，我們就堅(jiān)信這一點(diǎn)，這也是我們創(chuàng)辦公司的原因，這是真正的信念。
Sarah Guo：
你對(duì)這個(gè)30年的信念得到了極大的證實(shí)，你肯定在公司經(jīng)營(yíng)的 30 年中的某個(gè)時(shí)刻，對(duì)自己的信念產(chǎn)生了懷疑。你是否曾經(jīng)有過(guò)這樣的經(jīng)歷？
Jensen Huang：
你是說(shuō)我不適合這份工作嗎？
Sarah Guo：
不，我是指你是否對(duì)加速計(jì)算以及它的重要性產(chǎn)生過(guò)懷疑。
Jensen Huang：
第二個(gè)問題的答案是肯定的。首先，我不認(rèn)為任何人應(yīng)該認(rèn)為他們適合這份工作，你幾乎每天都應(yīng)該審視自己，所以明確一點(diǎn)。
Sarah Guo：
這不是一個(gè)問題。
Jensen Huang：
但我非常樂意回答這個(gè)問題，我是否曾經(jīng)相信過(guò)自己是錯(cuò)誤的？沒有，我相信加速計(jì)算是唯一解決不可能問題的方法，這是顯而易見的。
另一方面，如果你能解決今天不可能解決的問題，并且有一天你需要將該應(yīng)用程序推廣，加速計(jì)算是否是最佳途徑？答案是肯定的。
Elad Gil：
你認(rèn)為 CPU 何時(shí)達(dá)到極限？你提到，最終你認(rèn)為一切都會(huì)轉(zhuǎn)向加速計(jì)算，或者至少未來(lái)的很大一部分會(huì)轉(zhuǎn)向加速計(jì)算。這需要 5 年還是 10 年？
Jensen Huang：
對(duì)于某些應(yīng)用程序，這已經(jīng)在 12 年前發(fā)生了，對(duì)吧？Geoffrey Hinton 、Yann LeCun 和 Andrew Ng 等人在12年前就發(fā)現(xiàn)了這是唯一的前進(jìn)方向，而對(duì)于計(jì)算機(jī)圖形學(xué)來(lái)說(shuō)這是唯一的前進(jìn)方向。
07 AI 對(duì)于組織形式追隨功能Elad Gil：
隨著 AI 變得越來(lái)越重要，你組織和管理公司的方式發(fā)生了變化嗎？你是否圍繞此進(jìn)行了業(yè)務(wù)方面的重新調(diào)整？或者你如何在這個(gè)環(huán)境中思考管理，因?yàn)槭挛镒兓萌绱搜杆?，這個(gè)領(lǐng)域中有很多令人興奮的事情發(fā)生？
Jensen Huang：
你問了一個(gè)很好的問題。如果退一步，公司的架構(gòu)不應(yīng)該是通用的，世界上的每家公司都不應(yīng)該像美國(guó)軍隊(duì)一樣建設(shè)；事實(shí)上，如果你看看世界上每家公司的組織結(jié)構(gòu)，它們看起來(lái)都有點(diǎn)像美國(guó)軍隊(duì)，有個(gè)人在頂層，然后逐級(jí)下來(lái)，然而， CEO 的直接下屬很少，那些剛學(xué)會(huì)管理一級(jí)管理者的人的直接下屬很多，這與實(shí)際情況恰恰相反。
我的直接下屬很出色，他們非常有才華，非常擅長(zhǎng)自己的工作，是優(yōu)秀的領(lǐng)導(dǎo)者。他們?cè)谏虡I(yè)方面有很好的眼光，有出色的遠(yuǎn)見，為什么呢？
Sarah Guo：
我猜這意味著你的管理層級(jí)可能不止是通常被接受的 6～7人之類的。
Jensen Huang：
我有大約 40 個(gè)直接下屬，沒有 1 對(duì) 1 的會(huì)議，也沒有職業(yè)指導(dǎo)，比如你希望用你的一生做什么？這些是你與新畢業(yè)生和早期職業(yè)者進(jìn)行的對(duì)話；我們當(dāng)然喜歡這些對(duì)話，幫助他們規(guī)劃職業(yè)生涯，指導(dǎo)他們，并為他們提供新的經(jīng)驗(yàn)，但在高層管理團(tuán)隊(duì)，我們組織起來(lái)同時(shí)追求許多不同的事情。
作為一家軟件公司，你必須了解計(jì)算機(jī)架構(gòu)，而計(jì)算機(jī)架構(gòu)中最重要的一點(diǎn)是你只能承擔(dān)一個(gè)。世界上最大的公司只有兩個(gè)操作系統(tǒng)，地球上最大的公司只有兩個(gè)操作系統(tǒng)，為什么這么多公司有這么多不同的計(jì)算機(jī)架構(gòu)？它們保留了7～9 種指令集，我們只有 1 個(gè)指令集，我們只有一個(gè)計(jì)算機(jī)架構(gòu)，我們對(duì)此非常紀(jì)律嚴(yán)明。所以我們需要集中精力。
在高級(jí)別上，我們?cè)试S創(chuàng)新和發(fā)現(xiàn)，所以我認(rèn)為公司的組織結(jié)構(gòu)符合我們工作的性質(zhì)，這是最重要的事情，也可能是我在建設(shè)公司時(shí)學(xué)到的最重要的一點(diǎn)，沒有通用的組織結(jié)構(gòu)適用于每個(gè)公司，它應(yīng)該適應(yīng)公司的職能和目的，以及領(lǐng)導(dǎo)者的領(lǐng)導(dǎo)風(fēng)格。
Elad Gil：
我認(rèn)為這是一個(gè)非常重要的觀點(diǎn)，大多數(shù)人并沒有真正意識(shí)到公司幾乎應(yīng)該是一種定制的結(jié)構(gòu)，支持 CEO 、員工以及公司向客戶提供的服務(wù)，而不是總是相同的東西，完全正確，這被忽視了很多次。
Jensen Huang：
是的，除了某些特定的領(lǐng)導(dǎo)職位，你需要某個(gè)特定的首席，你需要某個(gè)特定的首席，但除此之外，你應(yīng)該從第一原則出發(fā)，構(gòu)建一個(gè)符合領(lǐng)導(dǎo)者和職能的結(jié)構(gòu)。
Elad Gil：
我在谷歌的時(shí)候，他們有著名的 80-20- 10 原則，80% 是核心，20% 是核心附加的新東西， 10 % 是超級(jí)實(shí)驗(yàn)性的，你是否有任何框架或思考這方面的方式，在我們構(gòu)建的這個(gè)通用平臺(tái)上誕生創(chuàng)新案例？
Jensen Huang：
我們公司有幾個(gè)不同的部分，其中一個(gè)非常大的部分是設(shè)計(jì)和構(gòu)建復(fù)雜的計(jì)算機(jī)，這是我們的主要任務(wù)之一。我們還有一些“秘密實(shí)驗(yàn)室”，因?yàn)槲覀冊(cè)噲D提前 10 年發(fā)明一些我們不確定能否成功的東西，在這個(gè)過(guò)程中，需要不斷調(diào)整和適應(yīng)。我們公司有兩種不同的工作方式：一種是靈活的，隨時(shí)變化的。如果某項(xiàng)投資不成功，我們會(huì)放棄并將資源用在其他地方，這就是我們的敏捷部分；另一部分則更加精細(xì)，這兩種工作方式必須并行運(yùn)作。
Sarah Guo：
能否分享下一代處理器架構(gòu)，以及其中最重要的創(chuàng)新和設(shè)計(jì)過(guò)程？
Jensen Huang：
對(duì)于 hopper 來(lái)說(shuō)，重大突破是認(rèn)識(shí)到量化，數(shù)值格式方面有相當(dāng)多的創(chuàng)新和減少空間，通過(guò)將 64 位浮點(diǎn)數(shù)拆分成 8 位，可以將 AI 超級(jí)計(jì)算機(jī)的性能提升約 8 倍，所以這幾乎相當(dāng)于 10 倍的提升，另外一個(gè)重要的創(chuàng)新是 Transformer 。
Transformer 引擎非常通用和有用，我們?cè)O(shè)計(jì)了一個(gè)專門用于學(xué)習(xí)和推斷 Transformer 的流程，這兩個(gè)是最重要的創(chuàng)新；此外，Hopper 是世界上最大的芯片，速度也是最快的，超級(jí)節(jié)能，并且使用了世界上最快的存儲(chǔ)器，我們將許多這樣的芯片連接在一起，以實(shí)現(xiàn)快速和高效能，這些都是一些比較直接的暴力方法。但是，最重要的架構(gòu)思想是 FPA 和 Transformer 引擎。
Sarah Guo：
對(duì)于我們公司的精煉部分，你們正在研究的未來(lái) 10 年中可能重要的應(yīng)用有哪些？
Jensen Huang：
我們正在進(jìn)行一些目前還不可行的工作，但我對(duì)它們的成功充滿信心。例如，自動(dòng)駕駛?cè)栽谌〉眠M(jìn)展，但我相信它最終會(huì)成功，我相信我們能夠發(fā)現(xiàn)一個(gè)基礎(chǔ)的機(jī)器人模型，通過(guò)使用人類語(yǔ)言表達(dá)自己，可以讓機(jī)器人學(xué)會(huì)如何彎曲和完成特定任務(wù)。
Sarah Guo：
那現(xiàn)在阻礙這些應(yīng)用的因素是什么？
Jensen Huang：
我不知道，但我可以告訴你我們必須一步步地探索，但我們知道的一件事是如何從結(jié)構(gòu)化和非結(jié)構(gòu)化的信息中學(xué)習(xí)結(jié)構(gòu)，當(dāng)然下一個(gè)大的發(fā)展方向是視頻，如果我們能夠觀看視頻并從中學(xué)習(xí)結(jié)構(gòu)，我們可能能夠?qū)W會(huì)如何彎曲和分解，并將其推廣為機(jī)器人的解構(gòu)系統(tǒng)，路標(biāo)似乎表明這些要素正在逐漸融合，但我不知道什么時(shí)候能夠?qū)崿F(xiàn)，我猜可能不到 10 年，可能大約 5 年，你會(huì)看到一些令人驚嘆的機(jī)器人。
Sarah Guo：
太令人興奮了。
Elad Gil：
還有一些類似的項(xiàng)目。最近Google推出的 PaLm 就是朝著這個(gè)方向邁出的一步，我猜那仍然是基于 Transformer 架構(gòu)的，你提到了將 Transformer 流程融入你們工作的其他新的 AI 架構(gòu)，你還關(guān)注其他一些新的架構(gòu)，你認(rèn)為它們將發(fā)展成非常有趣的東西嗎？
Jensen Huang：
嗯，有很多 Transformer 的派生架構(gòu)，它們通常被統(tǒng)稱為 Transformer ，但基本架構(gòu)在不斷完善和發(fā)展；另一方面，我們對(duì)一些非常令人興奮的工作也非常感興趣，我們從 Ian Goodfellow 在生成對(duì)抗網(wǎng)絡(luò)方面的工作開始，對(duì)圖像的風(fēng)格遷移和高分辨率處理進(jìn)行了一些重要工作，這導(dǎo)致了變分自編碼器等其他相關(guān)工作，進(jìn)一步發(fā)展成為擴(kuò)散模型的一種變體。
我們?cè)谶@個(gè)過(guò)程中起到了很大的作用，在這些方面還將會(huì)有很多衍生的工作出現(xiàn)，但無(wú)論是從大量數(shù)據(jù)中學(xué)習(xí)結(jié)構(gòu)，還是從視頻或多模態(tài)學(xué)習(xí)，都將是非常重要的事情；另外一個(gè)方向是內(nèi)容生成，如果你可以生成圖像，生成2D 和 3D 圖像，為什么不能生成蛋白質(zhì)和化學(xué)物質(zhì)等各種東西呢？
08 信念，磨難，遺忘與繼續(xù)前進(jìn)Sarah Guo：
幾乎沒有其他創(chuàng)業(yè)者經(jīng)歷過(guò)從 3 個(gè)創(chuàng)始人到 CEO ，30年，7000 億市值的過(guò)程，你對(duì)聽節(jié)目的創(chuàng)業(yè)者有什么建議么？（PS：如今已經(jīng)接近萬(wàn)億美元市值了）
Jensen Huang：
這是一份非常艱難的工作，我不僅指 CEO 的工作，創(chuàng)業(yè)本身就很難，你們兩位都與很多公司的成立有關(guān)，建立一家初創(chuàng)公司沒有什么容易的，我甚至不明白為什么有人會(huì)第二次創(chuàng)業(yè)，創(chuàng)業(yè)是一種磨難，我會(huì)試圖勸阻人們?cè)俅蝿?chuàng)業(yè)，因?yàn)槲覄?chuàng)辦了兩家公司，第二次創(chuàng)業(yè)時(shí)，我會(huì)問自己，你確定要這樣做嗎？不。毫無(wú)疑問，你不應(yīng)該這樣做，必須有一種遺忘的機(jī)制，就像你生孩子的時(shí)候忘記了產(chǎn)痛一樣，必須忘記它有多么艱難，我不知道我是如何做到的，我忘記了創(chuàng)業(yè)的痛苦和煎熬。
一旦你取得了一些成就，你就會(huì)繼續(xù)邁向下一個(gè)目標(biāo)。我喜歡我們公司的一件事就是我們不斷重塑自己，我們就像公司內(nèi)部的創(chuàng)業(yè)者一樣，我參加的所有會(huì)議都像創(chuàng)業(yè)會(huì)議一樣，都很痛苦，因?yàn)槟銖牧汩_始，你沒有任何動(dòng)力，基本上你是從 0 開始的，每一次都會(huì)讓我想起它有多么痛苦，但是當(dāng)你建立了一些東西，并且你為之付出努力的人們贊賞它，而且它確實(shí)產(chǎn)生了影響時(shí)，這也是如此令人滿足，然后你將這種能力與其他技能和能力結(jié)合起來(lái)，你就可以做得更大。
所以，一方面，我會(huì)告訴他們創(chuàng)立一家公司是非常有回報(bào)的，你能夠與很多人一起工作，這是真的；另一方面，創(chuàng)業(yè)的痛苦和煎熬是你無(wú)法想象的。所以，你是又脆弱的。
所以我不知道我給他們提供了什么智慧，如果你決心要做，就別等太久，在你失去無(wú)知之前去做。因此，你必須有足夠的決心堅(jiān)持自己的信念；另一方面，你不能固執(zhí)己見，你必須具備靈活性，不斷學(xué)習(xí)，在這兩者的平衡中，我相信我所做的事情，同時(shí)我也相信自己可能是錯(cuò)的，這是一種奇怪的狀態(tài)，你必須同樣堅(jiān)信這兩者。
Sarah Guo：
我公司的名字叫 Conviction（信念），你可以保持靈活。
Elad Gil：
好的，我會(huì)把它作為一個(gè)糖果品牌開始（哈哈哈哈）。
Jensen Huang：
有些創(chuàng)業(yè)公司的 CEO 非常有才華，他們幾乎是正確的，但他們太過(guò)于執(zhí)著于自己的正確性，忘記了在路上學(xué)習(xí)、調(diào)整和適應(yīng)的靈活性，這是一方面；另一方面是韌性，這也與遺忘相關(guān)，你必須忘記痛苦，繼續(xù)前進(jìn)，就像教練說(shuō)的，不要擔(dān)心上一個(gè)球，你剛剛被對(duì)手踢了臉，你錯(cuò)過(guò)了1/4。
就像你提到加密貨幣時(shí)，我的手開始出汗，我知道我的心開始跳得更快，因?yàn)槲矣浀缅e(cuò)過(guò)了那 1 季，當(dāng)我們?cè)诩用茇泿欧矫驽e(cuò)過(guò) 1 季時(shí)，我們錯(cuò)過(guò)得很徹底，因?yàn)轭A(yù)測(cè)加密貨幣很困難，我們從沒有供應(yīng)到供應(yīng)過(guò)剩。誰(shuí)會(huì)錯(cuò)過(guò) 2 億美元的 1 個(gè)季度？我指的是一個(gè)很大的數(shù)字，通常你會(huì)聽到 CEO 錯(cuò)過(guò)了 1500 萬(wàn)美元，而不是 20 億美元。
09 今天的方向來(lái)自未來(lái)深耕科研基礎(chǔ)模型
Elad Gil：
我認(rèn)為 Sarah 提出了一個(gè)很好的觀點(diǎn)，你現(xiàn)在建立了一家在科技界具有重要地位的公司，正在推動(dòng)可能是有史以來(lái)最重要的技術(shù)之一，即 AI 。從現(xiàn)在回顧到未來(lái)的 10 年、20年，有沒有什么具體的目標(biāo)，無(wú)論是通過(guò)公司還是更廣泛的方向，你希望實(shí)現(xiàn)的？從未來(lái)的 20 年回望，有沒有你真正希望實(shí)現(xiàn)的事情？
Jensen Huang：
這是一個(gè)很好的問題，實(shí)際上這是一種很好的思考方式，思考今天要做什么的最好方法是走到未來(lái)，回頭看，你們可能也是這樣做的，所以我會(huì)走出 10 年，回頭看看我當(dāng)時(shí)希望自己那時(shí)候能做到什么，然后現(xiàn)在去做，這就是答案。
所以我們相信我們可以對(duì)幾個(gè)行業(yè)做出貢獻(xiàn)，其中之一是醫(yī)療保健和藥物研發(fā)，這是一個(gè)計(jì)算上和數(shù)值上極其復(fù)雜的問題，其中的組合數(shù)量超過(guò)了宇宙中的原子數(shù)量，它是一個(gè)非常龐大的問題空間，我們最終可能有必要的工具來(lái)攻克它。，少現(xiàn)在有能力理解氨基酸、序列、蛋白質(zhì)和化學(xué)物質(zhì)的語(yǔ)言和意義，如果你能理解結(jié)構(gòu)、理解語(yǔ)言、理解問題空間的意義，你也許有機(jī)會(huì)解決它。
所以我對(duì)此非常興奮，真的希望我們能夠?yàn)槎辔锢韺W(xué)和氣候科學(xué)創(chuàng)造一個(gè)基礎(chǔ)模型。這樣我們就可以問一個(gè)問題，如果有這些人為因素和這些人類驅(qū)動(dòng)因素，我們產(chǎn)生這些影響，那么 10 年后，從現(xiàn)在起 30 年后地球會(huì)發(fā)生什么？
這是一個(gè)非常復(fù)雜的問題。從計(jì)算上來(lái)說(shuō)，人們估計(jì)這個(gè)問題的計(jì)算量可能是目前全球最快超級(jí)計(jì)算機(jī)的 10 億倍到 1000億倍，這基本上意味著我們永遠(yuǎn)無(wú)法解決這個(gè)問題；另一方面，通過(guò) AI ，我們可能有機(jī)會(huì)將這個(gè)計(jì)算量減少 10 億倍到 1000億倍，所以我希望我們有機(jī)會(huì)在我們這一代人中為這兩個(gè)領(lǐng)域作出巨大貢獻(xiàn)。因此，我們正在做的是地球 2 號(hào)和 Clara，地球 2 號(hào)是我們的氣候科學(xué)系統(tǒng)，Clara是我們的醫(yī)療保健系統(tǒng)，更好地了解如何在這個(gè)領(lǐng)域做出貢獻(xiàn)。
Sarah Guo：
令人興奮。我有一個(gè)最后一個(gè)問題，這個(gè)問題和攻擊世界上計(jì)算量最大的、最復(fù)雜的搜索空間，從而拯救人類和地球的重要性相當(dāng).......那就是你的皮夾克從哪里來(lái)的？
Jensen Huang：
我老婆和女兒總是在幫我找皮夾克，我必須承認(rèn)大多數(shù)夾克對(duì)我來(lái)說(shuō)太時(shí)尚了，我穿不出去，這些是比較樸素的，但其中一些太酷了，只有真正酷的人才能穿，而且我不想顯得自己穿得不搭。
Reference：
https://www.youtube.com/watch?v=ZFtW3g1dbUU&t=629s
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問，請(qǐng)聯(lián)系editor@cyzone.cn。