Dojo超級計算機對特斯拉的重要性正在與日俱增。

　　對于馬斯克來(lái)說(shuō)，Dojo不僅僅是特斯拉用來(lái)在云端訓練自動(dòng)駕駛模型的超級計算機，實(shí)際上，它已經(jīng)成為馬斯克商業(yè)帝國下AI業(yè)務(wù)的基石。

　　大摩此前甚至將Dojo比喻為“特斯拉的AWS”，認為其將成為特斯拉未來(lái)最大的價(jià)值驅動(dòng)因素。

　　在馬斯克宏偉的AI藍圖中，Dojo到底起到怎樣的作用?日前，科技媒體TechCrunch記者Rebecca Bellan發(fā)布深度報道《Tesla Dojo: Elon Musk’s big plan to build an AI supercomputer, explained》，以Dojo為出發(fā)點(diǎn)，詳細解釋了馬斯克的AI計劃。

　　以下是文章亮點(diǎn)：

　　1、特斯拉的純視覺(jué)路徑(僅依靠攝像頭而非傳感器來(lái)捕捉數據)是其需要超級計算機的主要原因。

　　2、特斯拉的目標是在接下來(lái)的大約18個(gè)月內實(shí)現“半特斯拉AI硬件，半英偉達/其他”，“其他”可能是AMD芯片。

　　3、Dojo計劃的核心是特斯拉的專(zhuān)有D1芯片，這意味著(zhù)特斯拉將來(lái)可能不必依賴(lài)英偉達的芯片，低成本就可以獲取大量算力。

　　4、Dojo芯片是特斯拉的保險單，可能會(huì )帶來(lái)紅利。

　　5、預計到今年10月，Dojo的總算力將達到100 exaflops，約等于320500塊英偉達 A100 GPU的算力水平;預計今年年底前，Dojo1將實(shí)現與約8000塊H100等效的在線(xiàn)訓練。

　　文章全文如下：

　　多年來(lái)，埃隆·馬斯克一直在談?wù)揇ojo——這是將成為特斯拉人工智能雄心基石的人工智能超級計算機。這個(gè)項目對馬斯克來(lái)說(shuō)非常重要，他最近表示，隨著(zhù)特斯拉準備在10月公布其robotaxi，公司的人工智能團隊將“加倍發(fā)力”推進(jìn)Dojo項目。

　　但Dojo究竟是什么?它對特斯拉的長(cháng)期戰略為何如此關(guān)鍵?

　　簡(jiǎn)而言之：Dojo是特斯拉定制構建的超級計算機，旨在訓練其“全自動(dòng)駕駛”的神經(jīng)網(wǎng)絡(luò )。提升Dojo與特斯拉實(shí)現全自動(dòng)駕駛并將robotaxi推向市場(chǎng)的目標密切相關(guān)。FSD目前在大約200萬(wàn)輛特斯拉汽車(chē)上，可以執行一些自動(dòng)化駕駛任務(wù)，但仍然需要人類(lèi)在駕駛座保持注意力。

　　特斯拉將原定于8月公布其robotaxi的時(shí)間推遲到了10月，但無(wú)論是馬斯克的公開(kāi)言論還是特斯拉內部的消息源都告訴我們，自動(dòng)駕駛的目標并未消失。

　　特斯拉似乎正準備在人工智能和Dojo上投入巨資以實(shí)現這一壯舉。

　　特斯拉Dojo背后的故事

　　馬斯克不希望特斯拉僅僅是一家汽車(chē)制造商，或不僅僅是太陽(yáng)能電池板和能源存儲系統的提供商。相反，他希望特斯拉成為一家人工智能公司，一家通過(guò)模仿人類(lèi)感知來(lái)破解自動(dòng)駕駛汽車(chē)代碼的公司。

　　大多數其他開(kāi)發(fā)自動(dòng)駕駛汽車(chē)技術(shù)的公司都依賴(lài)傳感器的組合來(lái)感知世界(比如激光雷達、雷達和攝像頭)以及高清晰度地圖來(lái)定位車(chē)輛。特斯拉相信，它可以?xún)H依靠攝像頭來(lái)捕捉視覺(jué)數據，然后使用先進(jìn)的神經(jīng)網(wǎng)絡(luò )來(lái)處理這些數據，并快速決定汽車(chē)應該如何表現。

　　正如特斯拉前人工智能主管Andrej Karpathy在2021年該公司的首次AI Day上所說(shuō)，公司基本上正在嘗試“從頭開(kāi)始構建一個(gè)合成生物”。(馬斯克自2019年以來(lái)一直在預告Dojo，但特斯拉在A(yíng)I Day正式宣布了它。)

　　像Alphabet的Waymo這樣的公司，已經(jīng)通過(guò)更傳統的傳感器和機器學(xué)習方法，實(shí)現了4級自動(dòng)駕駛汽車(chē)的商業(yè)化——SAE將其定義為在特定條件下無(wú)需人類(lèi)干預即可自行駕駛的系統。而特斯拉至今還未生產(chǎn)出一個(gè)不需要人類(lèi)參與的自動(dòng)駕駛系統。

　　大約有180萬(wàn)人為特斯拉的FSD支付了高昂的訂閱費，目前其價(jià)格為8000美元，最高時(shí)定價(jià)為15000美元。推銷(xiāo)的點(diǎn)是，經(jīng)過(guò)Dojo訓練的人工智能軟件最終將通過(guò)隔空更新推送給特斯拉客戶(hù)。FSD的規模也意味著(zhù)特斯拉已經(jīng)能夠收集到數百萬(wàn)英里的視頻片段，用于訓練FSD。這意味著(zhù)，特斯拉能夠收集的數據越多，這家汽車(chē)制造商就越接近實(shí)現真正的全自動(dòng)駕駛。

　　然而，一些行業(yè)專(zhuān)家表示，簡(jiǎn)單地向模型投入更多數據并期望它變得更聰明的方法可能存在局限性。

　　“首先，存在經(jīng)濟限制，這樣做很快就會(huì )變得成本過(guò)高，”普渡大學(xué)硅谷電子與計算機工程教授A(yíng)nand Raghunathan對TechCrunch表示。他進(jìn)一步說(shuō)，“有聲音說(shuō)我們實(shí)際上可能會(huì )耗盡有意義數據來(lái)訓練模型。更多的數據并不一定意味著(zhù)更多的信息，所以這取決于那些數據是否包含有用信息來(lái)創(chuàng )建一個(gè)更好的模型，以及訓練過(guò)程是否能夠真正將這些信息提煉成更好的模型。”

　　Raghunathan說(shuō)，盡管有這些疑慮，但至少在短期內，數據似乎會(huì )更多。更多的數據意味著(zhù)需要更多的算力來(lái)存儲和處理，以訓練特斯拉的AI模型。這就是超級計算機Dojo的用武之地。

　　什么是超級計算機?

　　Dojo是特斯拉設計的超級計算機系統，用作人工智能，特別是FSD的訓練場(chǎng)。這個(gè)名字是對武術(shù)練習道場(chǎng)的致敬。

　　超級計算機由數千臺稱(chēng)為節點(diǎn)的小型計算機組成。這些節點(diǎn)各自擁有自己的CPU(中央處理單元)和GPU(圖形處理單元)。前者負責節點(diǎn)的總體管理，后者則處理復雜的事情，比如將任務(wù)分割成多個(gè)部分并同時(shí)進(jìn)行處理。GPU對機器學(xué)習操作至關(guān)重要，就像它們支持FSD訓練模擬一樣。它們還支持大型語(yǔ)言模型，這就是為什么生成式AI的崛起使得英偉達成為地球上最有價(jià)值的公司。

　　甚至特斯拉也購買(mǎi)英偉達的GPU來(lái)訓練其人工智能(這是后話(huà))。

　　為什么特斯拉需要超級計算機?

　　特斯拉的純視覺(jué)路徑是其需要超級計算機的主要原因。FSD背后的神經(jīng)網(wǎng)絡(luò )是在大量駕駛數據上訓練的，以識別和分類(lèi)車(chē)輛周?chē)奈矬w，然后做出駕駛決策。這意味著(zhù)當FSD啟動(dòng)時(shí)，神經(jīng)網(wǎng)絡(luò )必須連續不斷地收集和處理視覺(jué)數據，速度要與人類(lèi)深度和速度識別能力相匹配。

　　換句話(huà)說(shuō)，特斯拉想要創(chuàng )造一個(gè)數字版的人類(lèi)視覺(jué)皮層和大腦功能。

　　為了達到這個(gè)目標，特斯拉需要存儲和處理從世界各地的汽車(chē)收集的所有視頻數據，并運行數百萬(wàn)次模擬來(lái)訓練其模型上的數據。

　　特斯拉似乎依賴(lài)英偉達為其當前Dojo訓練計算機提供動(dòng)力，但它不想把所有雞蛋放在一個(gè)籃子里——尤其是因為英偉達芯片價(jià)格昂貴。特斯拉還希望制造出更好的東西，增加帶寬并減少延遲。這就是為什么這家汽車(chē)制造商的AI部門(mén)決定提出自己的定制硬件計劃，該計劃旨在比傳統系統更有效地訓練AI模型。

　　該計劃的核心是特斯拉的專(zhuān)有D1芯片，該公司表示這些芯片已針對AI工作負載進(jìn)行了優(yōu)化。

　　更多關(guān)于這些芯片的信息

　　特斯拉與蘋(píng)果持有類(lèi)似的觀(guān)點(diǎn)，即認為硬件和軟件應該被設計為一起工作。這就是為什么特斯拉正在努力擺脫標準GPU硬件、設計自己的芯片來(lái)驅動(dòng)Dojo。

　　特斯拉在2021年的AI Day上展示了其D1芯片，這是一個(gè)手掌大小的硅方塊。截至今年5月，D1芯片已經(jīng)投入生產(chǎn)。中國臺灣半導體制造公司臺積電正在使用7納米制程工藝制造這些芯片。根據特斯拉的說(shuō)法，D1擁有500億個(gè)晶體管和一個(gè)645平方毫米的大尺寸，這一切都在說(shuō)D1承諾將非常強大和高效，并能夠快速處理復雜任務(wù)。

　　“我們可以同時(shí)進(jìn)行計算和數據傳輸，我們的定制ISA(指令集架構)完全針對機器學(xué)習工作負載進(jìn)行了優(yōu)化，”特斯拉前自動(dòng)駕駛硬件高級總監甘尼什·文卡塔拉曼在2021年特斯拉AI Day上說(shuō)。“這是一個(gè)純粹的機器學(xué)習機器。”

　　盡管如此，D1芯片仍然不如英偉達的A100芯片強大，后者也是由臺積電使用7納米工藝制造的。A100擁有540億個(gè)晶體管，尺寸為826平方毫米，所以在性能上略勝于特斯拉的D1。

　　為了獲得更高的帶寬和計算能力，特斯拉的AI團隊將25個(gè)D1芯片融合在一起形成一個(gè)區塊，作為一個(gè)統一的計算機系統。每個(gè)區塊具有9 petaflops的計算能力和每秒36 TB的帶寬，并包含電源、冷卻和數據傳輸所需的所有硬件。你可以將這個(gè)區塊想象成一個(gè)由25臺小型計算機組成的自給自足的計算機。六個(gè)這樣的區塊組成一個(gè)機架，兩個(gè)機架組成一個(gè)機柜。十個(gè)機柜組成一個(gè)ExaPOD。在2022年的AI Day上，特斯拉表示Dojo將通過(guò)部署多個(gè)ExaPODs來(lái)擴展。所有這些加在一起構成了超級計算機。

　　特斯拉還在開(kāi)發(fā)下一代D2芯片，旨在解決信息流瓶頸問(wèn)題。D2不是連接各個(gè)芯片，而是將整個(gè)Dojo塊放置在單個(gè)硅片上。

　　特斯拉尚未確認它已訂購或預計收貨多少D1芯片，也還沒(méi)有提供將Dojo超級計算機在D1芯片上運行所需的時(shí)間表。

　　6月在X上的一篇帖子稱(chēng)：“埃隆正在德克薩斯州建造一個(gè)巨大的GPU冷卻器”，對此，馬斯克回復說(shuō)，特斯拉的目標是在接下來(lái)的大約18個(gè)月內實(shí)現“半特斯拉AI硬件，半英偉達/其他”。根據馬斯克1月的評論，“其他”可能是AMD芯片。

　　Dojo對特斯拉意味著(zhù)什么?

　　控制自己的芯片生產(chǎn)意味著(zhù)特斯拉有一天可能能夠以低成本快速為人工智能培訓項目添加大量計算能力，特別是在特斯拉和臺積電擴大芯片生產(chǎn)規模的情況下。

　　這也意味著(zhù)特斯拉將來(lái)可能不必依賴(lài)英偉達的芯片，這些芯片的價(jià)格越來(lái)越高，也越來(lái)越難以確保。

　　在特斯拉第二季度財報電話(huà)會(huì )議上，馬斯克表示，對英偉達硬件的需求“如此之高，以至于通常很難獲得GPU。”他說(shuō)，他對能夠穩定地在需要時(shí)獲得GPU“相當擔憂(yōu)”，“因此我認為這需要我們在Dojo上投入更多的努力，以確保我們擁有所需的培訓能力。”

　　話(huà)雖如此，特斯拉今天仍在購買(mǎi)英偉達芯片來(lái)訓練其AI。6月，馬斯克在X上發(fā)帖說(shuō)：

　　“在我所說(shuō)的特斯拉今年將進(jìn)行的大約100億美元與AI相關(guān)的支出中，大約一半是內部的，主要是特斯拉設計的AI推理計算機和我們所有汽車(chē)中存在的傳感器，加上Dojo。對于構建AI培訓超級集群，英偉達硬件大約占到成本的2/3。我目前對特斯拉今年購買(mǎi)英偉達的最佳猜測是30億到40億美元。”

　　推理計算指的是特斯拉汽車(chē)實(shí)時(shí)執行的AI計算，與Dojo負責的訓練計算是分開(kāi)的。

　　Dojo是一個(gè)冒險的賭注，馬斯克通過(guò)多次表示特斯拉可能不會(huì )成功，以此來(lái)對沖這一賭注。

　　從長(cháng)遠來(lái)看，特斯拉理論上可以基于其AI部門(mén)創(chuàng )建一種新的商業(yè)模式。馬斯克曾表示，Dojo的第一個(gè)版本將專(zhuān)門(mén)為特斯拉計算機視覺(jué)標記和培訓量身定制，這對FSD和培訓Optimus(特斯拉的仿人機器人)非常有利，但對其他事情沒(méi)什么用處。

　　馬斯克曾表示，Dojo的后續版本將更傾向于通用AI培訓。與此相關(guān)的一個(gè)潛在問(wèn)題是，幾乎所有現有的AI軟件都是為GPU編寫(xiě)的。使用Dojo來(lái)訓練通用AI模型將需要重寫(xiě)軟件。

　　除非特斯拉出租其算力，類(lèi)似于A(yíng)WS和Azure出租云計算能力的方式。馬斯克在第二季度收益電話(huà)會(huì )議上還指出，他看到“通過(guò)Dojo與英偉達競爭的一條路”。

　　摩根士丹利在2023年9月的一份報告中預測，Dojo可以通過(guò)解鎖robotaxi和軟件服務(wù)的新收入流，為特斯拉市值增加5000億美元。

　　簡(jiǎn)而言之，Dojo的芯片是這家汽車(chē)制造商的保險單，可能會(huì )帶來(lái)紅利。

　　Dojo進(jìn)展如何?

　　路透社去年報道稱(chēng)，特斯拉于2023年7月開(kāi)始生產(chǎn)Dojo，但馬斯克在2023年6月的一篇文章中暗示，Dojo已經(jīng)“在線(xiàn)并運行有用的任務(wù)幾個(gè)月了。”

　　大約在同一時(shí)間，特斯拉表示，預計到2024年2月，Dojo將成為最強大的五臺超級計算機之一——這一壯舉尚未公開(kāi)披露，讓我們懷疑它是否已經(jīng)發(fā)生。

　　該公司還預計，到2024年10月，Dojo的總算力將達到100 exaflops。(1 exaflop等于每秒1千萬(wàn)億次計算機操作。要達到100 exaflops，假設一塊D1能達到362 teraflops，特斯拉將需要超過(guò)276,000塊D1，或大約320,500塊英偉達 A100 GPU。)

　　特斯拉還在2024年1月承諾投資5億美元，在紐約州布法羅的超級工廠(chǎng)建造一臺Dojo超級計算機。

　　2024年5月，馬斯克指出，特斯拉奧斯汀超級工廠(chǎng)的后部將保留用于“超密集的水冷超級計算機集群”。

　　就在特斯拉二季度財報電話(huà)會(huì )議后，馬斯克在X上發(fā)帖稱(chēng)，這家汽車(chē)制造商的AI團隊正在使用特斯拉HW4 AI計算機(更名為AI4)，這是特斯拉汽車(chē)中的硬件，存在于英偉達GPU的訓練循環(huán)中。他指出，細分大約是90,000個(gè)英偉達的H100加上40,000臺AI4計算機。

　　他繼續說(shuō)：“Dojo1將在今年年底前實(shí)現與約8,000塊H100等效的在線(xiàn)訓練。不是很多，但也不少。”