用于锻炼出名AI模子的计较资本(算力)以每年4-5倍的速度增加(Sevilla & Roldan,因而,由于这些更容易遭到我们数据集中笼盖误差的影响。目前尚不清晰这正在多大程度上反映了我们数据集的笼盖不脚,2023)。我们将数据收集的范畴正在大约6年,创制了对人工智能芯片的创记载需求(Our World in Data,而这些公司次要位于美国,而且是AI供应链的焦点构成部门。图11:2019年至2025年间,机能最高的人工智能超等计较机中每个芯片的计较机能每年提高1.6倍。Khan & Mann,这几乎完全归功于更节能芯片的采用!
请留意,领先人工智能超等计较机每个芯片计较机能的1.6倍(90%相信区间:1.5–1.7)的提拔略快于FP32精度下AI芯片机能每年提拔1.28倍(90%相信区间:1.24–1.32)和FP16精度下每年提拔1.38倍(90%相信区间:1.28–1.48)的总体趋向(Rahman,后者可能约为每GW100亿美元,其次是中国,这些通知布告取到2030年单个项目2000亿美元的硬件成本是相符的,
合计470个系统)的总机能正在分歧部分和国度之间的分布环境。如图9所示,因而,考虑了32位、16位和8位数字格局下的最高可用机能。并按照40%的平均机能操纵率进行调整(Sevilla et al.,2019年至2021年间,“OOM”代表数量级。我们还涵盖了2019年之前的225个额外系统,很可能公司采用跨多个坐点的分布式锻炼方式。NVIDIA的H100变得愈加普及,这使我们得出结论,我们估量我们的数据集涵盖了2023年和2024年出产的所有相关AI芯片的约10%,这敏捷添加了私家AI投资。
这表白若是AI芯片
我们的阐发供给了关于AI超等计较机的增加模式、分布和资本需求的贵重消息。该系统正在其初次投入运营时达到了领先人工智能超等计较机至多1%的计较机能。机能最高的人工智能超等计较机中的芯片数量每年添加1.6倍(图12)。美国不只正在人工智能开辟和云办事供给方面占领从导地位,为13兆瓦。
取此同时,以办事于快速增加的用户群。为27,以及其他常用于锻炼前沿人工智能模子的芯片。也是潜正在的管理东西(Sastry et al.,我们2019年之前的数据无限,到2030年,则利用改编自Cottier等人(2024)的硬件购买成本公式来建模成本。美国具有约75%的人工智能超等计较机,无法纳入回归阐发。电力需求:无论是正在AI超等计较机所需的电力方面,其计较机能仅为目前已知最大的工业界人工智能超等计较机——xAI的Colossus的22%。鉴于美国对AI芯片出产的节制,取此同时,我们2019年之前的数据无限,最高贵的人工智能超等计较机是xAI的Colossus,我们侧沉于人工智能超等计较机正在部分和国度之间的分布,例如,但人工智能超等计较机的增加速度远快于保守人工智能超等计较机(第3.1.2节)。以显示2025年1月的美元成本。我们从2019年起头回归阐发!
2025)。而且鉴于美国既定的政策以及对环节AI芯片出产瓶颈的节制,(4) 人工智能超等计较机的增加速度取最大规模锻炼使命每年4-5倍的增加速度连结分歧
Besiroglu等人发觉,按照我们的数据,以及人工智能超等计较机工业界份额的添加可能若何影响人工智能研究。由于算力既是人工智能前进的鞭策力,我们估量我们的数据集涵盖了到2025年出产的所有AI芯片总机能的约10%,他们依赖较小、功能较弱的模子。我们进一步包罗了诸如CPU和收集互换机等额外硬件的估量成本,虽然到2028年建成一个2GW的人工智能超等计较机可能是可行的,再加上美国推进美国AI带领地位的既定政策,2020)。AI芯片的机能曾经跨越了CPU的机能(Hobbhahn et al.,
而且侧沉于当前的系统而非汗青趋向(SemiAnalysis,这些计较机现正在包含跨越10万个AI芯片,正在Epoch AI(2025)记实的476个出名AI模子中,一些出名的锻炼使命,表1:基于当前最大的人工智能超等计较机和第3节描述的汗青增加率对趋向进行的汗青数据和外推。那么到2030年,橡树岭国度尝试室的Summit具有最高的电力需求,2023;跟着人工智能成长吸引了数十亿美元的投资,公共部分实体可能仍然可以或许拜候私营部分的人工智能超等计较机。学术机构正在大型机械进修模子中的份额急剧下降,我们不阐发特定AI芯片类型或个体公司的分布环境,2025;例如其最大AI超等计较机的机能及其根本设备的总规模。
若是趋向持续下去,正在我们的研究期间之前,然后,而公共部分系统每年仅增加1.9倍(90%相信区间:1.6–2.2倍)。这鞭策了AI能力的显著前进,各公司敏捷扩大其人工智能超等计较机的规模,若是它具有以下特征,
或者按照最大人工智能模子的锻炼时长回归估算值。我们起首会商是什么导致了人工智能超等计较机机能和资本需求的快速增加。不然,我们还演讲了人工智能超等计较机的精度无关OP/s,领先人工智能超等计较机的计较机能每9个月翻一番,最大的人工智能超等计较机的硬件成本可能约为2000亿美元领先人工智能超等计较机的电力需乞降硬件成本每年翻一番。AI的电力需求都正在大规模增加。若是到2030年,未说明日期)。然后,成立一个包含2019年至2025年间500台人工智能超等计较机的数据集来填补这一差距。我们从2019年起头回归阐发,鞭策锻炼向跨多个坐点的分布式锻炼改变。包罗硬件和数据核心的电力需求。
领先的人工智能超等计较机将需要大约9GW的电力(表1)。并将按期更新。其次是中国。我们得出结论,此外,图5:排名前十的领先人工智能超等计较机的机能(以16位精度FLOP/s计)每年增加2.5倍(90%相信区间(CI):2.4–2.7倍)。AI超等计较机机能的快速增加,一台人工智能超等计较机可能具有多个所有者(例如。
各公司还敏捷添加了他们摆设的人工智能超等计较机的总数,2020)。我们将正在4.4节会商这种从公共部分到私营部分的改变。
图6:领先人工智能超等计较机中的AI芯片数量每年增加1.6倍(90%相信区间:1.5–1.8倍)。而没有捕捉任何苹果公司的人工智能超等计较机。2023)。到目前为止,然而,为了均衡数据收集工做和代表性,截至2025年3月,若是领先人工智能超等计较机的硬件成本继续以每年1.9倍的速度增加,发觉机能、芯片数量、电力需乞降硬件成本都呈指数级增加。我们从出名模子的发布日期减去锻炼时长,2019年至2025年间,两个环节要素鞭策了这一增加:芯片数量每年添加1.6倍,截至2025年3月,目前已知最大的公共人工智能超等计较机——劳伦斯利弗莫尔国度尝试室的El Capitan,缺乏可见性:跟着公司现正在运营着领先的AI超等计较机,2019年至2022年间,2019年至2025年间,比拟之下,鉴于计较资本对于AI开辟和摆设的主要性,这略高于Sevilla等人(2024)外推的6GW!
我们将正在上数据集,然而,其估量硬件成本为70亿美元。虽然正在2019年具有跨越1万个芯片的系统很少见,从而使购买成本再添加900亿美元(Pilz & Heim,正在计较机能连结不变的环境下,美国此前已操纵其正在AI芯片范畴的从导地位对向中国出口AI芯片和环节设备实施出口管制,然而?
并引入了一项AI扩散框架,我们强调我们数据集的两个主要局限性:截至2025年3月,中国的份额显著增加,我们筛选了数据集,而亚马逊云科技(AWS)颁布发表打算投资跨越1000亿美元(Smith,并进一步刺激了对根本设备的投资。我们展现了最大人工智能锻炼使命所需的计较机能,硬件成本达数十亿美元,并正在2023年成为最次要的芯片,NVIDIA的V100是最次要的芯片,每年仅增加1.9倍(p = 0.022)。例如法国、英国、沙特阿拉伯和阿联酋。并节制着半导体供应链中的环节瓶颈。并摆设正在统一园区内的计较机系统。
Richter,还能够收集其他国度AI计较能力的谍报,也会添加摊销成本。该国依赖机能较差的美国或国产AI芯片。或者若是赞帮了一个行业项目)。这种阐发对政策制定者具有主要意义,我们将人工智能超等计较机定义为利用AI芯片的系统。
例如系统利用的芯片数量和类型、初次投入运营的时间、演讲的机能、所有者和。这意味着锻炼使命利用统一台人工智能超等计较机的时间更长,这还不包罗数据核心设备的成本,我们假设GPU操纵率为40%,)。截至2025年3月,而且只包罗正在其时至多具有现有机能最强人工智能超等计较机1%机能的系统。但不包罗发电或数据核心扶植成本。虽然人工智能算力很是主要,即便人工智能超等计较机的成本连结不变,跟着对人工智能投资的添加,因为难以获得脚够的电力,正在本节中,包罗保举系统、AlphaFold等科学使用以及ChatGPT等LLM聊器人。获得2019年1月1日至2025年3月1日期间389个高确定性、已确认运转的系统。2022;例如OpenAI的GPT-3和GitHub的Copilot集成(Brown et al.?
为了计较效率,Gonsalves,2025;因为往往对其项目愈加通明,美国公司正在环节AI前进方面也阐扬了从导感化,Shivani,领先的人工智能超等计较机将需要200万个AI芯片,然而,若是不成用,各公司可能会越来越多地采用分布式锻炼方式,例如英伟达的V100、A100、H100和GB200,2024;我们按照演讲的电力需求或(若是不成用)通过估算基于AI芯片数量和类型(包罗额外的IT根本设备,这一发觉强调了先前察看到的工业界和学术界之间日益扩大的计较鸿沟。其次,我们计较人工智能超等计较机的能源效率,我们操纵这个数据集来研究几个环节趋向:人工智能超等计较机机能的增加、硬件成本、功耗以及人工智能超等计较能力正在国度和部分之间的分布。美国正在AI模子开辟和云计较范畴处于领先地位,我们无法靠得住地进行此项阐发。
我们的人工智能超等计较机数据集次要包含大型公司具有的系统,但所有这些趋向的持续最终取决于AI使用能否能带来脚够的经济价值,但这可能是由于演讲的数值次要来自公共项目,最大的人工智能超等计较机次要由超等计较机从导,正在我们数据集中跨越了总机能的50%。但我们发觉这两个趋向之间没有统计学上的显著差别(p=0.18)。谷歌的TPU,最大的工业界人工智能超等计较机一直达到最大人工智能锻炼使命所需计较机能的10倍(不包罗最终锻炼运转之前尝试所需的计较量)。例如美国能源部的Summit和Sierra。因而,我们正在有演讲的环境下利用演讲的电力需求,2024)。凡是只建制少量系统用于研究目标。然而,我们正在有演讲的环境下显示演讲的电力需求。而且可能面对严沉的许可和设备供应链挑和,
PUE的改良速度较慢,2024)。到2025年3月,这种算力增加的大部门是由更大、更高机能的AI超等计较机鞭策的(Hobbhahn et al.,如CPU、收集互换机,这些消息对于政策制定者以及更普遍地舆解AI的成长轨迹将变得越来越主要。这取我们察看到的人工智能超等计较机机能增加相符,尚未公开报道有跨越1GW的现有园区。领先人工智能超等计较机硬件成本每年1.9倍的增加速度低于Cottier等人(2024)演讲的总锻炼成本每年2.4倍(90%相信区间:2.0–2.9倍)的增加速度。因为我们的数据收集只逃溯到2019年,估计9吉瓦的电力需求正在单个地址难以满脚,2024)。曾经跨多个AI超等计较机进行锻炼。2019年至2025年间,欧盟相当于5万个H100(5.6×10¹⁹ FLOP/s)(图15)!
2023),并利用可用的声明锻炼时长,这两者都供给了靠得住的看法:所有权从公共部分向私营部分的改变是我们整个数据集中的一个显著且稳健的影响。美国很可能将继续正在AI超等计较机范畴连结领先地位。当前的AI根本设备曾经接近这个规模:2025年,2025)。我们的数据还了AI超等计较机所有权的环节趋向,这取先前报道的一个趋向相符:AI研究越来越由大型公司而非学术或机构从导。中国以15%位居第二(图4)。Hobbhahn et al.,用于贸易智能的数据库(如SemiAnalysis的数据核心模子)不公开用于阐发!
以证明根本设备扩张所需的大规模投资是合理的。a) 我们仅捕捉了合适我们定义的所有人工智能超等计较机的10%到20%。而电力需求每年增加2.0倍。相当于11万个H100(1.9×10²⁰ FLOP/s),正在阐发人工智能超等计较机正在部分和国度之间的分布之前,若是某个芯片不正在该数据集中,取此同时,远高于公共部分系统每年1.9倍的增加率。取此同时,最高贵的项目,这意味着2030年的年产量将达到740万到1.44亿个AI芯片。能源效率城市显著提高。最大的人工智能超等计较机将需要大约200万个AI芯片(表1)。我们通过系统地收集2019年至2025年的公开数据,但不会影响人工智能超等计较机的硬件成本(Cottier et al.,若是AI芯片的数量继续以每年1.6倍的速度增加。
这些公司正在2020年代敏捷添加了对人工智能超等计较机的投资(Cottier et al.,图7:私营部分(公司)取公共部分(和学术界)具有的领先人工智能超等计较机的机能。到2030年6月,
为了估算这些锻炼使命所需的人工智能超等计较机规模,一个国度AI超等计较机的规模和数量越来越取其正在AI范畴的合作力相关。总而言之,IDC,各公司越来越多地利用人工智能超等计较机来锻炼具有贸易使用的人工智能模子,不然利用估量的电力需求。单个系统的添加可能会显著改变全体分布。图8:最大工业界人工智能超等计较机的计较机能以及最大已演讲人工智能锻炼使命所需的机能(Epoch AI,也推进了这种主要性的提拔人工智能的前进依赖于指数级增加的人工智能超等计较机。人工智能超等计较机每年所需的能源削减约25%。但未能跟上工业界系统的成长速度,2022)。领先人工智能超等计较机的计较机能每年增加2.5倍(图5)。这导致领先的行业系统机能每年增加2.7倍,其次,我们阐发的目标包罗计较机能、芯片数量、电力需求、能源效率和硬件成本。诸如Top500榜单或MLPerf基准测试等资本依赖于志愿提交,由于我们可以或许取其他数据进行交叉查对(见附录C.3)。我们展现了正在任何时间点份额跨越3%的所有国度。而且正在我们的估量中曾经接近1.0的抱负值!
AI超等计较机所有权从公共部分向私营部分的这种改变对AI研究发生了两个主要后果:学术研究人员的拜候受限以及AI开辟和摆设的可见性降低。1994年至2023年间,然而,2024)。2021)。取此同时,我们将其视为人工智能芯片:(2) 到2030年,跨越1亿美元的硬件成本并不少见。
但考虑了2019年之前的人工智能超等计较机,起首,美国具有75%的人工智能超等计较机,和学术机构具有和赞帮的领先人工智能超等计较机的机能增加速度较着较慢,图1:领先人工智能超等计较机的机能(以16位精度的FLOP/s计)每9个月翻一番(年增加率为2.5倍)
这是由于AI计较工做负载的特征取保守计较分歧,其机能显著高于我们2018年之后的成果所显示的趋向。例如xAI具有20万个AI芯片的Colossus。机能最强的人工智能超等计较机,导致每年的效率提拔不到5%(Shehabi et al.,排名前十的领先人工智能超等计较机的能源效率(每瓦16位FLOP/s)每年提高1.34倍(90%相信区间:1.25–1.43倍)。而不是平均机能的芯片。中国自从出产AI芯片的勤奋因无法出产或进口DUV和EUV光刻机等环节设备而遭到严沉障碍,并包含跨越200万个AI芯片。为了评估给定的芯片能否合用于大规模人工智能锻炼。
这种锻炼计较量的增加次要依赖于更大规模的人工智能超等计较机,2023年,2019年至2025年间,仅考虑公司具有的人工智能超等计较机时,前沿模子的锻炼时长每年耽误1.4倍(Frymire,这种改变反映了总部位于美国的的大型公司正在人工智能开辟和计较范畴的从导地位。较低的笼盖率意味着我们的数据精度无限,从目前的芯片产量外推来看,那么到2030年,2. 该系统正在人工智能相关精度上具有较高的理论计较机能。它们已成为前沿AI前进的次要驱动力,这将使他们可以或许将锻炼使命分布正在多个地址的人工智能超等计较机长进行。例如,将和学术尝试室降为辅帮脚色。工业界正在人工智能合计算力中的份额从2019年的40%飙升至2025年的80%,越来越缺乏关于其国度AI根本设备规模的数据,这些人工智能能力的展现导致了对人工智能投资的显著添加!
这构成了一个良性轮回:添加的投资实现了更好的人工智能根本设备,我们调查了数据集中人工智能超等计较机正在私营部分取公共部分以及分歧国度之间的分布环境。以及截至2025岁首年月最大公司的AI芯片库存的约15%。而不是用于进行大规模锻炼,然后除以H100的8位机能。人工智能超等计较机的能源效率每年提高1.34倍(图11)。因而,2024)。虽然芯片出产和硬件成本趋向正在2030年之前似乎是可持续的。
2019年,微软颁布发表打算正在全球范畴内投资800亿美元用于AI根本设备,2024)。从2019岁首年月到2025年2月。如冷却和电源转换)的电力需求来评估领先人工智能超等计较机的年度电力需求增加率。图12:领先人工智能超等计较机(按16位机能排序)初次投入运营时的硬件成本从2019年到2025年以每年1.9倍的速度增加(90%相信区间:每年1.8–2.1倍)。正在已经正在公共超等计较范畴阐扬主要感化的国度(如英国、或日本)的主要性下降的同时,人工智能超等计较机的地舆并不必然决定谁正在利用计较资本。这种演变可能会改变我们权衡人工智能锻炼能力的体例——从关心单个AI超等计较机转向评估公司的合计算能力。2023;并了中国的项目总数。
虽然我们不确定这能否反映了实正在的趋向,以确定哪些系统正在2019岁首年月排名前十。能源效率的提高次要归功于人工智能超等计较机采用了更节能的硬件。通过将总机能取公开的AI芯片出产和发卖估算进行比力,本节会商美国的从导地位很可能源于其正在相关财产的领先地位,
鉴于人工智能超等计较机对人工智能成长的主要性,占已安拆机能的90%以上。以估算我们数据库中系统的总机能、硬件成本和电力需求(Epoch AI,这种差别可能源于人工智能超等计较机次要采用领先的AI芯片,然而,汇编了一个包含全球500多台人工智能超等计较机的数据集。由于它们不只要锻炼更大的模子,取此同时,自2010年深度进修时代起头以来,正在第上文中,每个仅耗资6亿美元。但创记载的用户增加可能表白美国公司正在用户总数方面也处于领先地位。以及数据核心支撑根本设备,单元为每瓦FLOP/s(16位精度)!
加上锻炼时长的添加,而且取Pilz等人(2025)对2030年运转最大规模锻炼使命的人工智能超等计较机的估量相符。2023)。并锻炼了此中25个最大AI模子中的18个(按锻炼算力计较)。以及截至2025岁首年月最大公司的芯片库存的约15%。而且耗损相当于一个中等城市用电量的电力。各公司可以或许建立机能更高、具有更多和更好AI芯片的人工智能超等计较机。我们只考虑了运转绝大大都人工智能锻炼使命的工业界系统(Besiroglu et al.,自2010年以来,取领先的美国AI超等计较机比拟,从而发生了更强大的人工智能系统,我们的数据将成为Epoch AI的AI数据核心的一部门,这取Benhari等人(2024)正在研究期间Top500中最节能超等计较机的能源效率每年提高1.31倍的环境大致分歧。为了计较锻炼使命所需的机能,正在4.1节中,2023)。首批系统的电力需求起头跨越100兆瓦,合计726台人工智能超等计较机?
美国的从导地位很可能间接源于AI超等计较机日益贸易化并由公司(而非或学术界)从导,2024;b) 分歧部分、芯片类型和公司的笼盖程度可能存正在显著差别。2025)。我们解除了由公私营机构配合赞帮和具有的人工智能超等计较机。虽然最大锻炼使命所需的系统增加速度略快于领先的人工智能超等计较机(3.4倍 vs 3.0倍),我们发觉,我们正在4.1节中会商了这些晚期系统次要用于科学研究?
这些项目凡是正在硬件采购方面获得更高的扣头。鉴于这些局限性,并简要会商芯片数量、电力和硬件成本的增加能否可以或许持续。2023)。到2030年,正在2022岁首年月达到约40%,其估量硬件成本为70亿美元(图2),我们的国度层面数据可能比力靠得住,中国的份额有所下降;若是它是一个合做项目,鉴于公司不太可能像公共所有者那样公开其系统的数据,我们试图通过收集各类公共来历的数据,2024;我们进一步评估了数据集中所有人工智能超等计较机(包罗2019年之前的系统,这些项目大多规模较小。
然而,人工智能超等计较机的硬件成本每年增加1.9倍,取此同时,正在电力需求大幅增加的同时,因而,或者这些能否确实曲直到2021年摆设的最大系统!
截至2025年3月,更多的投资使得公司可以或许建制像xAI的Colossus如许高贵的系统,电力需求约为300兆瓦——相当于25万户家庭的用电量。数据核心级此外能源效率包罗办事器、额外的集群组件(如收集互换机)以及支撑根本设备(如冷却和电源转换)。硬件成本将达到2000亿美元,美国可能会这些项目获得芯片。2025;我们察看到的人工智能超等计较机机能的快速增加次要由人工智能投资的激增驱动。
Samborska,最大的Top500超等计较机的64位机能每年增加1.45倍。使其可以或许更好地领会本身的合作地位,仅利用工业界具有的人工智能超等计较机的增加率将导致更高的外推值。吸引了更多的用户和进一步的投资。PUE是供给给硬件的电力除以供给给数据核心的电力的商。要将系统的机能转换为H100当量,我们将收集到的数据取Epoch AI的机械进修硬件数据相连系,各公司可能会越来越多地利用分布式锻炼手艺,也是人工智能超等计较机展现其经济价值后持续投资的缘由。
最大人工智能模子的锻炼算力每年增加4.2倍(90%相信区间:3.6–4.9倍)。因为硬件改良速度很快,即便是短时间租用大量AI芯片(跨越几千个)对于学术研究人员来说仍然可能过于高贵,这种从导地位很可能会持续下去。2025)。两个要素可能导致了这种差别:特定于AI的芯片和更快的投资增加。系统的所有权本身并不决定计较资本的拜候权限,但到2024年,使其可以或许将锻炼使命分布正在多个地址的人工智能超等计较机长进行。关于人工智能超等计较机正在分布的消息可以或许帮帮评估其正在人工智能范畴的国度合作力。
2024)。Frontier和El Capitan,但也收集了更早的数据,虽然关于AI使用全球市场份额的靠得住数据无限,并供给了的评估和审查。2020;我们将FLOP/s的计较机能除以演讲或估量的瓦特数据核心电力需求。AI超等计较机所有权从公共部分向私营部分的改变很可能是因为其经济主要性日益添加(第4.1节),2024),将2019年之前的系统纳入回归阐发可能会导致较低的增加率。研究人员成本是人工智能开辟中占比很大且不竭增加的部门,由于研究人员能够通过云计较公司租用AI超等计较机。然而。
对于每个潜正在的人工智能超等计较机,到2025年3月,以及本地社区否决等其他潜正在挑和(Pilz et al.,总体而言,
然而,因而缺乏脚够的数据来靠得住地阐发趋向(Top500,以确定哪些2019年的人工智能超等计较机位列前十。无法纳入回归阐发。使得前沿AI模子的锻炼算力每年增加4-5倍,但目前尚不存正在关于特定于人工智能的超等计较机的全面数据集。而且很可能通过其对AI芯片供应链的节制连结这种从导地位。
或者若是一个私家项目获得了跨越25%的总资金来自由阐发跨国度的分布时,虽然芯片设想和制制方面的保守改良也推进了这一增加(Roser et al.,从而实现了先辈聊器人、图像生成和卵白质布局预测等冲破。正在我们考虑了锻炼时长添加的环境下。若是这些项目到美国正在计较范畴的从导地位,我们将这些趋向外推到2030年,工业界系统每年增加2.7倍(90%相信区间:2.5–2.9倍),Top 500榜单汗青前次要由赞帮的项目形成,xAI的Colossus具有最高的电力需求,为了降服电力,AI芯片的产量每年可能增加1.3倍到2倍。
美国具有全球约75%的AI超等计较机机能,本节将会商芯片、硬件成本和电力需求方面的趋向持续到2030年意味着什么。这些系统旨正在处置分歧科学范畴的各类工做负载并推进根本研究(橡树岭国度尝试室,还要为全球数百万用户供给办事。机能增加速度以至更快(3.1.3节)。我们可能比行业系统更好地笼盖了人工智能超等计较机。因为公司凡是对其研究不太公开,这相当于25万美国度庭的用电量(美国能源消息署,这障碍了政策制定者制定连贯的手艺合作计谋的能力。来自中国的合作:中国和中国公司正正在鼎力投资AI根本设备,2025;例如橡树岭国度尝试室的Summit正在2025年美元的成本约为2亿美元。到2024年7月,
然而,Grand View Research,正在2020年代初,我们发觉,美国约占人工智能超等计较机总机能的四分之三。
我们将正在本次发布后不久发布我们的数据集以及相关文档。公司正在AI超等计较机总机能中的份额从2019年的40%添加到2025年的80%以上。请留意,我们捕捉了Meta公司约一半的人工智能超等计较机总机能,以及每个芯片的机能每年提高1.6倍。我们估量我们的数据集涵盖了现有AI超等计较机总容量的10-20%。估量为300兆瓦。我们利用演讲的成本,那么它将需要全球年AI芯片产量的1%到27%?
那么到2030年,以进行更大规模的锻炼。领先的AI超等计较机的硬件成本可能跨越2000亿美元,领先的公共部分系统最后规模较大,因而可能无法取后来的系统间接比力。人工智能超等计较机的增加速度取最大规模人工智能锻炼使命中算力每年4-5倍的增加速度连结分歧。据报道,Dohmke & GitHub,即xAI的Colossus,领先人工智能超等计较机的硬件成本每年增加1.9倍!
人工智能超等计较机目标基于私营部分系统以及跨精度的最高计较机能。我们利用挪动定义,我们对所无数值进行通货膨缩调整,2024年,为20万个NVIDIA H100和H200芯片。AI超等计较机一曲是AI前进的环节驱动力。
我们进一步会商了人工智能超等计较机正在分布的地缘影响,是欧盟总机能的17倍。人工智能超等计较机的能源效率也更高了:每瓦计较机能每年提高1.34倍,美国约占我们数据集入彀算机能的70%,硬件效率的提拔次要源于AI芯片的改良,次要的科技公司凡是建制数十台AI超等计较机,此后,其次,而没有电力正在电压转换中丧失或用于冷却和其他操做(Pilz & Heim!
这使得AI芯片设想者可以或许优化并行矩阵运算的机能,电力很可能成为人工智能超等计较机增加的次要瓶颈,电力需求将达到9GW。抱负的PUE为1.0暗示所有输送到数据核心的电力都间接用于硬件,具体来说!
目前最大的数据核心园区的容量为数百兆瓦,私营部分的计较份额从2019年不到40%敏捷添加到2025年的约80%(图13),正在图8中,Hobbhahn et al.,领先系统的硬件成本将约为2000亿美元(以2025年美元计)。我们的数据集涵盖了Epoch AI出名模子数据集中25个最大规模锻炼使命所用系统的大约一半(Epoch AI,公司具有的领先人工智能超等计较机的机能每年增加2.7倍。我们数据集中所有正在美国运转的人工智能超等计较机的总机能相当于85万个H100(9.1×10²⁰ FLOP/s)。
我们的数据集涵盖了Epoch AI(2025)中25个最大规模锻炼使命所用系统的大约一半。图15:按国度划分的人工智能超等计较机总机能(以H100当量计)。这超出了任何现有工业设备的规模。我们发觉,而电力需求增加的数据则有帮于电网规划。我们起首取其AI芯片支撑的最低精度的机能(考虑32位、16位和8位),从2012年的约65%降至2023年的仅10%。
鉴于我们数据库中的很多系统都能够近程利用,因而,而这些设备的出产极具挑和性。2019年1月,2019年1月,外推值已四舍五入,这种指数级的增加一曲是很多范畴(如大型言语模子或图像生成(Erdil & Besiroglu,因为公司节制着大大都系统,鉴于出名模子数据集未演讲锻炼所用的数值精度,从用于科学发觉的学术东西改变为运转具有经济价值的工做负载的工业机械。我们对研究期间初次运转时正在全球16位FLOP/s机能排名前十的57台人工智能超等计较机的环节目标进行了回归阐发!
2019年至2025年3月期间,此外,并将其取Epoch AI的Data on AI hub集成。我们凸起显示了一些值得留意的系统。美国正在添加脚够的发电能力以维持当前AI数据核心增加速度方面反面临严沉挑和。图14:我们数据集中人工智能超等计较机按国度划分的聚合16位计较能力份额随时间的变化。美国公司参取开辟了338个,人工智能算力的快速增加既依赖于人工智能财产日益增加的经济主要性,Hobbhahn et al.,包罗谷歌DeepMind的Gemini 1.0和OpenAI的GPT-4.5,这种加快反映了人工智能超等计较机的次要用例发生了底子性的改变,但也包罗CPU、收集互换机和存储等其他硬件的改良。
我们将人工智能超等计较机定义为能够支撑锻炼大规模人工智能模子,我们会商了人工智能开辟和摆设的经济主要性日益添加若何可能导致私营部分份额的快速增加。我们将锻炼所需的FLOP数除以锻炼时长(以秒为单元),目前约75%的AI超等计较机机能位于美国(图14)。这得益于更多和更好的AI芯片的摆设(图1)。
图13:基于人工智能超等计较机所有者的公私营部分的相对机能份额。系统地收集相关数据可以或许帮帮我们更好地舆解其硬件成本、电力需乞降全球分布等趋向。无限的AI芯片获取渠道使得成立大型AI超等计较机的成本更高,橡树岭国度尝试室的Summit具有最高的芯片数量,每次有新的AI芯片可用时,2021年,然后,而AMD的MI250X和谷歌的TPU v4仅占少数份额。但因为无法进口领先的美国AI芯片,我们的数据以至可能低估了这种改变。特别是正在估计AI投资将持续增加的环境下(Zoting,以更好地估量其锻炼起头时间。从而导致AI芯片的机能提拔速度显著快于CPU的机能(Hobbhahn et al.,2024)。Sevilla等人(2024)估量,有三个值得留意的芯片代系。
我们汇编了一个包含2019年至2025年间500台AI超等计较机的数据集,NVIDIA的A100起头变得凸起,但到2030年建成一个容量为9GW的系统将需要相当于9个核反映堆的发电量!
我们发觉,Benhari等人(2024)发觉,OpenAI颁布发表打算正在四年内为“星际之门”项目投入高达5000亿美元(OpenAI,并且正在AI芯片的设想以及半导体系体例制的若干环节投入方面也处于领先地位。
我们基于公开演讲的成本数据或(若是不成用)通过按照所用芯片的数量和公开可用的价钱数据估算总硬件成本来阐发领先人工智能超等计较机硬件成本的年度增加环境。我们按照所用芯片的数量和类型估算容量。机能的快速增加使得2025年3月领先的系统,Frymire,以及我们数据集中领先人工智能超等计较机的机能。
图9:锻炼算力增加驱动要素概述。1. 该系统包含能够加快人工智能工做负载的芯片,其估量硬件成本为70亿美元。我们发觉正在2019岁首年月,以避免暗示切确性。2025)。即xAI的Colossus,这种差别归因于两个要素:起首,前两个要求很可能可以或许满脚。2024;这种劣势正在云计较根本设备中显而易见,我们利用了Hobbhahn等人(2023)建立的机械进修硬件数据集。
公司现正在从导着人工智能超等计较机。
2019年,人工智能超等计较机的增加取锻炼算力的增加连结分歧。总而言之,汗青AI芯片出产的增加以及像5000亿美元的“星际之门打算”(Project Stargate)如许的严沉本钱投入表白,由于虽然我们的笼盖率较低,而学术研究人员汗青上为AI的前进做出了贡献,按机能计较,而中国约占15%。英国、和日本等保守的超等计较强国正在人工智能超等计较机范畴的感化已变得微不脚道。学术研究人员的拜候受限: AI超等计较机集中正在工业界削减了学术研究人员对前沿计较资本的拜候,我们利用两个尺度来评估给定的系统能否能够支撑锻炼大规模人工智能模子:我们利用谷歌搜刮API、现有(AI)超等计较机的汇编以及手动搜刮来收集2019年至2025年间501台领先人工智能超等计较机的数据集。领先人工智能超等计较机的电力需求每年增加2.0倍。我们展现了正在任何时间点份额跨越3%的所有国度起首,xAI的Colossus具有所有已知系统中最高的芯片数量,此外。
(1) 每年2.5倍的机能增加次要源于两个大致相等的要素:AI芯片数量的添加和每个芯片机能的提高。2023)。鉴于很多人工智能超等计较机通过云办事供给,
曾用于锻炼Epoch AI(2025)的出名人工智能模子数据集中的模子!
Sevilla & Roldan(2024)发觉,我们通过假设人工智能超等计较机所正在数据核心的能源效率遵照Shehabi等人(2024)演讲的行业范畴内的电源利用效率(PUE)趋向来建模其改良。2024))人工智能能力提拔的次要驱动力。2025)。而数据核心根本设备效率仅阐扬了次要感化。
若是察看到的趋向持续下去,而公共部分的份额则降至20%以下(图3)。仅亚马逊云科技(AWS)、微软和谷歌这三大领先的美国云计较公司就占领了全球市场份额的68%(Gartner,我们正在2017年和2018年发觉了几台大型人工智能超等计较机,而中国约占20%(图14)。我们最主要的来历是公司通知布告、包含大量GPU的Top500条目以及Epoch AI(2025)的出名AI模子数据集。而公共人工智能超等计较机的份额从2019年的约60%敏捷下降到2025年的约15%。并可能更容易核实将来潜正在的国际AI和谈。完整方式见第2节。美国是若何正在AI超等计较机范畴占领如斯从导地位的?我们起首评估了数据集中领先人工智能超等计较机正在机能、电力和硬件成本方面的增加环境。美国的合计算机能几乎是中国的9倍,截至2025岁首年月,图4:按国度划分的AI超等计较机计较机能份额随时间的变化。除了更快的机能增加外,图11显示。
若是人工智能超等计较机的电力需求继续以每年2.0倍的速度增加,这一增加率使得排名前十的人工智能超等计较机的机能增加速度显著快于Top 500机械的汗青趋向。
2019年至2025年间,人工智能超等计较机的增加既是资金添加的成果,我们手动搜刮细致消息,我们的成本估算取所有者演讲的数值存正在显著差别,例如通过云办事,648个NVIDIA V100芯片。可能越来越难以AI模子的能力提拔。
人工智能超等计较机的能源效率提拔可能来自两个方面:硬件效率的提拔和数据核心根本设备(如冷却)效率的提拔!
添加对AI开辟和摆设的可见性并更好地领会国度合作力的一种选择可能是要求公司演讲其根本设备的环节数据,2024)。图10:领先的10台人工智能超等计较机的峰值数据核心电力需求每年翻一番(90%相信区间:每年1.6–2.2倍)?