n_214128
您当前的位置:汽车发烧友 > 热点

ElonMusk透露:训练下一代Grok3模型,需要100000个H10

添加时间:2024-04-10 13:11   来源: 证券之星   阅读量:6185   

如果您希望可以时常见面,欢迎标星收藏哦~

特斯拉首席执行官、xAI创始人埃隆·马斯克对通用人工智能的发展做出了一些大胆的预测,并讨论了人工智能行业面临的挑战。据路透社报道,他预测 AGI 最快将于明年或 2026 年超越人类智能,但需要大量处理器进行训练,而这又需要大量电力 。

马斯克的企业 xAI 目前正在训练其 Grok 大语言模式的第二个版本,预计在 5 月份完成下一阶段的训练。Grok 版本 2 模型的训练需要多达 20,000 个 Nvidia H100 GPU,马斯克预计未来的迭代将需要更多的资源,Grok 3 模型需要大约 100,000 个 Nvidia H100 芯片来训练。

马斯克表示,人工智能技术的进步目前受到两个主要因素的阻碍:先进处理器的供应短缺以及电力的供应。

Nvidia 的 H100 GPU在充分利用时功耗约为 700W,因此用于 AI 和 HPC 工作负载的 100,000 个 GPU 可能会消耗高达 70 兆瓦的功率。由于这些 GPU 需要服务器和冷却来运行,因此可以肯定地说,拥有 100,000 个 Nvidia H100 处理器的数据中心将消耗大约 100 兆瓦的电力,这相当于一个小城市的耗电量。

马斯克强调,虽然迄今为止计算 GPU 供应一直是一个重大障碍,但电力供应在未来一两年内将变得越来越重要。这种双重约束凸显了扩展人工智能技术以满足不断增长的计算需求的挑战。

尽管面临挑战,但计算和内存架构的进步将使未来几年能够训练日益庞大的大型语言模型成为可能。Nvidia在 GTC 2024 上展示了 Blackwell B200,这是一种 GPU 架构和平台,旨在扩展到具有数万亿参数的 LLM。这将在AGI的发展中发挥关键作用。

事实上,马斯克相信,比最聪明的人类更聪明的人工智能将在未来一两年内出现。“如果你将 AGI 定义为比最聪明的人类更聪明,我认为可能是明年,两年之内,”马斯克在接受 X Spaces 采访时表示。这意味着显然是时候再次观看《终结者》了,并希望我们未来的 AGI 霸主会比天网更好。

正在研究英伟达的新型人工智能芯片

尽管埃隆·马斯克倾向于与科技竞争对手较量,但他也渴望获得英伟达最热门的科技芯片。

上个月,在这家芯片制造商于加利福尼亚州圣何塞举行的年度 GPU 技术大会 期间,两位 xAI 联合创始人(马斯克创立的作为 OpenAI 竞争对手的人工智能公司)在所谓的人工智能伍德斯托克举行了会议。

xAI 联合创始人 Igor Babuschkin 随后主持了一场演讲,介绍了该公司如何使用 Nvidia 的 GPU 以及机器学习框架 JAX来训练其聊天机器人Grok。同一天,另一位 xAI联合创始人兼研究科学家 Christian Szegedy与 Nvidia 数据科学家 Bojan Tunguz 进行了炉边聊天,讨论了软件合成和验证、LLM 对齐以及 Grok 的趣味模式。

即使他没有上台,马斯克的话也出现在了会议中:这位首席执行官在英伟达新型 Blackwell 芯片的官方新闻稿中被引用。他在声明中表示:“目前没有什么比 Nvidia 的人工智能硬件更好的了。” Nvidia、特斯拉和 xAI 均立即回复了置评请求。

马斯克的特斯拉被他称为“一家人工智能/机器人公司,在许多人看来就像一家汽车公司”,该公司一直依赖英伟达驱动的超级计算机来生产电动汽车——至少直到去年 7 月,马斯克在特斯拉财报 中表示。演示中,电动汽车制造商 将致力于建造自己的 10 亿美元超级计算机,名为 Dojo。一月份,马斯克在推特上表示,建造这台超级计算机将花费 5 亿美元,但与特斯拉在 Nvidia 硬件上的花费相比,这笔费用只是九牛一毛。他写道:“目前,在人工智能领域保持竞争力每年至少需要数十亿美元。”

尽管马斯克是英伟达的客户,但他也批评了这家芯片制造商,并暗示竞争即将到来。去年 6 月,他在 X 上写道, Nvidia “不会永远垄断大规模训练和推理” 。

英伟达已经有全球顶级科技公司在排队购买其新的 Blackwell 芯片。其最大的两个客户微软和 Meta已经宣布已经下订单。得益于芯片制造商 Blackwell 之前的芯片 H100,Nvidia 在 2 月份成为第一家市值达到 2 万亿美元的半导体公司,并成为世界上最有价值的公司之一。英伟达第四季度收益超出了华尔街预期,营收达 220 亿美元,较上年增长近 270%。

点这里加关注,锁定更多原创内容

今天是《半导体行业观察》为您分享的第3731期内容,欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID:icbank

喜欢我们的内容就点“在看”分享给小伙伴哦

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

猜您喜欢
  • 内外大变样!畅销全球的本田CR-V迎来第六代
    内外大变样!畅销全球的本田CR-V迎来 就在昨天晚上,美规版2023款本田CR-V正式首发亮相,这是CR-V家族的第六代车型,整车的内外...
  • 欧萌达打破次元壁,售9.29万元-12.69万元
    欧萌达打破次元壁,售9.29万元-12 7月12日,奇瑞欧萌达在深圳举办了一场别开生面的上市发布会暨新潮派对,奇瑞全新产品系列OMODA...
  • 搭载3.5L V6机增引擎 路特斯Emira V6车型上市
    搭载3.5L V6机增引擎 路特斯Em 近期,路特斯宣布Emira V6车型正式上次。此前,Emira仅推出了2.0T版本车型...
  • 特斯拉销量急剧下减,保时捷又推出电动跑车,决策不当or破局?
    特斯拉销量急剧下减,保时捷又推出电动跑 大家周日愉快,欢迎收到新一期的汽车资讯,相关数据显示汽车市场一片大好,家用汽车品牌,豪华汽车品牌...
  • 同台竞技狂飙不止玩王牌竞速游戏赢领克03实车!
    同台竞技狂飙不止玩王牌竞速游戏赢领克0 2022年,在现有汽车运动系统的基础上,林克在《赛车超腕》前线打造了汽车运动系统专属IP,以赛车...
  • 一汽丰田RAV4荣放双擎E+2022款上市售价24.88-29.68万元
    一汽丰田RAV4荣放双擎E+2022款 7月11日,一汽丰田RAV4创新一代高性能运动SUV携双擎E+2022“高能”上市。新车推出四款...