的第一天就能正常运转。公司高管表明,这一战略是由对更大规划、更强才能的AI模型架构需求激增所推进的。
红帽本周发表,红帽企业Linux将在英伟达新款Vera Rubin渠道本年晚些时候发布当天就供给支撑。这一协议标志着两家公司之间更严密的协作流程。Vera Rubin图形处理器是英伟达下一代机架级架构的中心,该架构环绕其根据Grace CPU的规划构建,用于练习和运转多万亿参数的AI体系。据英伟达介绍,该产品具有3360亿个晶体管,可供给50千万亿次浮点运算的功用,练习速度比前代Blackwell GPU快250%。
红帽首席技能官克里斯·莱特在简报会上表明,红帽的这一行动是对全职业硬件开发脚步加快的回应,企业正尽力跟上这一脚步。
莱特说:你可以正常的看到英伟达的硬件交给周期正在加快到年度周期,而在曩昔,新的GPU或加快器每两年乃至三年才会推出。
因而,他表明,红帽和英伟达正在开发进程的更前期就开端协作。咱们有着长时间的工程协作伙伴关系,莱特说。这是在此基础上的加倍投入,保证咱们从最早的阶段就参加进来,与红帽仓库、英伟达软件和硬件一起规划处理方案。
红帽表明,其对Vera Rubin的支撑包含用于硬件启用的RHEL、用于集群编列的OpenShift以及红帽的AI软件层,用于推理、模型布置和智能体作业负载。经验证的英伟达GPU OpenRM驱动程序和CUDA工具包将经过RHEL存储库直接拜访,RHEL将支撑英伟达的秘要核算结构,包含整个AI生命周期,供给作业负载维护的加密证明。
英伟达企业AI产品副总裁贾斯汀·博伊塔诺表明,英伟达正在加快硬件开发,以习惯模型规划的爆破式增加和新式推理智能体。他说,现在最前沿的敞开模型已达到一万亿个参数,英伟达估计到下一年年末将运用十万亿参数的模型。
新类别的推理模型不只猜测序列中的下一个Token,还生成有助于处理杂乱使命的中心推理过程,这进一步扩大了需求。那些驱动智能体的推理模型每年又带来5倍的Token增加,博伊塔诺说。这种组合导致的核算需求在这一点上几乎张狂。
相同的动力正推进英伟达在标准化机架级蓝图上转向年度更新周期。咱们一起规划这些机架级架构,这其实便是六个不同的处理器,以保证咱们尽可能高效地驱动数据和模型,博伊塔诺说。
估计前期选用者将包含超大规划和专心于AI的新云供给商、大型金融机构以及构建私有AI基础设施的公共部门安排。莱特表明,Vera Rubin将吸引为其核算机显示终端构建处理方案的云供给商,以及构建自己内部基础设施的重要大规划企业。
Rubin的一个要害企业功用是机架级秘要核算,它将硬件级加密维护从CPU扩展到GPU和互连。英伟达运用根据硬件的办法,将CPU的可信履行环境扩展到GPU,为AI作业负载创立一致的安全域。
博伊塔诺表明,安全性渐渐的变重要,由于许多模型供给商不想将他们的模型权重交给到他们不运营的数据中心。秘要核算将为在您数据中心运转的这些前沿模型敞开商场。
A:Vera Rubin图形处理器具有3360亿个晶体管,可供给50千万亿次浮点运算的功用,练习速度比前代Blackwell GPU快250%。它是英伟达下一代机架级架构的中心,专门用于练习和运转多万亿参数的AI体系。
A:底子原因是AI模型规划爆破式增加和新式推理智能体的呈现。现在最前沿的敞开模型已达到一万亿个参数,估计到下一年年末将运用十万亿参数的模型。推理模型驱动的智能体每年还带来5倍的Token增加,导致核算需求激增。
A:机架级秘要核算将硬件级加密维护从CPU扩展到GPU和互连,为AI作业负载创立一致的安全域。这处理了许多模型供给商不愿意将模型权重交给到他们不运营的数据中心的安全顾忌,为在企业数据中心运转前沿模型敞开了商场。回来搜狐,检查更加多