购票订单
我的门票
我的展位
登录/注册
首页
国内展会
展馆中心
展会日历
新闻资讯
400-667-1796
返回
英特尔至强和AI PC等产品为Meta Llama 3生成式AI工作负载提供加速
Invalid Date
英特尔丰富的AI产品——面向数据中心的至强处理器,边缘处理器及AI PC等产品为开发者提供最新的优化,助力其运行Meta新一代大语言模型Meta Llama 3 Meta近日推出其下一代大语言模型(LLM)——Meta Llama 3。在发布的第一时间,英特尔即优化并验证了80亿和700亿参数的Llama 3模型能够在英特尔 ® 至强 ® 处理器、 英特尔 ® Gaudi加速器、 英特尔 ® 酷睿 ™ Ultra处理器和英特尔锐炫™显卡的AI产品组合上运行。 “ 英特尔一直积极与AI软件生态系统的领先企业展开合作,致力于提供兼具性能与易用性的解决方案。Meta Llama 3是AI大语言模型重要迭代的新一浪潮。作为AI软硬件产品技术创新的引领者,英特尔很开心能够与Meta合作,充分挖掘诸如Llama 3等模型的潜力,助力生态伙伴开发领先的AI应用。 —— 李炜 英特尔副总裁 兼人工智能软件工程总经理 ” 重要意义: 秉承推动AI无处不在的愿景,英特尔持续深耕软件和AI生态,以确保其产品能够满足AI领域持续变化的创新需求。在数据中心,集成英特尔 ® 高级矩阵扩展加速引擎(Intel ® AMX)的英特尔至强处理器和英特尔Gaudi能够为满足客户不断变化、多元化的需求提供更多选择。 英特尔酷睿Ultra处理器和英特尔锐炫显卡不仅为开发者提供了本地开发工具,也为在数百万台设备上进行部署提供全面的软件框架和工具支持。其中,包括PyTorch和用于本地研发的英特尔 ® PyTorch扩展包,以及用于模型开发和推理的OpenVINO ™ 工具包等。 在英特尔产品上运行Llama 3: 英特尔初步测试和评估80亿和700亿参数的Llama 3模型在自身产品上的性能时,使用了包括PyTorch、DeepSpeed、英特尔Optimum Habana库和英特尔PyTorch扩展包在内的 开源软件 ,并提供最新的软件优化。有关更多性能细节,请访问 英特尔开发者博客(点击文末 ,查看更多信息)。 ● 英特尔至强处理器能够运行严苛的端到端AI工作负载,同时为了降低延迟,英特尔也通过技术创新来优化大语言模型的推理性能。 配备性能核的英特尔 ® 至强 ® 6处理器(代号Granite Rapids)在运行80亿参数的Llama 3模型推理时,延迟比第四代英特尔 ® 至强 ® 处理器表现出两倍的提升,并且能够以低于100毫秒的token延迟运行700亿参数的Llama 3模型推理。 ● 英特尔 ® Gaudi 2加速器在70亿、130亿和700亿参数的Llama 2模型上具备优化的性能,现在其基于全新的Llama 3模型也有了初步性能测试。 随着英特尔Gaudi软件的更新,英特尔能够轻松运行新的Llama 3模型,并为推理和微调生成结果。 近期发布的英特尔 ® Gaudi 3加速器也支持运行Llama 3。 ● 英特尔酷睿Ultra和英特尔锐炫显卡在运行Llama 3时亦展现出卓越的性能。在初步测试中,英特尔酷睿Ultra处理器已经展现出远高于人类通常阅读速度的输出生成性能。此外,英特尔锐炫 ™ A770 显卡具备Xe内核中的全新矩阵引擎(Xe Matrix eXtensions,XMX)AI加速和16GB显存,进一步为大语言模型工作负载提供卓越性能。 未来,Meta将增加新的能力、更多模型尺寸以及增强的性能。英特尔也将持续提升自身AI产品性能,以支持这一全新的大语言模型。 注释 完整的性能声明和配置可在网址查看:https://www.intel.com/content/www/us/en/developer/articles/technical/accelerate-meta-llama3-with-intel-ai-solutions.html 仅在特定的H系列英特尔 ® 酷睿 ™ Ultra处理器驱动的系统上提供集成的英特尔锐炫 ™ 显卡。 ©英特尔公司,英特尔、英特尔logo及其它英特尔标识,是英特尔公司或其分支机构的商标。文中涉及的其它名称及品牌属于各自所有者资产。 2024 ChinaJoy 参展、赞助及合作接洽,请咨询主办方工作人员: 参展赞助及合作 朱女士: toma.zhu@howellexpo.net 张女士: zhangsui@howellexpo.net 刘先生: liubaichen@howellexpo.net 师先生: shijin@howellexpo.net 杨女士: yangyanping@howellexpo.net 刘女士: emily_liu@howellexpo.net 戚先生: weber.qi@howellexpo.net 官方媒体宣传合作 国内媒体合作 朱女士: sumi_zhu@howellexpo.net 国际媒体合作 李女士: leah_li@howellexpo.net 海外自媒体宣传 高先生: stanleygao@howellexpo.net
联系我们
在线客服
关注我们