设为主页  加入收藏
 
·I2S数字功放IC/内置DSP音频算法功放芯片  ·马达驱动IC  ·2.1声道单芯片D类功放IC  ·内置DC/DC升压模块的D类功放IC  ·锂电充电管理IC/快充IC  ·无线遥控方案  ·直流无刷电机驱动芯片
当前位置:首页->行业资讯
英特尔至强处理器助力Aible加速生成式AI工作负载
文章来源:永阜康科技 更新时间:2024/7/2 9:54:00
在线咨询:
给我发消息
张代明 3003290139
给我发消息
小鄢 2850985542
给我发消息
李湘宁 2850985550
13713728695
 

对于需要运行生成式AI工作负载的企业来说,基于英特尔至强处理器的Aible无服务器解决方案可帮助其降低成本、提高智能化,并有效提升RAG及微调效率

近日,英特尔与端到端Serverless(无服务器)生成式AI和增强型分析方案提供商Aible合作,为企业客户提供了创新的解决方案,助力其在不同代际的英特尔®至强® CPU上运行生成式AI与检索增强生成(RAG)用例。此次合作包含了工程优化和基准测试项目,显著增强了Aible以低成本为企业客户提供生成式AI结果的能力,并帮助开发人员在应用中部署AI。在双方的通力合作下,该可扩展、高效的AI解决方案可通过高性能硬件帮助客户迎接AI挑战。


英特尔至强处理器

英特尔数据中心与人工智能事业部高级首席工程师Mishali Naik表示:“现在,客户正在寻求高效的企业级解决方案以充分释放AI潜力。我们与Aible的合作,也表明了英特尔正与行业紧密协作,推动AI创新,降低客户使用英特尔至强处理器运行最新生成式AI工作负载的门槛。”

至强处理器的生成式AI性能:Aible的解决方案展示了CPU如何显著提升从运行语言模型至RAG的一系列最新AI工作负载性能。基于针对英特尔处理器的优化,Aible技术采用高效、智能的“端到端无服务器”方法,仅在产生用户请求时才会进行资源消耗。例如,基于用户查询,向量数据库仅需几秒即可激活并检索相关信息,而语言模型同样只需简单启动即可处理并响应用户请求,这种按需操作的运行模式有助于企业降低总拥有成本(TCO)。

虽然在多数情况下,RAG功能需通过利用GPU和加速器的并行处理能力来实现,但Aible的无服务器技术与英特尔至强处理器相结合,可使RAG用例完全由CPU来驱动。性能数据显示,多款不同代际的英特尔至强处理器均可高效运行RAG工作负载。


配置详细信息如图,结果可能会有不同

重要意义:Aible通过无服务器的方式使用CPU,可在多个客户之间更为安全地共享底层计算资源,从而帮助客户有效降低生成式AI项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力,而非直接租赁发电机。此外,随着生成式AI需求的增长,性能优化和节能降耗变得愈发重要。Aible所提供的基于CPU的服务,为客户提供了一种经济、高效的解决方案。

根据Aible的基准测试分析,当客户采用基于CPU的无服务器解决方案运行RAG模型时,成本节省可高达55倍1。大幅降低的成本证明了Aible独家方法的有效性,同时这种无服务器的CPU采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于GPU的基础设施需求。

此次英特尔及英特尔实验室与Aible的合作,共同优化了至强处理器上的AI工作负载。值得一提的是,通过优化Aible针对AVX-512的代码,Aible在至强处理器上实现了显著的性能及吞吐量提升,这也彰显了战略性的软件优化对于整体效率的影响。

在Aible平台的支持下,RAG模型与英特尔至强处理器的结合可推动以下应用落地:

• 自然语言处理(NLP)
• 推荐系统
• 决策支持系统
• 内容生成

英特尔与Aible的合作始于第四代至强处理器的发布。此后,双方针对至强处理器的AI工作负载、代码和库进行了一系列优化,并大幅提升了Aible的产品性能。

1英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。

配置详情:

1节点,2x英特尔®至强® Platinum 8280L CPU2.70GHz, 28核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]DLB 0 [0]DSA 0 [0]IAA 0 [0]QAT 0 [0],总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s])BIOS SE5C620.86B.02.01.0017.110620230543,微码0x50036042x以太网连接X722用于10GBASE-T1x 894.3G英特尔SSDSC2KB961x 1.8T英特尔SSDPE2KX020T82x 3.7T英特尔SSDPE2KX040T8Red Hat Enterprise Linux 8.9 (Ootpa)4.18.0-513.18.1.el8_9.x86_64WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUFall-MiniLM-L6-v2gcc 12.2.0IntelLLVM 2024.0.2llama.cppChromaDBLangchainoneAPI基础容器2024.0.1-devel-ubuntu22.04。基于英特尔03/07/24的测试。

1节点,2x英特尔®至强® Platinum 8462Y+32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]DLB 2 [0]DSA 2 [0]IAA 2 [0]QAT 2 [0],总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s])BIOS 05.12.00,微码0x2b0004d02x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网控制器,2x以太网控制器E810-C for QSFP2x 3.5T三星MZQL23T8HCLS-00B7C1x 1.8T三星MZ1L21T9HCLS-00A07Red Hat Enterprise Linux 8.9 (Ootpa)4.18.0-513.18.1.el8_9.x86_64WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUFall-MiniLM-L6-v2gcc 12.2.0IntelLLVM 2024.0.2llama.cppChromaDBLangchainoneAPI基础容器2024.0.1-devel-ubuntu22.05。基于英特尔03/07/24的测试。

 1节点,2x英特尔®至强® PLATINUM 8562Y+32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]DLB 2 [0]DSA 2 [0]IAA 2 [0]QAT 2 [0],总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s])BIOS 3B05.TEL4P1,微码0x210001612x以太网控制器X710用于10GBASE-T2x以太网控制器E810-C for QSFP1x 894.3G英特尔SSDSC2KG961x 3.5T三星MZQL23T8HCLS-00A073x 3.5T三星MZQL23T8HCLS-00B7CRed Hat Enterprise Linux 8.9 (Ootpa)4.18.0-513.18.1.el8_9.x86_64WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUFall-MiniLM-L6-v2gcc 12.2.0IntelLLVM 2024.0.2llama.cppChromaDBLangchainoneAPI基础容器2024.0.1-devel-ubuntu22.06。基于英特尔03/07/24的测试。

关于英特尔

英特尔(NASDAQ: INTC)作为行业引领者,创造改变世界的技术,推动全球进步并让生活丰富多彩。在摩尔定律的启迪下,我们不断致力于推进半导体设计与制造,帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备,我们释放数据潜能,助力商业和社会变得更美好。

 
 
 
    您可能对以下产品感兴趣  
产品型号 功能介绍 兼容型号 封装形式 工作电压 备注
YX2165 YX2065是一款同步升压控制器,宽输入电压范围:4V至65V;最高输出电压65V YX2145/YX2135 4x4mm或5x5mm QFN-32L封装 4V-65V 4V-65V输入、最高65V输出、大功率同步升压CC/CV控制器
YX2065 30A大电流同步降压CC/CV控制器;宽输入电压范围:4V 至 65V;宽输出电压 范围:2V 至 65V YX2045/YX2035 4x4mm或5x5mm QFN-32L 封装 4V-65V 4V-65V宽电压输入,30A大电流同步降压CC/CV控制器
YX2265 YX2265是一颗宽电压同步升降压控制器,输入电压范围:4V至65V;输出电压范围:2V至65V;CC/CV调节功能使其适用于电池充电系统。 YX2235/YX2245 QFN-32 4V-65V 4V-65V输入、2V-65V 输出,同步升降压 CC/CV 控制器
 
 
    相关产品  
 
 
·蓝牙音箱的音频功放/升压/充电管
·单节锂电内置升压音频功放IC选型
·HT7179 12V升24V内置
·5V USB输入、三节锂电升压型
·网络主播声卡专用耳机放大IC-H
 
M12269 河北发电机组 HT366 ACM8629 HT338 

业务洽谈:手机:13713728695(微信同号)   QQ:3003207580  EMAIL:panbo@szczkjgs.com   联系人:潘波

地址:深圳市宝安西乡航城大道航城创新创业园A5栋307/309

版权所有:深圳市永阜康科技有限公司  备案号:粤ICP备17113496号