金磊 梦晨 发自 凹非寺量子位 | 公众号 QbitAI
家东说念主们,你知说念近段时期大火的各式大模子一体机,里面到底是什么卡吗?
治服许多小伙伴的第一响应,大略就是N卡。
但在咱们战役、体验了真实的大模子一体机之后,发现了一个大写的“万万没思到”:

没错,里面也不错是的锐炫™ 显卡!
那这性能到底能不可跟上呢?
带着这个问题,在体验之余,咱们还“合手”来了一个正在为这种一体机开荒有蓄意的软件公司进行了一番“征询”。
这家公司叫飞致云,主要是把大模子一体机用在了自家的MaxKB上(一款基于大讲话模子的问答系统)。
他们是把4张锐炫™ A770显卡和2张N卡放到一齐,作念了一下对比测试:
关于兼并个相对规模较大的任务,搭载N卡的一体机大要耗时半小时,而搭载锐炫™ A770显卡的一体机则需要50分钟。
但是!
买半张N卡的钱,就能玩忽处分4张锐炫™ 显卡。
由此,飞致云给出了这么一个论断:
基于锐炫™ A770显卡的大模子一体机,在性价比上确切是太香了它超过允洽30-50东说念主规模的团队来使用。

一个“性价比”要津词,说念破了为什么大模子一体机里面会出现英特尔游戏卡。
毕竟之前企业要独有化部署一个目下最流行的DeepSeek一体机,阿谁价钱然而动辄便破百万元。
但当今,英特尔靠着自家的游戏卡,把这个价钱径直就砍掉一个数目级。
因此,当今的大模子一体机,有了另一种更高性价比的遴荐。
而况有一说一,除了一体机自己,如若聚焦在AI推理的任务上,当今不错说是处处齐有锐炫™ 显卡的影子。
搞AI推理,请记取全新英特尔GPU+CPU组合
领先要讲解的少许是,搞大模子一体机,英特尔靠的不单是是自家游戏卡那么浅易。
它的背后其实是一记组合拳的模式:
英特尔锐炫™ 显卡+至强® W 处理器。

锐炫™ 显卡在这里面的脚色无须多说,主要是推理的“加快器”。
而至强® W 处理器不仅能充任“大脑”的脚色,来细密通用诡计与系统谐和,还能在一些开源软件平台,如KTransformer或英特尔我方开荒的器用,如FlashMOE的匡助下,与显卡互助进行异构加快,举例在DeepSeek中承担一些寥落MOE的处理做事。
为了充判辨析锐炫™ 显卡的才智,英特尔通过优化显存带宽(如A770卡间通讯达20G/秒)和低时延技艺(如内存拷贝优化),解决了多卡并行时的性能损耗问题,升迁了隐隐量(如70B模子相沿12路及时聊天)。
即便关于不同规模场景,英特尔也能作念到适配——从供AGI开荒东说念主员使用的做事站(2卡)到装载4卡或8卡的大尺寸一体机,能闲散各种化且各别化的需求。

举例咱们刚才提到的飞致云的MaxKB,在常识问答、智能客服、内容生成、文档合规查验等场景中就齐全了效果升迁、资本优化和风险箝制。同期依托高性能硬件解决了AI模子独有化部署与算力需求问题。
除此以外,咱们发现还有好多企业齐在遴荐构建英特尔这对CPU与GPU组合的一体机系统、软件或举座解决有蓄意。
超云,就是其中之一。

超云基于英特尔的平台,打造了三种不相通式的栽培。
举例安妥庸俗办公环境的塔式做事站、袖珍液冷一体机,相沿包含英特尔锐炫™ 显卡在内的2-4张GPU卡。
再如最高可配8卡的大尺寸高端一体机,可初始32B-70B参数规模的大模子。
据了解,通盘这些机型齐依然干与到了骨子使用当中,主打:
企业里面AI助手:超云自身使用开源模子搭建常识库系统,齐全自动化报价、报销审批;金融行业智能投顾:基于32B蒸馏模子,提供及时数据分析与投资漠视;海量文档处理:使用智能OCR+大模子,齐全公文自动存档与检索。
与之访佛的还包括云尖。
它推出边际推理做事站,相沿4张GPU卡,适用7B-32B轻量化模子,不错闲散文档OCR、智能质检等企业腹地化AI专揽。
此外,依然pick英特尔平台的一体机解决有蓄意还有许多,夙昔可能还会有更多,而如斯多合作伙伴的一致遴荐,也就不难从侧面印证少许:
不论是单纯的AI推理专揽,亦或是交融了推理及各式可视化坐褥力专揽的复合场景,英特尔这套组合拳,决然成为了一种业界公认的、高性价比的新选项。



一体机,为什么纷纷遴荐英特尔平台?
自春节前DeepSeek-R1惊艳亮相,经过两个多月的千里淀,从行业落地情况来看,赫然呈现出一个趋势:
越来越多的企业遴荐以一体机的体式将DeepSeek融入业务。而这一趋势,也在影响其他大模子落地的“姿式”。
而部署速率快,恰是这一趋势得以率先涌现的原因。
一方面,收获于一体机开箱即用且便捷为各垂直行业深度定制化的特色,预装模子、优化软硬件协同,让企业无需自行复杂调试。
另一方面,启动资本低的上风让企业能先用一体机把大模子跑起来,再安定迭代。
虽然,关于开阔企业而言,在遴荐一体机时,除了追求速率上风以外,骨子上还有着更多深端倪、全观点的考量身分,这些身分详细起来影响着企业的决策:
性能与资本更均衡,运营资本裁汰
一体机可齐全性能与资本的精妙均衡,其凭借盛大高效的硬件建立和优化的软件系统,为企业提供褂讪高效算力,闲散业务需求,幸免使用云算力的不竭用度,裁汰运营资本。
运维简化
传统IT系统由多种硬件栽培和软件系统构成,运维治理复杂繁琐,企业需干与无数东说念主力、物力和时期进行装配、建立、严防和更新。而一体机将软硬件深度集成为融合举座,简化了运维历程,企业融合治理严防即可应酬业务需乞降技艺挑战,运维效果大幅提高,而治理难度和资本齐权贵裁汰。
褂讪可靠
对AI业务而言,衔接性和褂讪性很遑急。一体机软硬件经严格集成测试与优化,能在复杂环境万古期褂讪初始。同期不错专机专用,幸免云服务在岑岭期变成速率和可用性上的波动。
英特尔所推出的锐炫™ 显卡与至强® W 处理器的组合,恰是一套闲散以上身分的极具后劲的解决有蓄意。

像这么的建立,不光能够很好地相沿DeepSeek R1系列,同期还与Qwen、Baichuan、Llama等多个开源模子兼容适配。
这意味着在不同的专揽场景和业务需求下,这个组合齐能天真应酬,为企业带来各种化的遴荐和更丰富的功能体验。

这些遴荐,这些体验,蓄意齐唯唯独个,那就是AI普惠或者说AI无处不在。
站在历史的角度,一体秘要承担的职责,恰是要将盛大的AI模子引入百行万企,这与诡计机从大型机时间发展至个东说念主诡计机(PC)时间的进度访佛。
包括DeepSeek在内的大模子前沿改动企业遴荐开源,是激励这一进度的开首,而通盘这个词进度能否速即演进,就要靠全行业的共同参与了。
英特尔在此时,就像穿越回了上世纪80年代,其时它曾凭借盛开架构和高性价比有蓄意再行界说了PC,并拉着大师的合作伙伴们一手促成了PC着实真谛真谛上的“个东说念主化”普及,而今,到了在AI天下复刻这一奏效素养的时候了。