一台摆放在办公桌上、体积仅比机顶盒略大的设备，内置数百GB的统一内存，即便没有网络连接，也能运行千亿参数级别的大模型。它无需专用机房或机柜，通电即可使用，且数据完全保留在本地。这就是AI Box——一台被搬到办公桌上的数据中心。

在AI Box这一领域，苹果、英伟达、AMD、微软、英特尔等巨头均已入局。然而，这种产品形态并不算新鲜，为何到了2026年，这种“接上显示器就是一台电脑”的小盒子会成为各方争夺的焦点？

大模型的部署方式主要有两种：通过云端调用，或在本地运行。

云端模式意味着AI能力几乎没有上限，模型无需自行维护，最强的功能随时可用。但成本也很明确：订阅制方案中，ChatGPT Pro和Claude Max均以每月200美元封顶；超出部分则按使用量计费。例如，9月3日发布的GPT-6 Astra，其输出价格为每百万token 50美元。对于重度使用智能体的用户而言，一次长任务可能输出数万token，每月花费几百到上千美元已是常态。

业内人士指出，过去两年企业尝试引入AI，大部分都卡在了“从概念到落地”的探索阶段：需要尝试不同场景、调整工作流程、优化提示词。这个过程中，每一分钟都在消耗token的费用，而老板往往只能给出大致方向，缺乏具体需求。“烧了很多钱，但最终能产出什么，谁也说不清楚。”

因此，本地部署的逻辑变得合理：主流模型大多开源且免费（如DeepSeek、Qwen系列均采用宽松协议开源），硬件一次性购买后，不再产生token账单，数据也不会离开机房。在预研、验证和反复试错阶段，成本是固定的。

AI Box正是为此而生。

什么样的Box才能称为AI Box？

AI本地部署面临一个硬性门槛：模型必须先“装得下”，内存是AI Box的入场券。

运行大模型的前提是，所有权重必须加载到内存或显存中。以DeepSeek-R1满血版为例，它拥有6710亿参数，在全精度（FP16）下需要约1.3TB显存，FP8量化后约需0.7至0.8TB，即使采用4-bit量化，也需400至480GB。相比之下，一张RTX 5090仅有32GB显存，一台高配笔记本也只有24至32GB统一内存——只能容纳70亿参数级别的小模型。

这就是桌面AI设备面临的最大技术挑战：在一台能放在桌上的机器里，塞入尽可能大的统一内存，为模型提供尽可能高的带宽，同时将功耗控制在办公室插座可承受的范围内。

内存容量决定了能运行多大模型，带宽决定了同时使用人数和响应速度，功耗则决定了它能否放置在办公室而非机房。在这三个维度上，最令人意外的是，准备最充分的那家公司当初并非为AI而设计。

2020年，苹果将Mac迁移到自研M系列芯片，并做出一个当时看来相当激进的决策：让CPU、GPU和神经引擎共享同一块内存，内存即显存。这种统一内存（UMA）架构的初衷是消除数据在芯片间搬运的开销，并降低功耗。

五年后，大模型时代到来，这套架构恰好满足了所有关键需求。

如今的Mac Studio，M3 Ultra版本最高可选512GB统一内存，内存带宽达819GB/s，整机最大持续功耗为480W；9月22日发售的M5 Ultra款，带宽进一步提升至1.2TB/s，国行起售价为46999元。苹果官方表示，这台机器可以运行超过6000亿参数的模型。据报道，过去几个月，OpenAI采购了数万台Mac mini和Mac Studio，用于强化学习和智能体开发，需求旺盛到多次催促苹果发货。库克在7月的财报电话会上承认，“越来越多客户将Mac mini用作运行智能体的强大平台，并部署Mac Studio集群在本地运行前沿模型”，并表示当季Mac一直面临供应限制。

英伟达：不卖机器，卖“同款架构”

如果说苹果是“无心插柳”，那么英伟达则是看到市场需求后采取的“降维打击”。

DGX Spark采用GB10 Grace Blackwell超级芯片，配备128GB统一内存、273GB/s带宽，FP4精度下算力达1 PFLOPS，整机功耗240W。官方标称，单机可推理2000亿参数模型，两台互联可运行4050亿参数模型。美国官网售价4699美元，国行首发价约3万元，内存涨价后已接近4万。

仅从纸面参数看，它对Mac Studio并无优势。但DGX Spark运行的是DGX OS（Ubuntu），其软件栈与数据中心里的万卡集群同源，拥有CUDA生态和企业级支持。开发者在桌面上调试好的内容，可以无缝迁移到云端。

围绕英伟达DGX Spark，宏碁、华硕、戴尔、技嘉、惠普、联想、微星七家OEM厂商同时推出了同芯片整机。微星的版本低至2999美元，联想ThinkStation PGX去年7月已进入中国政企采购目录。相比苹果，英伟达为AI Box提供了更清晰的市场定位和销售野心。

如果说Spark是面向开发者的入门机型，那么DGX Station则是面向小团队的桌边工作站：它搭载GB300芯片，拥有748GB一致性内存（252GB HBM3e加496GB LPDDR5X），FP4算力达20 PFLOPS，整机功耗1600W。官方宣称能运行万亿参数模型。虽然功耗已触及普通办公室电路的上限，但仍比机房服务器低一个数量级。

今年6月的Build大会上，微软发布了Surface RTX Spark Dev Box：与DGX Spark同款GB10芯片、128GB统一内存、1 PFLOPS算力，热设计功耗被压至100W，预装Windows 11 Pro开发者版。官方标称，本地可运行1200亿参数模型，支持百万token上下文。该产品计划下半年在美国发售，媒体估价在3000至3500美元之间。其入场意义大于产品意义：Windows生态需要一个官方答案，告诉开发者本地AI不必非买Mac。

X86阵营：展示推理时代的性价比

AMD的Ryzen AI Max+ 395（代号Strix Halo）将128GB统一内存、256GB/s带宽整合在55至120W的功耗范围内，NPU算力为50 TOPS，平台总算力约126 TOPS。今年第三季度，升级版Ryzen AI Max 400（Gorgon Halo）将统一内存上限提升至192GB，官方称可运行3000亿参数模型。

X86的底牌在于兼容性：Windows和Linux可直接安装，企业现有的运维体系全部可用。性能并非最强，但无需更换生态，这在采购决策中是一个重要考量因素。

英特尔推出了Panther Lake（Core Ultra 300系列），NPU算力为50 TOPS，并集成到每一台笔记本和迷你主机中；最接近盒子形态的NUC 16 Pro，内存上限为96GB，定位是Copilot+迷你PC。值得注意的是，英特尔的AI Box不仅局限于桌面设备，还将其部署到了智能汽车上，为过去算力不足的汽车提供算力增强。这表明英特尔将AI Box的目标瞄准了更具体的B端场景。

AI Box，到底谁在买？

盒子售出后，究竟发挥了哪些作用？

在高职教育场景中，学校将备课、批改、实训答疑、教案沉淀分别开发成教师、学生、管理三组智能体，安装在盒子中本地运行。试点数据显示：教师周均备课时间从9.2小时降至5.1小时，每班批改时间从2小时压缩至0.4小时，实训错误率从22%下降至14.3%，优秀教案复用率从不到10%提升至67%。

另一个场景是律师事务所。卷宗不能离开事务所，这正是盒子的优势所在：类案检索压缩至40秒以内，司法文书自动生成覆盖率达80%以上，利益冲突审查准确率超过95%。

这些场景的选择逻辑非常清晰：涉及重复性资料处理、对数据安全敏感、且结果可被人工复核。而AI Box的优势也十分明显：传统本地服务器方案需要机房改造，周期为三到六个月；公有云API可即时开通，但数据存在出域风险；而盒子桌面即插即用、物理隔离，部署时间以小时计。

从销售算力到销售效率，这一转变本身就说明：市场已过了“为参数买单”的阶段，开始为实际结果买单。

写在最后

AI Box的潜力有多大，最终要算一笔经济账。

自建机房需要配备8张RTX 4090的整机，批发平台报价约35万元，整机峰值功耗超过4800W，需要机房、散热和工程师维护，且必须有一个独立机房。

云端AI能力无限，但token账单随使用量线性增长，探索阶段花费无上限。

AI Box的价格从千元到万元不等，功耗在100至480W之间，插电即用，模型免费，试错成本固定。与8卡服务器相比，功耗相差10到30倍。

摆在行业面前的问题是，ROI仍难以精确计算。真正掏钱的采购方，必须用自己的业务流程重新核算。像客服这类能折算成“减少多少坐席”的场景容易量化，但流程优化和效率提升的价值则难以衡量。此外，与自动驾驶面临的权责问题类似，在实际工作中，如果AI出错，谁来检查、谁来负责，目前尚无答案。

现实情况是，当前成熟的场景只有两个：写代码和办公，其余场景大多仍处于探索阶段。而硬件只是门票：数据治理、微调和迭代周期为三到六个月，模型一旦更换，上层应用很可能需要重做。还有一个值得思考的问题是，通常情况下，盒子无法升级，扩容只能再买一台机器。在DRAM成本高企的背景下，销售盒子似乎成了消化高价存储的一种方式。对市场而言，他们更希望看到AI Box究竟能做什么。

AI Box并非要取代云端。对于需要最强模型、弹性算力和零维护的任务，云端仍是首选。盒子承接的是另一类需求：反复试错的预研、不愿上云的数据、十来人小团队的固定算力，以及能算清电费和折旧的小本生意。

AI Box的出现，是将硬件做小，在支付固定成本后实现算力自由。归根结底，产品的未来在于算力如何落地，以及如何带来真正的价值。

本文来自微信公众号 “半导体产业纵横”（ID：ICViews），作者：六千，36氪经授权发布。