GPT-5.6即将面向公众开放。近期，围绕该模型的各类猜测在X平台引发热议。6月26日，OpenAI正式发布了全新的GPT-5.6家族系列，并在其官方博客中提及，OpenAI计划本月在芯片制造商Cerebras的定制化硬件上推出其前沿模型GPT-5.6 Sol，该模型实现了每秒750个Token的推理速度。

这意味着过去需要数分钟才能完成的复杂Agent操作，现在可以在极短时间内完成。OpenAI在硬件与模型协同设计方面迈出了颠覆性的一步。结合此前曝光的首款自研AI推理芯片Jalapeño，OpenAI展现出构建全栈AI帝国的决心。

750 Tokens/秒的惊人速度

每秒750个Token的含义相当于人类每秒阅读并输出约500至600个汉字。GPT-5.6 Sol能够在不到零点几秒的时间内生成当前这段文字。开发者Caleb Shepherd在X上表示，GPT-5.6 Sol在Cerebras硬件上的运行速度带来了质的飞跃，用户无需再长时间等待AI完成操作。

长期以来，尽管大模型能力不断增强，“推理延迟”一直是实现实时交互多步Agent任务的主要瓶颈。当模型参数量达到数万亿级别时，传统GPU集群在节点间通信方面会面临物理限制。OpenAI的解决方案是实现硬件与模型的深度融合。

根据初步信息，GPT-5.6 Sol将于7月有限地向特定客户提供，并随着产能的提升逐步推广。这项服务预计成本高昂，专为追求速度的顶尖企业设计。

3万亿参数模型的部署方式

关于750 Tokens/秒的推理速度，LLM Arena负责人Peter Gostev提出了疑问：GPT-5.6 Sol在Cerebras上的运行方式，以及其完整的模型架构（包含多模态能力）如何在Cerebras的单芯片（最多容纳7000亿至9000亿参数）上运行。这引发了关于模型是否缩小、新型芯片，或多芯片协同技术等方面的讨论。

资深技术专家Bleys Goodson推测，GPT-5.6 Sol并非运行在单个芯片上，而是横跨了70至100张Cerebras晶圆级芯片。

“一晶圆，一层网络”的部署策略

业内专家估计，GPT-5.6 Sol的总参数量约为3万亿，激活参数约1500亿，网络层数约70至90层。为了实现高效推理，OpenAI和Cerebras采用了将每一层神经网络单独部署在一张Cerebras晶圆上的方式。有观点认为，通过增加流水线阶段并连接足够多的晶圆，理论上可以扩展至任意大小的模型，且不影响Token生成速度。

轻量化KV Cache架构重构

Cerebras芯片的特点是拥有大量高速SRAM，但容量有限。如果GPT-5.6 Sol沿用传统的重型KV缓存，将迅速消耗昂贵的SRAM带宽。因此，此次合作的核心在于围绕特定硬件重构模型。Bleys Goodson指出，OpenAI可能放弃了传统的注意力机制缓存方案，采用了更前沿的轻量化设计，例如DeepSeekV4的优化缓存占用，或结合Mamba等模型的混合SSM设计，以减少KV Cache的负担。

开发者John Lam推测，OpenAI可能将注意力计算放在传统GPU上，而利用Cerebras晶圆处理前馈神经网络部分。此前Cerebras在部署Kimi K2.6时，曾通过4-bit权重存储、16-bit计算、权重分布在多张晶圆上，并利用晶圆上的网络结构进行层间通信，实现了接近1000 tokens/s的速度运行万亿参数MoE模型。Cerebras的CS-3系统支持扩展至24万亿参数的模型。

OpenAI自研芯片“Jalapeño”

OpenAI近期发布了其首款自研芯片Jalapeño。该芯片的出现解释了OpenAI与Cerebras合作的深层逻辑：通过在第三方硬件上的探索，OpenAI掌握了专用推理架构的关键技术，并将其转化为自身可控的底层平台。Jalapeño是专为大模型推理设计的ASIC，并兼容全行业的LLM。该芯片的设计和流片仅用了9个月，得到了博通在芯片实现与互联，以及Celestica在系统集成方面的支持。

OpenAI的全栈AI帝国野心

OpenAI正致力于构建一个集模型训练、芯片设计、推理优化和部署控制于一体的全栈AI帝国。其目标是利用AI加速AI基础设施的建设，进而运行更强大的AI。按照规划，首批GW级超级数据中心将从2026年底开始部署。OpenAI预计将消耗相当于一座中型城市的全部用电量来驱动Jalapeño及下一代芯片的推理。GPT-5.6 Sol在Cerebras晶圆上实现750 Tokens/s的速度，将打破参数量与推理速度的限制。