体育游戏app平台
► 文 不雅察者网心智不雅察所
读不了太长的文本，是主流大谈话模子的共同流毒。高下文的长渡过长，AI的挂念就会出现交集，驴唇不对马嘴，或者响应迟缓，甚而终止处理。究其原因，便在于主流大谈话模子的架构自身濒临的数学瓶颈：厚爱相识文本的Transformer的策划量随文本长度呈平淡级增长。也即是说，文本长度翻倍，算力需求翻四倍；文本长度翻三倍，算力需求翻九倍。到了百万级Token（约合两三部《三体》的体量），策划量直奔万亿次，再强的GPU 也顶不住。
大深广商用模子的高下文窗口因此卡在了128K到200K Token之间。这个数量听来不小，可一朝需要分析一整年的客服工单、装有几百个文献的代码仓库，或者一份 300 页的并购公约，模子就算不动了。
近日，初创公司Subquadratic晓谕他们冲破了这个瓶颈。
这个瓶颈是什么？率先，AI在阅读一个文本时，必须将每一个词（Token）与文本中的其他词互相对照一下，策划它们之间的关联。有n个词，能够需要算n²次，即二次方的增长速率。处理 100 万个词，就需要策划大致 100 万 × 100 万 = 1 万亿个词与词之间的关系，即便用起先进的 GPU，单次推理也需好几分钟，资本达到几十乃至上百好意思元。要是彭胀到 1200 万个词，那即是 144 万亿次，在经济上一经不大可行。而Subquadratic新推出的SubQ模子则大大削减了策划的次数。
AI如何读懂一句话？
咱们不错剖解一个最陋劣的句子：“动物没过马路，因为它很局促。”这话很好相识。“它”指确虽然是“动物”，不是“马路”。但既没眼睛也没知识的AI 怎样相识？第一步，AI把翰墨酿成数字。每个大谈话模子里面王人有一册庞杂的辞书，其中每个词（Token）对应一行固定长度的数字，比如：动物 = [0.8, 0.1, 0.3, 0.9]，马路 = [0.1, 0.9, 0.2, 0.3]，它 = [0.6, 0.4, 0.8, 0.5]。这一行数字叫向量，其中的每一维度代表某一特质，相称于这个词在数学空间里的经纬度坐标。“动物”和“马路”在“是否有人命”这个维度上的数值差距很大（0.8 vs 0.1），机器一看就知说念它们不是同类。光有词向量还不够，因为在“狗咬东说念主”和“东说念主咬狗”里，“狗”和“东说念主”各自的向量照旧阿谁向量，模子分不清谁咬了谁。是以必须给每个词贴上座位号，这叫位置编码。而后，每个词酿成了一个佩戴自身坐标和位置的数字包裹，排队投入了模子确凿的中枢区域Tranformer（调遣器）。
接下来的一步是所有谈话相识的伊始：把闹翻的记号，酿成集合的数学对象。Transformer要给每个词造三张身份牌。这三张牌分裂叫Q（Query，查询）、K（Key，键）和V（Value，值）。Q 代表“我在找什么？”，K 代表“我是什么？”，V 代表“我带了什么具体信息？”造牌的轨范很陋劣：词向量分裂乘以三个不同的矩阵。这三个矩阵是模子在教练阶段自学出来的，对每个词来说王人一样。并吞个词向量，乘以三个矩阵，映射成三个完全不同的向量。以“动物”为例： Q 可能是 [1.0, 0.0, 1.0, 0.0]（我在找一个能作念手脚的主语）， K 可能是 [0.9, 0.1, 0.8, 0.2]（我是有人命、能出动的实体） ，V 可能是 [0.2, 0.7, 0.5, 0.1]（我身上具体的信息是“四条腿、毛茸茸”）。三者用途不同，Q 是拿出去发问的，K 是供其他词匹配的，V 是等着被索求的。相同，“它”也生成了我方的 Q【它】 = [1.0, 0.0, 1.0, 0.0]，在找“有人命的主语”。
“它”拿着我方的 Q【它】，要去跟句子中所有其他词的 K 作念一次关系测试。这个测试在数学上即是两个向量的点积。先跟“动物”的 K 作念测试：1.0×0.9 + 0.0×0.1 + 1.0×0.8 + 0.0×0.2 = 1.7。再跟“马路”的 K 作念测试：1.0×0.1 + 0.0×0.8 + 1.0×0.1 + 0.0×0.9 = 0.2。1.7 比 0.2 大得多。“它”跟“动物”之间的亲密度，远超跟“马路”的。
随后哄骗Softmax函数，将Q·K的各个点积改变为归一化的权重，称为预防力权重，关于“它”一词而言，“动物”占据大致 68% 的权重，“马路”只占据32% 的权重。如上所述，每个词王人有 V，代表其佩戴的具体信息。把所有词的 V 按刚才的权重搀杂在一齐，生成一个全新的向量Z【它】=动物的 V 乘以 68%+马路的 V 乘以 32%，取得 Z【它】 = [0.424, 0.508, 0.436, 0.324]。于是，“它”就从莫得高下文的空壳代词转换为指向明如实体的词，在最终的具体信息Z【它】中，68% 是动物的信息，32% 是马路的信息。
以上操作被称为“预防力层”，实验上仅仅一种加权平均，这种操作是线性的，依然不成让模子学会复杂逻辑。是以，在每一层的“加权平均”之后，紧随着加上一个前馈集聚FFN。FFN 的结构很陋劣：对Z先后施加两次线性变换，第一次大幅升维，第二次降回原维度，两次中间夹一个将无关特质清零的筛选函数，从而提真金不怕火出更高级次的概述特征，并从海量参数中检索出与现时高下文最联系的事实信息。预防力层让“它”指向“动物”，FFN 则在这个基础上进行统计学联思，将“动物”“局促”和“不外马路”匹配起来。
上述经过仅仅第一层。在真实的 Transformer架构中，频频有几十层这么的结构。比如GPT-4就有120 层以上。每一层王人在处理不同级别的概述信息。浅层温暖词性和语法。中层温暖指代关系和语义变装。深层温暖逻辑推理和情谊。每一层的输出王人是下一层的输入。每一层王人在改写每个词的向量，第一层让“它”知说念我方是“动物”，第二层让“动物”知说念我方是“局促”的主体，到了第 30 层，“动物”这个向量里一经浓缩了整句话的因果逻辑。
几十层陋劣操作的反复迭代和逐级概述，即是AI模子得以相识文本的原因。
SubQ有何优化？
相识了Transformer 的完整道理，也就能相识 SubQ 到底在优化什么。
在Transformer的每一层的预防力层中，每个词的 Q 王人要跟所有词的 K 算一遍点积，称为“密集预防力”,是当今的主流作念法。举个例子，AI要思追想《红楼梦》，就必须同期看见从第一个词到临了一个词的全部词语，并将它们两两组合起来，无论这些组合有莫得道理。假定咱们在圆周上点出n个点，每个点代表一个词，然后在每两个点之间连一条线，代表一双组合。临了线的条数是 n(n-1)/2，简化为 O(n²)。而SubQ则将这个数量压缩至O(n log n)， 或者O(n·k)（其中 k是一个很小的常数），要是n极大，削减量也就相称可不雅。100 万个词蓝本大致需要 10¹² 次运算，SubQ 把这个数字压低了大致 64 倍，意味着“算得动”和“算不动”之间的辞别。到了1200万个词，差距就更大了，原轨范的资本会酿成天文数字，而subQ的亏欠仍然在可承受范围内。
SubQ的主义是“稀少预防力”，真理是跳过那些不伏击的组合，只算要道的组合。举个例子，在“动物没过马路，因为它很局促”这个句子里，东说念主凭直观即可判断“它”指代的是“动物”，不是，更不会研究“很”和“马路”之间的关系。问题在于：AI如何判断哪些关系伏击，哪些不伏击？过去那些稀少预防力的轨范大多依赖于固定阵势，比如每个词只同它左右的 512 个邻居策划点积，或者每隔一段固定距离再选一个词进行策划。这些轨范如实压缩哦了策划量，但也导致模子酿成了近视眼，要是要道信息刚好隔了 600 个词，详情就遗漏了。
SubQ 模子的SSA 架构所作念的，即是在预防力层这一步加了一个经过教练的智能筛选器。Subquadratic 宣称，他们的 SubQ 模子第一次终明显确凿的动态聘任性稀少预防力，不靠固定例则，而是让模子我方学会判断：在现时这段文本里，哪些词与词之间的关系真实有效，然后只算这些组合之间的点积。关系阵势随文本内容发活泼态变化，每一段文本的温暖清单王人不一样。
教练与争议
Subquadratic上个月刚刚走出隐身阵势，就发布了这个音书，好多东说念主不信。一个月后，公司请了第三方评估机构来作念独处测试。后果标明，在LiveCodeBench（编程才气测试）中，SubQ 得分 89.7%，跟 OpenAI、Anthropic、Google DeepMind的顶级编程模子处于并吞梯队。大海捞针测试（长高下文检索）中，面对600万和 1200万 Token 的高下文，SubQ 达到了 98% 的准确率，属于近乎完好的顶尖水平。速率测试显现，SubQ 比一种更早的稀少预防力模子快了56 倍。资本方面，在RULER 128 测试中，Anthropic的Opus 4.6运行一遍的资本是 2600 好意思元，而SubQ只花了 8 好意思元。
独处测试的高分发扬判辨注解了SubQ的才气，但争议尚存。其中最要道的极少质疑即是，SubQ并不是重新启动教练的，而是复用了中国开源模子Qwen教练好的的模子参数，是以并不成完全判辨注解SSA的优胜性。一些接头东说念主员认为，当今的公开左证并不及以判辨SubQ一经透澈惩处了上述瓶颈。此外，SubQ 于今莫得大畛域灵通试用。
又一次变革？
现时，处理长文档的主流决策是 RAG（检索增强生成），把文档切成小块，先搜索联系内容块，再送给模子生成谜底。RAG 有两个固有症结：第一，检索模范可能漏掉要道信息；第二，跨文档的复杂逻辑被切碎了。要是SubQ 真能以极经济的资本处理百万甚而千万级Token的高下文，一切大为不同：模子不错径直吞下整份文档或通盘代码库，无需中介替它筛选。
在跨文档分析方面，在一次演示中，SubQ分析了400 份文档中的信息，只需几秒即可作念出回报。而Perplexity连400 份文档王人没能全部加载。
与此同期，Subquadratic 明确暗示，公司正在逐渐扩大走访范围，他们接下来的方针是延续优化SSA 架构，并磋磨发布更多经过第三方考据的测试后果。他们徜徉满志，志在以他们的SSA架构改变大谈话模子的构建表情。“咱们思开启一个新时间，”该公司长入独创东说念主兼 CEO Justin Dangel 说，“咱们认为，几年之后，谁也不会再用模范Transformer来建模子了。”
这话听来很狂。不外，回思 2017 年，那篇题为《Attention Is All You Need》的论文刚刚发表的技能，好多东说念主也认为，消释AI的正宗轮回神经集聚，代之以预防力机制，完全是个很狂的思法。唯有当时还没什么名气的OpenAI率先预防到Transformer的后劲，五年后，ChatGPT横空出世,从前无东说念主问津的Transformer就此成了构建AI的主流表情。
变革会不会重演，取决于 SubQ 接下来的发扬。此外，像OpenAI和Google这么的巨头是不是一经找到了相同的谜底，仅仅秘而不宣？让咱们拭目而待。
参考文献
https://www.technologyreview.com/2026/06/19/1139313/a-startup-claims-it-broke-through-a-bottleneck-thats-holding-back-llms/
https://www.mindstudio.ai/blog/what-is-sub-quadratic-sparse-attention-subq-ssa
起首|心智不雅察所
不容转载体育游戏app平台