DeepSeek的新版本发布，更快，更便宜

最近，DeepSeek-V3.2-EX模型已正式发布。这是一个实验版本，主要是针对理解长文本的培训和效率进行优化和验证。这种排放的主要崩溃在于使用一种与传统的注意力不同的关注机制 - 广泛的关注，这大大提高了效率并降低了成本，因为性能保持不变。广泛的关注有什么特别之处？如何同时实现更快和更低的成本？ Jiefang Daily的一名记者接受了上海Jiaotong University人工智能学院的Zhao Peilin教授。 [从“一一看”到“查看主要点”]“尽管稀疏注意的技术方向并不是DeepSeek最初创建的，但真正填充的广告像大型模型一样，而且计算和成本的数量大大降低了。DeepSeek是第一个做到这一点的。在2020年发表的一篇论文中，这项技术可以预测电力。为了了解广泛的关注，您还可以查看传统的自我强化机制。 2017年，Google提出了变形金刚在领导角色及其自我控制中扮演角色的角色。 Zhao Peilin说：“当时，Google介绍了主要是为了优化翻译功能的自我控制的机制，因为它远非足够的关注文本本身和相邻信息。有时候有必要观察到要准确翻译的上下文。” CurrentNSpormer。自我控制的机制与每个单词预测的时候相等，有必要计算当前预测的单词与所有以前的单词之间的关系。应当指出的是，它带来的计算和内存消耗的复杂性很复杂。有趣的是，Google本身的作用意识到自刺激机制的计算缺陷。 Th简要提到E集，可以使用局部关注或广泛的关注来降低计算复杂性。它表明，自变压器诞生的第一天以来，研究“传播”注意力的想法是如何存在的。与“完整”的自我触发，稀疏的注意力不同，AI模型可以在处理信息时学习“理解密钥”，从一个“一个”查看“ SA”关键点选择“关键点”的变化以及自然会大大降低的计算复杂性。尤其值得一提的是，DeepSeek证明了大量参数为6710亿个模型中的稀疏注意机制。从Zhao Peilin的角度看，这是一个deptseek的尝试。将来，除了稀疏的注意机制外，它可能会增加一些低成本的线性注意力。线性注意也是一个非常快速的过程，在广泛的关注中起着“补丁”的角色，可能会错过基本信息。 “许多公司现在正在学习线性注意，但效果不好。将来，“稀疏 +线性”可能是一个相对优化的路径。“ [计算能力的1/4可以与先前的模型能力相同]，从当前的公众审查集中的各个领域的公开审查集中进行，而新版本的deptseek的影响通常与以前的文本相同，但文本的使用速度几乎是频率的。 30％的人估计，它的90％以上的型号的计算量减少了约75％，这相当于以前的计算强度的1/4。仅RMB 3，大约是外国大型型号的平均价格的1/30至1/20与Nawaan相比，调用API的开发人员的成本将减少超过50％。难怪有些网民惊讶于这是新时代的“水，电气和天然气”。更快的速度和更低的成本。除了为中小型企业和个人开发人员带来好处，对行业有什么影响？ Zhao Peilin认为，一方面，这将有助于减轻我国计算的力量。特别是随着对大型模型的需求不断增长，如果可以大规模节省计算强度，那么对GPU等芯片的需求仍然是短期的。另一方面，对于某些工业应用方案，最初由于成本限制而使用小型模型，如果大型模型的成本降低，可以直接使用大型模型，以便在相应情况下的准确性是mapdamn din。原始标题：“ DeepSeek的新版本发布，更快，更低的成本|科学与技术创新观察者” TITLE来源：上海标题来源：May -set：Jiefang Daily Huang Haihua 特别声明：上面的内容（包括照片或视频（如果有））已由“ NetEase”自助媒体平台的用户上传和发布。该平台仅提供信息存储服务。 注意：上面的内容（包括照片和视频（如果有））已由NetEase Hao用户上传和发布，该用户是社交媒体平台，仅提供信息存储服务。