由中科院自动化所发布，SpikingBrain 1.0 是一款“类脑”大语言模型。旨在比主流模型更节能、更适合国产芯片。

https://github.com/BICLab/SpikingBrain-7B

1、痛点与创新

传统Transformer模型在训练时计算量随序列长度平方增长，推理内存线性上升。SpikingBrain采用“脉冲计算”技术，模仿人脑神经元活动——只在必要时激活，显著降低能耗和提升速度。

2、性能表现

  • 使用不到常规2%的数据，完成训练。
  • 处理400万token输入，速度快100倍以上。
  • 推出两个版本：7B与76B参数，共用约150B token数据训练。
  • 在生成首个输出token时，比Transformer快26.5倍。

3、部署与意义

在MetaX芯片上稳定运行数周，验证了国产硬件支持高阶AI的可能性。

4、潜在应用

长文档分析（法律/医学）、高能物理研究、DNA测序等需大规模高效处理的实际场景。

中文论文：

https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf

标签：infra, ai

你的评论