一、什么是 RDMA远程直接内存访问 (RDMA) 是一种允许联网计算机直接访问彼此主内存的技术，无需涉及处理器、缓存或操作系统，是一个由多个公司和组织合作开发的技术标准。这种旁路方法减少了 CPU 负载并降低了延迟，从而实现更快的数据传输速度，非常适合需要高速数据传输的应用，例如高性能计算 (HPC) 集群、数据中…
人工智能模型（软件）与算力（硬件）之间，存在一个由算子、编程语言和编译器构成的开发工具生态，关系如下图：为了增强软硬件之间的协作效率，出现了一类专用的 AI 编程语言和针对 AI 场景优化的编译器，作用是方便开发者使用和协作，并能针对不同硬件做专有的优化。在 NVDIA 的专有生态体系中，这部分是大名鼎鼎的 CUDA…
ONNX（Open Neural Network Exchange）是一个开源项目，旨在实现不同人工智能框架之间的模型互操作性，是开放的 AI 生态系统。它允许开发者在首选框架中训练模型，并在多种硬件和平台上高效部署。最初由微软和Facebook（现Meta）联合开发，并于2017年发布，现在有一个非常活跃的开源社区…
在浏览创新类计算芯片的过程中，看到了一款比较另类的芯片，全称可以是“基于自旋的非全硅基异构概率计算芯片”特殊之处计算原理：利用自旋进行基于马尔可夫链和蒙特卡洛的高性能伊辛（Ising）求解计算简单说，就是在类似“组合优化”这一类的特定计算上：量子计算优势：对比经典电子比特计算机，如 冯诺伊曼架构常温可行性：对比量子比…
一、AI 训练和推理的区别：学车与开车对比开车来理解：AI 的训练是一场漫长的学车过程在学习过大量的交规和教练车实习后，可以上路驾驶阶段，只需学习一次想驾驶货车、摩托车，则需要重新学习家用轿车学习时间短，货车/公交车学习时间长，特种车辆还需要单独学习和训练AI 的推理则是每一次在道路上开车每次开车需要一些精力，但比学…
相关信息来自「国家互联网信息办公室关于发布第五批深度合成服务算法备案信息的公告」，可以搜索得到这份公开的列表，共有 394 个备案算法，意味着涉及到的公司，可以将对应的AI算法应用到实际的商业运作中，更重要的是，对应着394个实际的使用场景。将获得的算法分类，并统计，得到以下数据，供参考集中在文本和图像生成部分被证明…
从古老的智慧中获得启发，一款基于生物电的忆阻器存算一体计算机存算一体在AI时代的优势存算一体（In-Memory Computing，IMC）是一种计算架构，它将数据处理（计算）和数据存储（内存）更紧密地集成在一起传统的计算架构中，处理器（CPU）和内存是分开的，数据需要在处理器和内存之间频繁移动，这在大数据应用中会…
QWERTY键盘的 AI 手机全键盘反馈好，打字快支持语音输入屏幕 1:1 ，方方正正的外观能下载各类模型，内置AI芯片快充，大电池把需求提给 Gemini ，假设 openai 有一款 OS，得到以下结果正面1:1方形屏幕，分辨率为1080 x 1080像素屏幕表面覆盖康宁大猩猩玻璃听筒位于屏幕上方前置摄像头位于屏…
早已准备好的 AI 高速公路基建原料1. 简化的 AI 高速公路架构图不同的客户端，可以从 AI 路由中，从不同的 AI 算力中心获得服务AI 算力中心可以是机房，也可以是个人部署在网络中的设备，如 AI 算力盒子2. 互联网上什么都有2.0 稍稍复杂的 AI 高速公路架构图AI 的能力，组装成 workflowAI…
从训练大模型的残酷厮杀里跳出来训练大模型是上游生产，是“智力/数据密集的科研 + 训练算力密集的研发工程”应用大模型是下游消费，是“领域知识密集的微调 + 推理算力密集的运营工程”从“造大模型”的厮杀里跳出来，走到应用一侧，除了垂直行业大模型，还有一个面向 C端 消费者的规模化机会： AI agents 的高速公路分…