AI Infra:MiniMind,2小时训练自己的模型

MiniMind 是一个「从 0 开始用 PyTorch 原生实现、面向教学与复现」的轻量级 LLM 工程,从 GitHub 的内容看,可以在单卡 NVIDIA 3090 上 约 2 小时 从零训练出 ≈26M 参数 的对话型小模型,适合自己租用 GPU 来学习,真是有趣的玩具。一、主要亮点极小模型可快速复现:最小 25.8M(≈26M)参数模型,目标是个人 GPU 可训练复现(单卡 3090 约 2 小时示例)全流程白盒实现:Tokenizer、预训练(pretrain)、监督微调(SFT)、LoRA、DPO(Direct Preference Optimization)、RLAIF(...

一、项目概述核心理念:本项目提出一种融合DOM语义分析与前端视觉内容识别(OCR + 图像分类)的新一代智能广告屏蔽系统。通过在客户端本地实现多模态内容理解,突破传统基于静态规则库(如Filter List)的广告屏蔽模式,精准识别并过滤动态生成、图像化、语义伪装的广告内容...

一、上下文工程的技术内涵:从提示词到情境智能传统视频生成AI依赖于静态提示(Prompt),例如:“生成一段五秒的无人机俯瞰城市日落视频。” 模型仅在输入文本的有限语义空间中做匹配生成,缺乏对用户意图、使用场景、历史行为和环境上下文的认知。上下文工程(Context Eng...

AI 正从“纯文本推理”迈向与现实世界交互的智能体(Agent)阶段。这意味着机器的“耳朵”和“眼睛”正在被唤醒,而 LLM 的成就,是建立在语义之上的。一、LLM 的认知之困,符号漂浮于现实之上LLM 如同没有经历过学前教育的“博士”,而天才和疯子的区别,是“现实检验”能...

一、异构算力和多样化模型的适配难题当模型规模指数级增长,硬件生态却陷入碎片化困境:GPU、NPU、TPU、FPGA... 每种设备都有自己的语言、内存模型和调度机制。不同厂商的硬件具有不同的指令集、内存结构和优化策略,而模型本身也在结构、精度、计算模式上差异巨大。这种“多样...