ATM(Agent Token Manager)是一个面向AI Agent的Token管理平台。它并非传统API Gateway或LLM Proxy,而是围绕Token构建统一的计量、治理、结算和运营(FinOps)能力,并已集成到AI Ping的Agent平台生态中。

https://atm.aiping.cn/zh-hans/


一、ATM的定位

一句话:ATM = Agent时代的Token Runtime Management Platform。

传统互联网架构:用户 → API Gateway → 业务服务
LLM应用时代:Agent → ATM → LLM API(OpenAI, Claude, Gemini, DeepSeek, Qwen等)

ATM位于Agent与模型之间,管理对象从HTTP Request变为Token Flow。对比:

API GatewayATM
请求数量Token数量
QPSTPM
接口限流Token配额
API KeyAgent身份
HTTP日志Token Usage
API BillingToken Billing
Service MonitoringToken Runtime

二、ATM管理什么

Token被视为一种资源,管理六类对象:Agent(谁消费)、Model(来源)、Provider(提供商)、Workspace(团队)、Token Usage(消耗量)、Cost(花费)。ATM更像Token ERP而非API Proxy。


三、核心能力

3.1 Token Metering(计量)

每次请求统计Prompt/Completion/Reasoning/Cache Read/Write/Total Token,并记录时间、模型、Provider、Agent、Workspace、Project、Latency、Cost,形成完整流水。示例:

时间Agent模型PromptOutputCost
10:00Coding AgentClaude1200560$0.03
10:02Research AgentGPT860900$0.04

这为成本分析、审计和优化提供数据基础。

3.2 多模型统一管理

ATM接入多个Provider(Claude, GPT, Gemini, Qwen, DeepSeek, GLM, Kimi),Agent无需感知厂商。统一入口:Agent → ATM → Provider Router → 不同模型。未来可扩展路由、Fallback、负载均衡、成本优化。

3.3 Token配额(Quota)

例如:Research Agent每天100M Token,Coding Agent每天500M Token,Marketing 50M。超限可拒绝或降级模型。Token成为企业可管理资源。

3.4 成本分析(Cost Analytics)

按Team/User/Workspace/Agent/Model/Provider统计每日/每周/每月成本。例如研发¥32,000,客服¥8,000;按模型:Claude 40%,GPT 35%,DeepSeek 25%。帮助企业分析成本结构。

3.5 Usage Dashboard

展示Token曲线、Cost曲线、Provider分布、模型/Agent/Workspace排行,是典型的AI FinOps产品形态。

3.6 API Proxy

无需修改业务逻辑:将原本指向https://api.openai.com的请求替换为ATM Proxy,即可通过ATM转发,迁移成本低。


四、整体架构

Agent → SDK/OpenAI API → Agent Token Manager
    ├── Token Meter
    ├── Policy (Quota, Routing, Cache)
    ├── Billing (Dashboard, Analytics)
    └── Audit
         ↓
Provider Layer: Claude, GPT, Gemini, DeepSeek, GLM

五、为什么ATM有价值

AI应用成本单位已从服务器/CPU/GPU/流量变为Token。企业关心:用量、使用者、最耗Token的Agent、最贵模型、超预算部门。传统API Gateway无法回答,ATM在Token层提供统一治理。


六、与传统API Gateway的区别

GatewayATM
HTTP RequestToken Flow
API KeyAgent Identity
Rate LimitToken Quota
Access LogToken Ledger
SLACost SLA
API BillingToken Billing
API AnalyticsToken Analytics
API MonitoringAI Runtime Monitoring

ATM将管理对象从“请求”提升到“Token”。


七、与Token FinOps的关系

ATM是Token Runtime Platform的核心能力模块。已支持:Token Metering、Cost Analytics、Billing、Quota、Dashboard、Multi Provider;部分支持Observability;暂未体现Token Value Analysis、Business Token Analysis、Token ROI、Agent Performance。目前更接近Token FinOps,聚焦计量、成本和运营。


八、完整产品矩阵

清程极智展示Token工厂布局:

  • Token生产:大模型推理解决方案(赤兔,开源+异构算力)、训练推理加速工具(八卦炉)
  • Token流通:大模型API评测与调用(AI Ping)、CC Switch类本地Gateway + Token FinOps(ATM)、Agent市场

ATM定位明确:在Agent与模型之间,让Token像资金一样被计量、管控、优化。

标签:infra, agent

你的评论