1基线出证
锁口径、矩阵覆盖、长稳验证,先立可信标尺。
SuperScope面向大模型Token工厂,五层链路实测、四大测评调优模块、统一口径出证,依托SuperAgent智能体实现全链路自动化闭环,覆盖部署、测评、调优、验证、运维、监控全流程。
API 网关、内容护栏、推理引擎、PD 与 KV 缓存、智算网络逐层定位。
智能体驱动用例执行、指标解析与报告出证,同一口径全程闭环。
六个核心旋钮加四种并行策略,按负载实测给出配比结论。
P:D 配比、活跃 KV 水位、TTFT 双峰与跨机传输逐项校验。
GPU 显存—CPU 内存—SSD 分层缓存,命中率提升结构性降本。
vLLM/SGLang批处理、解码、量化、并发上限测评
带宽、时延、丢包、ECN、集合通信测试SuperRDMA套件支撑
监测、诊断、调优、验证闭环,异常自愈与可执行策略库。
推理基线验证、性能压测、精度评测,TTFT、TPOT、缓存命中率、日产值等全口径流式指标采集及推理性能优化。
1RoCEv2测试仪表,PFC、ECN、DCQCN拥塞验证、RDMA网卡、无损交换机基准测试、集合通信与PD分离KV传输联测。
2生成式模型内容安全国标测试,提示注入/越狱等对抗攻击编排,电子护栏检测与拦截验,多模态能力与安全双维测评。
3依托智能体技术完成测评调优和产能验证闭环,构建覆盖部署-测评-调优-验证-运维-监控的智能化Token工厂管理体系。
4| 测试对象 | 核心指标 | 交付物 |
|---|---|---|
| API 网关与 Web 入口 | CPS / RPS / TPS、SSE 并发、限流与路由正确性 | 上线验收、限流熔断与降级预案验证 |
| 内容安全与电子护栏 | 有害内容拒答率、误拦率、越狱成功率、并发承载 | 合规出证、护栏验收、问题样本 |
| 推理引擎 | TTFT / TPOT / P99、输出吞吐、Goodput | 可信基线报告、SLA 红线拐点 |
| PD 分离与 KV 缓存 | P:D 配比、KV 水位、命中率、TTFT 双峰 | 配比结论、路由预热建议、扩容边界 |
| 智算网络 | 带宽 / 时延 / 丢包、PFC/ECN、nccl busbw | 无损网络验收、跨机瓶颈归因 |
| 运营保障 | 异常检出、根因定位、调优回归通过率 | 7×24 监测、异常自愈、策略库 |
锁口径、矩阵覆盖、长稳验证,先立可信标尺。
首字慢查 P 与前缀缓存,出字慢查 D 批调度与显存带宽,逐项对症。
改一项测一次、同口径复测,每次变更都有实测答案。
监测—诊断—调优—验证闭环,经验回流本地知识库。
多长度输入、多并发、前缀复用工况全量实测,验证前缀缓存为长上下文性能核心杠杆;识别Prefill阻塞Decode隐性瓶颈,建立可用于生产的可信性能基线。
PD分离并非简单资源拆分,通过五阶闭环试验复盘修正配比方案,把时延拉回SLA红线;沉淀分侧观测、容量核算、前置预热标准化实测经验。
统一负载口径,对国产与海外加速卡对照横评,量化时延、吞吐差异;选型综合性能、成本、供应链自主可控,避免单一倍率片面判断。