← 返回 Skill 列表

extension

分类: 数据与分析无需 API Key

jetson-llm-benchmark

使用结构化的 JSON 输出，跨 vLLM、llama.cpp 与 Ollama 对 Jetson 上的 LLM/VLM 服务性能进行基准测试。

Jetson 大模型基准测试

唯一标识：jetson-llm-benchmark
显示名称：Jetson 大模型基准测试
能力摘要：在 NVIDIA Jetson 边缘设备上建立可重复的 LLM 性能测试，关注模型格式、显存、功耗、吞吐、首 token 延迟与测量环境。

案例素材

团队要比较两种量化模型；在固定 Jetson 电源模式和提示集合下测量 TTFT、tokens/s 和峰值内存。
现场设备推理变慢；记录时钟、温度、功耗模式和并发数，区分热降频与模型配置问题。
采购需要容量依据；将不同模型、上下文长度和批量的基准结果整理为边缘部署选型报告。