shield_lock
JinDaGe
← Back to skills
extension
Category: Data & AnalyticsNo API key required

jetson-llm-benchmark

使用结构化的 JSON 输出，跨 vLLM、llama.cpp 与 Ollama 对 Jetson 上的 LLM/VLM 服务性能进行基准测试。

personAuthor: u_d4b8e350hubenterprise
downloadDownload package

Jetson 大模型基准测试

  • 唯一标识：jetson-llm-benchmark
  • 显示名称：Jetson 大模型基准测试
  • 能力摘要：在 NVIDIA Jetson 边缘设备上建立可重复的 LLM 性能测试，关注模型格式、显存、功耗、吞吐、首 token 延迟与测量环境。

案例素材

  1. 团队要比较两种量化模型；在固定 Jetson 电源模式和提示集合下测量 TTFT、tokens/s 和峰值内存。

  2. 现场设备推理变慢；记录时钟、温度、功耗模式和并发数，区分热降频与模型配置问题。

  3. 采购需要容量依据；将不同模型、上下文长度和批量的基准结果整理为边缘部署选型报告。