Qwen2.5-Omni模型性能Benchmark

测试条件

  • 测试开发板:S100P。

  • 性能数据获取:测试单条prompt,取TTFT(首token延迟)和TPS(平均每秒Token数)指标。

  • Python版本:Python3.10。

  • 运行环境:Linux。

实测数据

modelplatformdtypeseqlenmax contextTTFT(ms)TPSmemory(GB)
Qwen2.5-Omni-3BS100Pq8256204828514.035.5