DeepSeek-R1-Distill-Qwen模型性能Benchmark
测试条件
-
测试开发板：S100P。
-
性能数据获取：测试单条prompt，取TTFT（首token延迟）和TPS（平均每秒Token数）指标。
-
Python版本：Python3.10。
-
运行环境：Linux。
实测数据
| model | platform | dtype | seqlen | max context | TTFT(ms) | TPS | memory(GB) |
|---|---|---|---|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | S100P | q8 | 256 | 1024 | 109 | 27.08 | 1.7 |
| DeepSeek-R1-Distill-Qwen-1.5B | S100P | q4 | 256 | 1024 | 108 | 39.49 | 1.1 |
| DeepSeek-R1-Distill-Qwen-1.5B | S100P | q8 | 256 | 4096 | 226 | 23.80 | 1.8 |
| DeepSeek-R1-Distill-Qwen-1.5B | S100P | q4 | 256 | 4096 | 224 | 32.35 | 1.2 |
| DeepSeek-R1-Distill-Qwen-7B | S100P | q8 | 256 | 1024 | 544 | 6.76 | 7.4 |
页面目录