Rspress

# #hbm_infer工具介绍

## #工具简介

`hbm_infer` 是一个X86+板端联合通信模式的Validation工具，在X86端使用Python代码做模型前后处理工作，由板端Server执行实际推理过程，用于提升模型精度评测效率，降低开发成本。工具使用流程概要如下：

`hbm_infer` 工具采用了 `gRPC (Google Remote Procedure Call)` 框架，支持多进程环境下Client进程与Server进程之间的任务推送与响应。在通信模式上，每个Server独立对应一个Client，形成多Client多Server模式。工具通信流程概要如下：

注意

- 建议X86端和开发板通过局域网直连，否则可能会出现网络通信失败等问题。

## #使用方法

`hbm_infer` 工具有 常规模式 和 Flexible模式 两种使用模式：

- 常规模式：可自动上传Server文件和HBM文件至开发板，推理结束后自动删除，您无需干预。由于其无法复用HBM文件和Server文件，会话建立阶段板端传输带宽占用较大。

- Flexible模式：需要您自己来控制Server文件和HBM文件的上传及Server的关闭，可通过复用板端文件来减少文件传输阶段的带宽占用。

单进程下推荐使用 常规模式 ，多进程推荐使用 Flexible模式 。

如有性能要求，可参考传输优化章节做针对性优化。

页面目录