概览

通过阅读本章节,您可以了解如何利用API接口对LLM模型进行加载、推理及结果处理。接口调用基本流程图如下所示:

api_interface

关于LLM模型推理的API接口,包含基本类型定义、结构体与枚举类型、回调函数类型以及主要接口函数等内容,详细可参见 接口详细说明 章节。