本文档适用于使用地瓜LLM工具链的所有开发者,为您提供全方位的开发过程指导。为您能够充分了解整体的使用过程,地瓜推荐您按照以下顺序进行阅读。
以下为各章节内容简述,您也可以根据需要进行对应章节的阅读。
1. LLM文档脉络
本章节为您准备了整体文档中相关章节的内容简介及内容跳转,以及文档的推荐阅读顺序。
| 章节 | 简介 |
| 产品简介 | 本章节为您进行地瓜LLM工具链的介绍,同时为您简单介绍包中的发布物内容。 |
| 开发流程 | 本章节为您带来地瓜LLM工具链整体开发流程的简单介绍。 |
本章节为您介绍开发环境和运行环境下,需要您提前进行的环境部署步骤及内容。
| 章节 | 简介 |
| S100/S100P平台 | 本章节将以S100/S100P平台为基础,为您提供DeepSeek-R1-Distill-Qwen,InternLM2,Qwen2.5和Qwen2.5-Omni模型的使用流程介绍,从简易开发与进阶开发两条路径,帮助您对其全过程的使用进行充分了解。 |
| 章节 | 简介 |
| oellm_build工具 | oellm_build工具是地瓜提供的将原始浮点模型映射为量化模型的工具。基于原始浮点模型、json配置文件(可选)和校准数据(可选)完成模型的量化及编译,最终生成可用于部署的*.hbm模型。 |
本章节为您介绍地瓜LLM工具链的API接口,帮助您更好地理解和使用API。
| 章节 | 简介 |
| 概览 | 本章节通过接口调用的基本流程图示,为您介绍如何利用API接口对LLM模型进行加载、推理及结果处理。 |
| 接口详细说明 | 本章节为您详细介绍LLM模型推理的API接口,包含基本类型定义、结构体与枚举类型、回调函数类型以及主要接口函数等内容。 |
| 章节 | 简介 |
| DeepSeek-R1-Distill-Qwen模型性能Benchmark | 本章节为我们提供的在一定测试条件下,DeepSeek-R1-Distill-Qwen模型Benchmark相关各项数据,便于您清晰获知模型性能。 |
| InternLM2模型性能Benchmark | 本章节为我们提供的在一定测试条件下,InternLM2模型Benchmark相关各项数据,便于您清晰获知模型性能。 |
| Qwen2.5模型性能Benchmark | 本章节为我们提供的在一定测试条件下,Qwen2.5模型Benchmark相关各项数据,便于您清晰获知模型性能。 |
| Qwen2.5-Omni模型性能Benchmark | 本章节为我们提供的在一定测试条件下,Qwen2.5-Omni模型Benchmark相关各项数据,便于您清晰获知模型性能。 |
本章节为我们提供的授权使用协议,在您使用地瓜LLM工具链前请务必仔细阅读。