地瓜LLM文档脉络

本文档适用于使用地瓜LLM工具链的所有开发者,为您提供全方位的开发过程指导。为您能够充分了解整体的使用过程,地瓜推荐您按照以下顺序进行阅读。

以下为各章节内容简述,您也可以根据需要进行对应章节的阅读。

1. LLM文档脉络

本章节为您准备了整体文档中相关章节的内容简介及内容跳转,以及文档的推荐阅读顺序。

  1. 产品简介
章节简介
产品简介本章节为您进行地瓜LLM工具链的介绍,同时为您简单介绍包中的发布物内容。
开发流程本章节为您带来地瓜LLM工具链整体开发流程的简单介绍。
  1. 环境部署

本章节为您介绍开发环境和运行环境下,需要您提前进行的环境部署步骤及内容。

  1. 使用说明
章节简介
S100/S100P平台本章节将以S100/S100P平台为基础,为您提供DeepSeek-R1-Distill-Qwen,InternLM2,Qwen2.5和Qwen2.5-Omni模型的使用流程介绍,从简易开发与进阶开发两条路径,帮助您对其全过程的使用进行充分了解。
  1. 工具介绍
章节简介
oellm_build工具oellm_build工具是地瓜提供的将原始浮点模型映射为量化模型的工具。基于原始浮点模型、json配置文件(可选)和校准数据(可选)完成模型的量化及编译,最终生成可用于部署的*.hbm模型。
  1. API介绍

本章节为您介绍地瓜LLM工具链的API接口,帮助您更好地理解和使用API。

章节简介
概览本章节通过接口调用的基本流程图示,为您介绍如何利用API接口对LLM模型进行加载、推理及结果处理。
接口详细说明本章节为您详细介绍LLM模型推理的API接口,包含基本类型定义、结构体与枚举类型、回调函数类型以及主要接口函数等内容。
  1. 模型性能Benchmark
章节简介
DeepSeek-R1-Distill-Qwen模型性能Benchmark本章节为我们提供的在一定测试条件下,DeepSeek-R1-Distill-Qwen模型Benchmark相关各项数据,便于您清晰获知模型性能。
InternLM2模型性能Benchmark本章节为我们提供的在一定测试条件下,InternLM2模型Benchmark相关各项数据,便于您清晰获知模型性能。
Qwen2.5模型性能Benchmark本章节为我们提供的在一定测试条件下,Qwen2.5模型Benchmark相关各项数据,便于您清晰获知模型性能。
Qwen2.5-Omni模型性能Benchmark本章节为我们提供的在一定测试条件下,Qwen2.5-Omni模型Benchmark相关各项数据,便于您清晰获知模型性能。
  1. OpenExplorer-LLM工具链授权使用协议

本章节为我们提供的授权使用协议,在您使用地瓜LLM工具链前请务必仔细阅读。