地瓜官网
地瓜官网
中文

产品简介

什么是地瓜LLM

地瓜LLM工具链（也称D-Robotics-LLM）是地瓜S100工具链产品面向大模型业务的特性化拓展， 可以实现在S100系列平台及衍生平台上进行大语言模型的开发、转换和部署。基于此开发的应用参考解决方案，可为机器人业务中的大模型业务诉求提供案例支撑。 在您获取到地瓜LLM工具链发布包后，可以先按照如下步骤进行了解。

  1. 先参考 发布物内容 小节，了解发布包的目录结构。

  2. 再参考 开发流程 章节，简单了解整体部署包的使用流程。

  3. 接着参考 环境部署 章节，正确完成所需环境的安装部署。

  4. 最后根据您所选择的平台及使用的模型，参考 S100/S100P平台 章节，完成模型转换与部署的全流程。

更多更全面的地瓜LLM相关使用教程，欢迎参考后方章节进行了解。

发布物内容

S100/S100P

地瓜LLM发布包的结构如下所示：

. ├── arm-gnu-toolchain-11.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz ├── oellm_build │ ├── requirements.txt │ ├── hbdk4_compiler-{version}-cp310-cp310-manylinux_2_17_x86_64.whl │ ├── hbdk4_runtime_aarch64_unknown_linux_gnu_nash-{version}-py3-none-any.whl │ └── leap_llm-{version}-py310-none-any.whl └── oellm_runtime ├── model ├── config ├── example ├── include ├── lib └── set_performance_mode.sh
注解

此处仅为展示发布包结构，具体版本号请以实际您使用的发布包为准。

其中：

  • arm-gnu-toolchain-11.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz为发布包依赖的交叉编译工具包。

  • oellm_build文件夹下放置环境、编译器以及leap统一算子库相关依赖。

    • requirements.txt为搭建开发环境所需的环境配置文件。

    • hbdk4_compiler-{version}-cp310-cp310-manylinux_2_17_x86_64.whl为编译器hbdk4的安装包。

    • hbdk4_runtime_aarch64_unknown_linux_gnu_nash-{version}-py3-none-any.whl为编译器hbdk4运行时的安装包。

    • leap_llm-{version}-py310-none-any.whl为leap-llm安装包，提供模型的量化和转换功能。

  • oellm_runtime文件夹下放置端侧部署SDK相关依赖及示例等内容。

    • model 下提供编译好的板端模型的下载链接，您可将模型置于此文件夹。

    • config 下包含预置的已支持模型的参考配置文件。

    • example 下包含demo源码，编译脚本，二进制文件，运行时的配置文件等。

    • include 下包含编译端侧部署示例所依赖的关键头文件。

    • lib 下包含端侧部署程序依赖库。

    • set_performance_mode.sh 用于修改硬件寄存器的值使设备调整为性能模式，当前仅支持调整S100P。