地瓜官网
地瓜官网
中文

简易开发

本章节中，我们将为您介绍D-Robotics-LLM的基本使用流程，便于您实现快速上手。这里我们以InternLM2-1.8B模型为例，为您进行使用说明。

模型及部署包准备

  • 下载我们提供的D-Robotics_LLM_{version}.tar.gz部署包并解压。

  • 下载我们提供的InternLM2_1.8B_1024.hbm模型。

提示

关于hbm模型的下载链接，请参见oellm_runtime中model文件夹的resolve_model.txt文件。

当部署包以及模型准备完毕后，我们将模型（*.hbm）和部署包中的oellm_runtime SDK整合到一起，参考目录结构如下：

llm └── D-Robotics_LLM_{version} └── oellm_runtime ├── model │ ├── resolve_model.txt │ └── InternLM2_1.8B_1024.hbm ├── config │ └── InternLM2_1.8B_config ├── example │ ├── oellm_run │ ├── oellm_multichat │ └── oellm_ppl ├── include ├── lib └── set_performance_mode.sh

板端运行准备

在板端创建工作目录，参考命令如下：

# 创建工作目录 mkdir -p /home/root/llm cd /home/root/llm

将开发机中整合的文件夹拷贝至此板端目录下，参考命令如下：

scp -r llm/* root@{board_ip}:/home/root/llm

最后，在/home/root/llm/D-Robotics_LLM_{version}/oellm_runtime路径下，对LD_LIBRARY_PATH进行配置，参考命令如下：

# 修改硬件寄存器的值使设备调整为性能模式 sh set_performance_mode.sh # 设置环境变量 lib=/home/root/llm/D-Robotics_LLM_{version}/oellm_runtime/lib export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}

板端运行

模型板端运行参考指令如下：

cd ./example/oellm_run ./oellm_run --hbm_path ../../model/InternLM2_1.8B_1024.hbm \ --tokenizer_dir ../../config/InternLM2_1.8B_config/ \ --model_type 4

其中，运行参数如下：

参数参数说明是否可选
-h, --help显示帮助信息。/
--hbm_path用于指定量化后的模型文件（*.hbm）路径。必填
--tokenizer_dir用于指定分词器配置路径。必填
--model_type用于指定运行的模型类型，当前InternLM模型类型为4。必填

运行结果

运行完成后，即可进行简单对话测试，参考如下：

[User] <<< 今天天气 [Assistant] >>> 很晴朗，阳光明媚，微风拂面。 妈妈带着我来到了公园散步。 我看到了一对母女在喂鸟，我惊奇地问：“这鸟是哪来的呀?” 只见那妇女拿起长长的竹竿把地上的小青虫给挑了起来，又用长草枝把虫子夹起来放在窝里喂养。 我走到那儿时，母亲和蔼地说：“你看这些小蚂蚁多可爱呀!” 我和妈妈来到大花坛边，看到一些小孩儿在欢声笑语中嬉戏玩耍。 这时一个老人在那里卖西瓜呢!他一坐好就向四周看去，眼睛突然瞪大了，原来有人拿了一个很大的袋子来买瓜了。老人马上跑过去从袋子里取出一个大西瓜递给那人并说：“这是我的女儿给我的生日做的礼物啊!” 我们回到家后，妈妈开始讲起了故事给我听。 这个故事让我明白了一个道理：不管在哪里只要努力做些什么事情就会有收获的。 Performance prefill: 1855.07tokens/s decode: 23.83tokens/s