地瓜官网
地瓜官网
中文

简易开发

本章节中，我们将为您介绍D-Robotics-LLM的基本使用流程，便于您实现快速上手。

Qwen2.5模型版本选择

我们为您提供了Qwen2.5的Base和Instruct双版本模型，满足您不同的开发与应用需求，二者区别如下：

  • Base版本是基础的文本生成模型，适用于后续的模型训练任务，模型名称中不包含Instruct字样。

  • Instruct版本是在Base版本基础上经指令微调得到的模型，更适合用于对话场景，模型名称中包含Instruct字样。

这里我们以Qwen2.5-1.5B-Instruct模型为例，为您进行使用说明。

模型及部署包准备

  • 下载我们提供的D-Robotics_LLM_{version}.tar.gz部署包并解压。

  • 下载我们提供的Qwen2.5_1.5B_Instruct_1024.hbm模型。

提示

关于hbm模型的下载链接，请参见oellm_runtime中model文件夹的resolve_model.txt文件。

当部署包以及模型准备完毕后，我们将模型（*.hbm）和部署包中的oellm_runtime SDK整合到一起，参考目录结构如下：

llm └── D-Robotics_LLM_{version} └── oellm_runtime ├── model │ ├── resolve_model.txt │ ├── Qwen2.5_1.5B_1024.hbm │ ├── Qwen2.5_1.5B_Instruct_1024.hbm │ ├── Qwen2.5_7B_1024.hbm │ └── Qwen2.5_7B_Instruct_1024.hbm ├── config │ ├── Qwen2.5_1.5B_config │ ├── Qwen2.5_1.5B_Instruct_config │ ├── Qwen2.5_7B_config │ └── Qwen2.5_7B_Instruct_config ├── example │ ├── oellm_run │ ├── oellm_multichat │ └── oellm_ppl ├── include ├── lib └── set_performance_mode.sh

板端运行准备

在板端创建工作目录，参考命令如下：

# 创建工作目录 mkdir -p /home/root/llm cd /home/root/llm

将开发机中整合的文件夹拷贝至此板端目录下，参考命令如下：

scp -r llm/* root@{board_ip}:/home/root/llm

最后，在/home/root/llm/D-Robotics_LLM_{version}/oellm_runtime路径下，对LD_LIBRARY_PATH进行配置，参考命令如下：

# 修改硬件寄存器的值使设备调整为性能模式 sh set_performance_mode.sh # 设置环境变量 lib=/home/root/llm/D-Robotics_LLM_{version}/oellm_runtime/lib export LD_LIBRARY_PATH=${lib}:${LD_LIBRARY_PATH}

板端运行

模型板端运行参考指令如下：

cd ./example/oellm_run ./oellm_run --hbm_path ../../model/Qwen2.5_1.5B_Instruct_1024.hbm \ --tokenizer_dir ../../config/Qwen2.5_1.5B_Instruct_config/ \ --template_path ../../config/Qwen2.5_1.5B_Instruct_config/Qwen2.5_1.5B_Instruct.jinja \ --model_type 7

程序的输入参数如下：

参数参数说明是否可选
-h, --help显示帮助信息。/
--hbm_path用于指定量化后的模型文件（*.hbm）路径。必填
--tokenizer_dir用于指定分词器配置路径。必填
--template_path用于指定Instruct模型的对话模板路径，加载Base模型时缺省。可选
--model_type用于指定运行的模型类型，当前Qwen2.5模型类型为7。必填

运行结果

运行完成后，即可进行简单对话测试，参考如下：

[User] <<< 简单描述人工智能的发展 [Assistant] >>> 人工智能（Artificial Intelligence，简称AI）的发展可以简单描述为： 1. 从理论到实现 - 人工智能最初是在20世纪20年代开始研究的，但是真正的发展是从1936年图灵（Alan Turing）提出的机器智能概念开始的。图灵首先提出了一种计算模型——图灵机，并定义了计算是否有效是与人类是否能理解计算结果相同的。 - 之后的研究者们开始研究如何模拟大脑的神经网络，进行机器学习，以及如何让机器具备一定的智能。 - 60年代后，人工智能领域进入蓬勃发展期，许多概念和技术开始成熟，如遗传算法、神经网络、模糊集成为等。 - 90年代，深度学习（深度神经网络）开始兴起，使机器学习得到了更大的发展，尤其在图像识别和模式识别等方面。 - 近年来，AI技术在语音识别、自然语言处理、图像识别、机器翻译、智能机器人等领域取得快速发展。 2. 从理论到实践 - 从1950年到2010年，大约60年时间人工智能理论与实践发展迅速。 - 2010年到2014年，深度学习兴起，人工智能进入到了一个快速发展的时期。其中，2014年人工智能的论文已经达到了80多万篇，论文引用量也达到了5亿的量级。 - 2017年，深度学习在图像识别、语音识别等领域达到了非常高的精度，但同时也遇到了数据集过大、模型复杂等问题。人工智能开始关注如何克服数据过量和模型复杂度。 3. 从发展到成熟 - 2015年，14项AlphaGO击败了世界围棋冠军（李世石）并打破了人类对于人工智能的幻想，人工智能的技术开始成熟。 - 2020年，人工智能应用到许多方面，在医疗、智能制造、智慧城市等领域得到广泛的应用。 Performance prefill: 1939.39tokens/s decode: 24.43tokens/s