环境部署
本章节向您介绍，如何在开发机和端侧完成LLM模型所需的环境部署。
开发环境部署
部署包准备
下载我们提供的 D-Robotics_LLM_{version}.tar.gz 安装包并正确解压。
安装Conda环境
为了方便进行Python环境的管理，我们推荐使用Miniforge3作为Python的包管理工具。
-
下载Miniforge3安装包：
wget -c https://mirrors.bfsu.edu.cn/github-release/conda-forge/miniforge/LatestRelease/Miniforge3-Linux-x86_64.sh
-
安装Miniforge3：
chmod 777 Miniforge3-Linux-x86_64.sh
sh Miniforge3-Linux-x86_64.sh
设置Conda环境
-
进入Conda base环境中，参考如下命令：
# ~/miniforge3为Miniforge3默认安装路径，根据实际情况选择
source ~/miniforge3/bin/activate
(base) xxx@xxx:~$
-
创建并进入python3.10的环境，参考如下：
conda create -n oellm python=3.10
进入oellm conda环境：
conda activate oellm
# (oellm) xxx@xxx:~$
安装必要的python环境：
# D-Robotics_LLM_{version}路径下
pip install -r ./oellm_build/requirements.txt
安装部署包内其他文件
Conda环境设置完成后，需要继续安装LLM部署包内的模型量化转换和编译工具包，参考如下命令：
pip install ./oellm_build/hbdk4_compiler-{version}-cp310-cp310-manylinux_2_17_x86_64.whl
pip install ./oellm_build/hbdk4_runtime_aarch64_unknown_linux_gnu_nash-{version}-py3-none-any.whl
pip install ./oellm_build/leap_llm-{version}-py310-none-any.whl
至此，我们完成了开发环境的相关安装部署。
运行环境部署
运行环境准备
此阶段需要验证下运行环境的可用性，确保其可以用于实际的板端程序执行。
交叉编译工具链配置
在LLM部署包内我们提供了交叉编译工具链的安装包，在端侧创建目录并解压安装包即可，参考如下命令：
sudo mkdir -p /opt/aarch64/
sudo tar -xvf arm-gnu-toolchain-11.3.rel1-x86_64-aarch64-none-linux-gnu.tar.xz -C /opt/aarch64/
解压后，配置检查编译工具链的环境变量，参考如下命令：
export LINARO_GCC_ROOT=/opt/aarch64/arm-gnu-toolchain-11.3.rel1-x86_64-aarch64-none-linux-gnu
至此，我们完成了开发环境及运行环境的相关安装部署，请参考后方章节查看如何实际使用地瓜LLM工具链进行大模型的量化转换和端侧部署。
