编译安装指南¶

编译说明¶

本文档介绍如何从源码编译MindIE-LLM，生成 .whl 包，安装与运行。

环境准备¶

镜像安装方式¶

MindIE镜像获取请参见镜像安装方式。

容器/物理机安装方式¶

1. 容器/物理机安装方式，需要准备的软件包和依赖请参见准备软件包和依赖。
2. 容器/物理机安装方式，软件包和依赖的安装请参见安装软件包和依赖。

编译安装¶

1. 安装Python工具。MindIE-LLM 支持 Python == 3.10 和 Python == 3.11。

   pip install --upgrade pip
   pip install wheel setuptools
   

2. 克隆源码仓库。

   git clone https://gitcode.com/Ascend/MindIE-LLM.git
   cd MindIE-LLM
   

3. 编译第三方依赖。

   bash build.sh 3rd
   

4. 设置环境变量。 获取 Python site-packages 路径（建议不要硬编码 torch 路径），并配置动态库搜索路径：

   TORCH_PATH=$(python3 -c "import torch, os; print(os.path.dirname(torch.__file__))")
   TORCH_NPU_PATH=$(python3 -c "import torch_npu, os; print(os.path.dirname(torch_npu.__file__))")
   export LD_LIBRARY_PATH=${TORCH_PATH}/lib:${TORCH_PATH}/../torch.libs:$LD_LIBRARY_PATH
   export PYTORCH_NPU_INSTALL_PATH=${TORCH_NPU_PATH}
   

   可选：指定生成 .whl 包的版本号：

   export MINDIE_LLM_VERSION_OVERRIDE=3.0.0
   

5. 编译生成 MindIE-LLM 的 .whl 包。 在源码根目录下执行：

   pip wheel . --no-build-isolation -v
   

   • 编译完成后，会在当前目录生成 mindie_llm-<version>-*.whl 文件。
   • 编译时，setup.py 会自动调用 build.sh 编译C++代码，并拷贝第三方依赖到包内。
   • 编译后，生成临时目录 build、存放二进制的目录 output 和 debug 符号表 llm_debug_symbols 目录。

6. 安装MindIE-LLM。

   old_umask=$(umask)
   umask 027
   pip install mindie_llm*.whl
   umask $old_umask
   

7. 编译ATB_Models的 .whl 包。

   cd examples/atb_models
   pip wheel . --no-build-isolation -v
   

   注意：使用 Python 3.10 环境编译，需配套 torch 2.9.0 版本 + torch_npu 2.9.0 版本, 否则会导致 _bz2 模块缺失，从而导致编译失败。

8. 安装 ATB_Models。

   pip install atb_llm*.whl
   

9. 配置运行环境变量（可选）。

   ATB_Models 安装完成后，需设置其运行所需的环境变量。通过 Python 动态获取 atb_llm 的安装路径，以适配不同的 Python 环境和 site-packages 位置：

   ATB_LLM_PATH=$(python3 -c "import atb_llm, os; print(os.path.dirname(atb_llm.__file__))")
   export ATB_SPEED_HOME_PATH=${ATB_LLM_PATH}
   export LD_LIBRARY_PATH=${ATB_LLM_PATH}/lib:${LD_LIBRARY_PATH}
   

   提示

   • 建议将以上命令写入 ~/.bashrc 或启动脚本中，避免每次手动设置。
   • MindIE 镜像内置该环境变量，如使用镜像则无需手动设置。

升级¶

升级详情请参见升级。

卸载¶

卸载详情请参见卸载。