安装说明¶
介绍如何快速完成MindIE LLM软件的安装。
安装方案¶
本文档包含镜像、离线和源码场景下,安装MindIE软件的方案,部署架构如图1所示。
各安装方案的使用场景以及优缺点如下所示,请根据自己的使用场景选择合适的安装方式。
- 镜像安装:该方式是最简单的一种安装方式,用户直接从昇腾社区下载已经打包好的镜像,镜像中已经包含了CANN、PyTorch、MindIE等必要的依赖与软件,用户只需拉取镜像并启动容器即可。镜像安装支持run包。
- 离线安装:该方式可将CANN、PyTorch、MindIE等软件与依赖安装到物理机或容器上。离线安装支持run包和whl包。
- 源码安装:如需体验最新功能,或对源码进行修改增强,可下载本仓库代码,自行编译并完成安装。源码安装支持whl包方式。
说明
- 新用户推荐whl包方式安装。
- 老用户升级场景,推荐使用run包方式安装。
硬件配套和支持的操作系统¶
本章节提供软件包支持的操作系统清单,请执行以下命令查询当前操作系统的版本信息,如果查询的操作系统版本不在对应产品列表中,请替换为支持的操作系统。
表 1 操作系统支持列表
| 硬件 | 操作系统 |
|---|---|
| Atlas 800I A2 推理服务器 | AArch64: |
| Atlas 300I Duo 推理卡+Atlas 800 推理服务器(型号 3000) | AArch64: |
| Atlas 300I Duo 推理卡+Atlas 800 推理服务器(型号 3010) | X86_64: |
| Atlas 800I A3 超节点服务器 | AArch64: |
| Atlas 200I Pro 加速模块 | AArch64: |
