部署步骤/
昇腾310P + openEuler22.03部署deepseek-R1
1. 安装驱动包以及CANN
前往昇腾社区获当前芯片版本的边缘驱动、FW、研华以及CANN(昇腾异构计算架构)
driver:Ascend-hdk-310p-npu-driver_xxxxx_linux-aarch64_chip-enable.run Firmware:Ascend-hdk-310p-npu-firmware_xxxxx_chip-enable.run CANN:Ascend-cann-toolkit_xxxxx_linux-aarch64.run
2. 安装依赖组件
3. 安装mindspore (昇思模型框架)
4. DeepSeek-R1模型拉取
拉取模型指令,边缘以1.5B为例
yum install git-lfs -y git lfs install git clone https://ai.gitee.com/hf-models/DeepSeek-R1-Distill-Qwen-1.5B
克隆完成示例如下,研华包含HF完整的仓库:
5. 模型转换
下载后的模型为safetensors格式,还不能直接使用,先用transformers转换为ONNX格式,再使用atc转换为OM(昇腾)格式才能使用。
创建python脚本将safetensors格式转换为ONNX格式,最终转换为OM格式。
执行脚本后会生成对应模型文件,生成对应格式模型文件 执行:
Python3convert.py ./convert.sh
最后,需要用一个简单的python脚本去做互动窗口,运行指令:python3 deepseek_r1.py
示例:
总结:目前研华进行MIC-ATL3S适配更多Deepseek模型,以及与生态伙伴展开具体应用场景测试,后续我们会持续公布研华边缘AI平台产品的部署&测试内容,敬请关注。
研华昇腾310系列边缘AI平台
研华基于昇腾Atlas 310系列平台开发出三款不同形态的边缘AI产品:工业标准化AI模组、边缘AI开发套件以及边缘AI盒子。此系列产品算力高达176 Tops,专注于工业场景下的细分应用。同时,在软件方面,研华聚焦底层开发,定期更新SDK套件以满足客户的开发需求,并自主研发工业领域远程部署和管理工具。
文章版权声明:除非注明,否则均为本站原创文章,转载或复制请以超链接形式并注明出处