Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
shirley
c43974e69d
|
2 years ago | |
|---|---|---|
| panguAlpha_pytorch | 2 years ago | |
| README.md | 2 years ago | |
README.md
PanGu-Alpha-GPU
英文|中文
描述
本项目是 Pangu-alpha 的 GPU 版本，关于 Pangu-alpha 的原理、数据集等信息请查看原项目。该项目现阶段主要是让 Pangu-alpha 模型能在 GPU 上进行推理和训练，让更多人体验到大模型的魅力。开放的宗旨就是要集思广益、抛砖引玉、挖掘大模型应用潜力，同时发现存在的问题，以指导我们未来的创新研究和突破。
目前2.6B GPU版本的模型推理阶段显存占用控制在7G以内，8G显存的机器即可推理，请大家放心使用。
mindspore 推理、Finetune、预训练
- 请查看：该部分代码只支持推理，如果只想体验一下盘古α的话，推荐使用这个页面下的《三分钟实现推理教程》。
- 请查看：如果想在盘古α上开发的话，推荐使用 mindspore 提供的训练和推理代码。mindspore 官网的 model_zoo 提供了推理、Finetune、预训练全流程。
pytorch 推理、Finetune、预训练
请查看：基于 Megatron-1.1开发的盘古α的推理、Finetune、预训练全流程。
2023.1.18
PanGu-Alpha 模型在 GPU 上推理和训练
Python C++ Markdown Cuda other
