Hugging Face Blog·· 22 小时前精选AI 评分62
Hugging Face 推出 TorchNeuron,在 AWS Trainium 上原生运行 HF 模型
TorchNeuron: running HF models on AWS Trainium is easier than ever
AI 导读
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 可直接支持,10 月 20 日起以公开 beta 提供,可通过 pip install torch-neuronx 安装。
推荐理由
原文给出 TorchNeuron 在 HF 库中的原生接入方式与支持范围,读者可据此判断 Trainium 上的迁移成本。
来源:Hugging Face Blog · huggingface.co