文章目录

方法1:直接在Huggingface上下载,但是要fanqiang,可以git clone或者在代码中:

from huggingface_hub import snapshot_download
# snapshot_download(repo_id="decapoda-research/llama-7b-hf")
snapshot_download(repo_id="THUDM/chatglm3-6b")

方法2:使用modelscope:

pip install modelscope

# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好,下载就很快,如果是kb/s,那么大文件下载会失败。

注意如果下载数据可以使用(但这种方法可能会压缩数据):

from modelscope.msdatasets import MsDataset
ds = MsDataset.load(
    dataset_name,
    split='train',
    cache_dir=save_model_path
)
print(ds)

参考:如果想使用modelscope的命令行下载,可参考

方法3:使用hf的镜像网站,https://hf-mirror.com/baichuan-inc

代码还是使用的huggingface那坨,但是在terminal运行代码时加上HF_ENDPOINT=https://hf-mirror.com

HF_ENDPOINT=https://hf-mirror.com python  download_data.py

注:huggingface的镜像网站下载llama2系列模型如何加认证的信息啊?
加 huggingface access token 就可以下载,wget --header=“Authorization: Bearer <hf_token>” url ,如果是git clone,则提示输密码时输入access token。

方法4:如果是下载数据,也可以使用hf的镜像网站(注意这里需要添加后面的参数--repo-type dataset):

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download THUDM/CogVLM-SFT-311K --local-dir cogvlm_sft_311k --repo-type dataset

Reference

[1] 不使用梯子下载huggingface模型——使用镜像下载
[2] 如何使用Huggingface镜像

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐