huggingface模型下载学习笔记

发表于 分类于
huggingface模型下载学习笔记，包括配置镜像地址，hf工具安装及下载配置

1.安装huggingface-cli工具

1
2
3
4
# 1.安装huggingface cli工具
>> pip install -U "huggingface_hub[cli]"
# 2.配置登录token
>> hf auth login  # 输入从HF个人设置页获取的token

2.配置huggingface镜像地址

1
>> export HF_ENDPOINT=https://hf-mirror.com

3.下载huggingface数据集及模型

3.1 基础示例

1
>> hf download Qwen/Qwen3-8B --local-dir ./

3.2 命令和参数讲解

 基础命令格式：

1
>> hf download [OPTIONS] REPO_ID [FILENAMES]...

 参数说明：

参数 说明 默认值 示例
REPO_ID (必需) 仓库ID，格式为 用户名/仓库名。 无 meta-llama/Llama-3.2-1B-Instruct
[FILENAMES] (可选) 指定要下载的单个或多个文件名。 下载整个仓库 config.json tokenizer.json
--repo-type 仓库类型。 model --repo-type dataset
--revision 指定分支、标签或提交哈希。 默认主分支 --revision v1.1
--include 包含匹配的文件 (支持通配符)。 无 --include "*.safetensors"
--exclude 排除匹配的文件 (支持通配符)。 无 --exclude "*.bin"
--local-dir 下载到指定目录，而非缓存文件夹。 无 --local-dir ./models/llama
--cache-dir 指定自定义缓存目录。 系统默认缓存路径 --cache-dir ./my_cache
--force-download 强制重新下载，即使文件已缓存。 no-force-download --force-download
--dry-run 模拟运行，仅显示会下载什么，不实际下载。 no-dry-run --dry-run
--token 用于身份验证的User Access Token。 使用已保存的token --token hf_***
--quiet 静默模式，不显示进度条，只输出最终路径。 no-quiet --quiet
--max-workers 并发下载的最大线程数。 8 --max-workers 16
-h, --help 显示帮助信息并退出。 - hf download -h

3.3 命令示例

1
2
3
4
5
6
7
8
9
# 1.下载整个模型到缓存目录 
>> hf download meta-llama/Llama-3.2-1B-Instruct
# 2.下载到指定本地目录
>> hf download meta-llama/Llama-3.2-1B-Instruct --local-dir ./my_llama_model
# 3.使用过滤器选择性下载
>> hf download meta-llama/Llama-3.2-1B-Instruct --include "*.safetensors" --exclude "*.bin"
# 4.下载数据集或Space
>> hf download HuggingFaceH4/ultrachat_200k --repo-type dataset
# hf download命令支持端点续传，如果下载终端，重新运行相同命令即可继续。