文件操作
导航
Firefoo
定时器
Pyinstaller
PM项目管理
wireshark
codeblock
kylin
槽
qt教程
Owner
postcss
宠物猫店管理系统
内存替换算法LRU
ue5
输入输出流
clickhouse 函数
稀疏阵列
mosquito
HuggingFace
2024/4/12 23:44:24
如何下载huggingface的模型到本地
https://huggingface.co/docs/transformers/installation#fetch-models-and-tokenizers-to-use-offline
以下代码下载模型到 ./123/chatglm3-6b
from transformers import AutoTokenizer, AutoModel
from huggingface_hub.hf_api import HfFolderHfFolder.save_token(hf_ZYmP…
修改huggingface 的cache缓存路径
使用hugging face 来跑代码时，往往会把模型缓存到系统目录下，比如我的ubuntu系统就缓存到~.cache目录下。由于自己的home空间不足，先需要修改缓存的 .cache目录，修改方法如下： 找到自己安装的huggingface_hub下的const…
NLP神器Transformers入门简单概述
在这篇博客中，我们将深入探索 🤗 Transformers —— 一个为 PyTorch、TensorFlow 和 JAX 设计的先进机器学习库。🤗 Transformers 提供了易于使用的 API 和工具，使得下载和训练前沿的预训练模型变得轻而易举。利用预训练模型不仅能减少计算成本和碳足迹，还能节省从头训练…
huggingface连接不上的解决方案
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
使用 ModelScope 文本到视频合成模型
链接如下：
ModelScope Text To Video Synthesis - a Hugging Face Space by damo-vilabDiscover amazing ML apps made by the communityhttps://huggingface.co/spaces/damo-vilab/modelscope-text-to-video-synthesis
标题：使用 ModelScope 文本到视…
HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）
准备数据集
使用编码工具
首先需要加载编码工具，编码工具可以将抽象的文字转成数字，便于神经网络后续的处理，其代码如下：
# 定义数据集
from transformers import BertTokenizer, BertModel, AdamW
# 加载tokenizer
token Ber…
节省时间：AI 模型靠谱下载方案汇总
这篇文章，想分享下我日常是如何下载模型的，包括下载来源和工具使用细节，希望对折腾模型的你也有帮助。
也希望开源和 AI 领域的研究者、从业者在做技术调研和落地实践的时候，都能节约一些时间。
写在前面
之前写了很多模型相关…
如何下载huggingface的模型和权重
使用python脚本
#使用huggingface_hub，好处是可以看到下载速度，以及过滤不想下载的文件
#下载的文件放在~/.cache/huggingface下，且文件名都被改掉了
from huggingface_hub import snapshot_download
snapshot_download(repo_id"t5-3b&…
用huggingface.Accelerate进行分布式训练
诸神缄默不语-个人CSDN博文目录
本文属于huggingface.transformers全部文档学习笔记博文的一部分。 全文链接：huggingface transformers包 文档学习笔记（持续更新ing…）
本部分网址：https://huggingface.co/docs/transformers/m…
国内下载huggingface的方法
以下载单文件为例
from huggingface_hub import hf_hub_download
hf_hub_download(repo_id"neukg/TechGPT-2.0-QLora-hf",endpoint"https://hf-mirror.com",filename"adapter_model.bin",local_dir"./",local_dir_use_symlinksFalse)…
GPT实战系列-简单聊聊LangChain搭建本地知识库准备
GPT实战系列-简单聊聊LangChain搭建本地知识库准备 LangChain 是一个开发由语言模型驱动的应用程序的框架，除了和应用程序通过 API 调用， 还会： 数据感知 : 将语言模型连接到其他数据源 具有代理性质 : 允许语言模型与其环境交互
LLM大模型…
huggingface实战bert-base-chinese模型(训练+预测)
文章目录 前言一、bert模型词汇映射说明二、bert模型输入解读1、input_ids说明2、attention_mask说明3、token_type_ids说明4、模型输入与vocab映射内容二、huggingface模型数据加载1、数据格式查看2、数据dataset处理3、tokenizer处理dataset数据三、huggingface训练bert分类模…
Huggingface初上手即ERNIE-gram句子相似性实战
大模型如火如荼的今天，不学点语言模型（LM）相关的技术实在是说不过去了。只不过由于过往项目用到LM较少，所以学习也主要停留在直面——动眼不动手的水平。Huggingface（HF）也是现在搞LM离不开的工具了。
出于…
HuggingFace模型头的自定义
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 在本文中我们将介绍如何使HuggingFace的模型适应你的任务，在Pytorch中建立自定义模型头并将其连接到HF模型的主体&#…
HuggingFace Hub系列：推动NLP前进的协作平台
在当今快速发展的机器学习(ML)领域，没有任何一个公司，包括科技巨头，能够独立“解决AI”。这是一个需要通过共享知识和资源在社区中协作来实现的目标。正是基于这个信念，Hugging Face Hub应运而生，它是一个集成了超过12…
huggingface 入门
1.简述
关于huggingface介绍，请参考其他文章，这里简单说明。 Tasks：主要包括计算机视觉、自然语言处理、语音处理、多模态、表格处理、强化学习、图机器学习。
Multimodal多模态：Visual Question Answering（视觉问答…
【扩散模型】理解扩散模型的微调(Fine-tuning)和引导(Guidance)
理解扩散模型的微调Fine-tuning和引导Guidance 1. 环境准备2. 加载预训练过的管线3. DDIM——更快的采样过程4. 微调5. 引导6. CLIP引导参考资料 微调（Fine-tuning）指的是在预先训练好的模型上进行进一步训练，以适应特定任务或领域的过程。这…
Huggingface中Transformer模型使用
NLP自从Transformer模型出现后，处理方式有大统一的趋势，首先回答几个基础问题：
1、自然语言处理究竟要做一件什么事呢？自然语言处理最终解决的是分类问题，但是它不仅仅输出一个分类的预测结果，关键的在于构…
HuggingFace下载模型
目录
方式一：网页下载
方式二：Git下载 方式一：网页下载 方式二：Git下载
有些模型的使用方法页面会写git clone的地址，有些没写，直接复制网页地址即可
网页地址：
https://huggingface.co/…
AutoTrain：在Google Colab上微调LLM最简单的方法
一、前言
在前面的文章中，我们介绍过《GPT-LLM-Trainer：如何使用自己的数据轻松快速地微调和训练LLM》，主要介绍了使用 GPT-LLM-Trainer 工具简化模型训练的所有复杂步骤，全程只需输入任务描述，系统就会从头开始生成数…
机器学习笔记 - PyTorch Image Models图像模型概览 (timm)
一、简述 PyTorch Image Models (timm)是一个用于最先进的图像分类的库，包含图像模型、优化器、调度器、增强等的集合；是比较热门的论文及代码库。 虽然越来越多的低代码和无代码解决方案可以轻松开始将深度学习应用于计算机视觉问题，但我们经常与希望寻求定制解决方案的客户…
HuggingFace Transformers教程（1）--使用AutoClass加载预训练实例
知识的搬运工又来啦
☆*: .｡. o(≧▽≦)o .｡.:*☆
【传送门>原文链接:】https://huggingface.co/docs/transformers/autoclass_tutorial 🚗🚓🚕🛺🚙🛻🚌Ƕ…
huggingface datasets离线加载文件的解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…
pytorch中dataloader的prefetch_factor出错
今天跑huggingface的示例的时候，遇到了最让我头疼的问题，国内网上还没有对应的解释，我可能是第一人（汗）先看看报错：
Traceback (most recent call last):File "F:\transformer\transformers\examples…
[huggingface]—离线加载数据集
前言
服务器没网，需要手动下载，离线加载数据。
步骤
以加载下面这个数据集为例：
dataset load_dataset(stereoset, intrasentence)去hugginface找到这个仓库，看files and versions里面的py文件，需要下载什么文件&…
预训练模型下载和使用
1 huggingface
Huggingface是一家公司，在Google发布BERT模型不久之后，这家公司推出了BERT的pytorch实现，形成一个开源库pytorch-pretrained-bert。后续又实现了其他的预训练模型，如GPT、GPT2、ToBERTa、T5等，便把开源…
用通俗易懂的方式讲解大模型：HugggingFace 推理 API、推理端点和推理空间使用详解
接触 AI 的同学肯定对HuggingFace[1]有所耳闻，它凭借一个开源的 Transformers 库迅速在机器学习社区大火，为研究者和开发者提供了大量的预训练模型，成为机器学习界的 GitHub。
在 HuggingFace 上我们不仅可以托管模型，还可以方便…
【加载自定义数据csv/image】HuggingFace的datasets库中load_dataset
1.加载自定义数据 load_dataset有以下参数，具体可参考 源码
def load_dataset(path: str,name: Optional[str] None,data_dir: Optional[str] None,data_files: Union[Dict, List] None,split: Optional[Union[str, Split]] None,cache_dir: Optional[str] No…
【问题解决】load_dataset报错An error occurred while generating the dataset
问题描述： 使用load_dataset读取在HuggingFace上的数据集，代码如下
from datasets import load_dataset
dataset load_dataset(path"openclimatefix/goes-mrms")用pip install datasets直接装了库，然后一运行就报错了 在_generat…
Hugging Face 介绍 快速搭建模型服务
Hugging Face 介绍 & 快速搭建模型服务 模型分类网站如何下载模型****[huggingface-cli](https://padeoe.com/huggingface-large-models-downloader/?loginfrom_csdn#4.1-huggingface-cli)****使用国内镜像 如何应用模型****部署和使用 Transformer 模型服务：使…
huggingface高速下载模型的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
【注册Huggingface】获取token
Hugging Face是一家美国公司，专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的transformers库，以及允许用户共享机器学习模型和数据集的平台。
Huggingface 是一个开源的cv、nlp框架，提供了超过100,000个…
Chinese-LLaMA-AIpaca
文章目录 关于 Chinese-LLaMA-Alpaca一、LLaMA模型 --> HF格式二、合并LoRA权重，生成全量模型权重方式1：单LoRA权重合并方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus ）三、使用 Transformers 进行推理四、使用 webui 搭建界面1、克隆text-generation-webui并安装必…
Huggingface上传模型
Huggingface上传自己的模型
参考
https://juejin.cn/post/7081452948550746148https://huggingface.co/blog/password-git-deprecationAdding your model to the Hugging Face Hub， huggingface.co/docs/hub/ad…Welcome，huggingface.co/welcome三句指…
【HuggingFace】Transformers（V4.34.0 稳定）支持的模型
Transformer 4.43.40 版本是自然语言处理领域的一个重要工具包，为开发者提供了丰富的预训练模型资源，可以用于各种文本处理任务。在这个版本中，Transformer 支持了众多模型，每个模型都具有不同的优势和适用领域。下面是一个 Trans…
解决 SSLError: HTTPSConnectionPool(host=‘huggingface.co‘, port=443)
看我的回答：
https://github.com/huggingface/transformers/issues/17611#issuecomment-1794486960
能问这个问题的都是网络不太好的，你懂的，所以答案全是解决网络的。
得益于这个回答：#17611 (comment)
看了一下代码…
【Stable Diffusion XL】huggingface diffusers 官方教程解读
文章目录 01 TutorialDeconstruct a basic pipelineDeconstruct the Stable Diffusion pipelineAutopipelineTrain a diffusion model 相关链接： GitHub： https://github.com/huggingface/diffusers 官方教程：https://huggingface.co/docs/di…
240330-大模型资源-使用教程-部署方式-部分笔记
A. 大模型资源
Models - Hugging FaceHF-Mirror - Huggingface 镜像站模型库首页 魔搭社区 B. 使用教程
HuggingFace
HuggingFace 10分钟快速入门（一），利用Transformers，Pipeline探索AI。_哔哩哔哩_bilibiliHuggingFace快速入…
HuggingFace——Tokenizer的简单记录
Tokenizer [ 中文Course | API|详述文档]
下载使用
针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问： commit_hash kwargs.get("_commit_hash", None)resolved_config_file cached_file(pretrained_model_name_or_pa…
HuggingFace 简介
HuggingFace 简介 0. HuggingFace 简介1. HuggingFace 官网地址2. HuggingFace 标准研发流程3. HuggingFace 工具集4. 编码工具4.1 编码工具介绍4.2 使用编码工具 5. 数据集工具5.1 数据集工具介绍5.2 使用数据集工具 6. 评价指标工具6.1 评价指标工具介绍6.2 使用评价指标工具…
下载huggingface数据集到本地并读取.arrow文件遇到的问题
文章目录 1. 524MB中文维基百科语料（需要下载的数据集）2. 下载 hugging face 网站上的数据集3. 读取 .arrow 文件报错代码4. 纠正后代码 1. 524MB中文维基百科语料（需要下载的数据集） 2. 下载 hugging face 网站上的数据集
要将H…
计算huggingface模型占用硬盘空间的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
文档向量化工具（二）：text2vec介绍
目录
前言
text2vec开源项目
核心能力
文本向量表示模型
本地试用
安装依赖
下载模型到本地（如果你的网络能直接从huggingface上拉取文件，可跳过）
运行试验代码 前言 在上一篇文章中介绍了，如何从不同格式的文件里提取…
修改huggingface的缓存路径
最近查了一下C盘爆满的原因，发现了huggingface的缓存文件这个罪魁祸首。
每次远程导入模型、数据集时，都会启用huggingface的缓存机制，将整个大文件下载至缓存目录中，从而保证下一次加载时非常快速。
我们可以发现，默…
Stable Diffusion (version x.x) 文生图模型实践指南
前言：本篇博客记录使用Stable Diffusion模型进行推断时借鉴的相关资料和操作流程。 相关博客： 超详细！DALL E 文生图模型实践指南 DALLE 2 文生图模型实践指南 目录 1. 环境搭建和预训练模型准备环境搭建预训练模型下载 2. 代码 1. 环境搭建…
解决git与huggingface项目下载速度慢或者失败的问题
git clone 项目报错
比如使用git clone 下载项目：
git clone https://github.com/ChuRuaNh0/FastSam_Awsome_TensorRT.git有时候会报以下错误：
fatal: unable to access ‘https://github.com/xxx.git/’: Failed to connect to github.com port 443 …
探索Kosmos-2模型的神奇功能
Kosmos-2是一个多模态大语言模型，它可以理解和生成包含图像和文本的内容。它的特点是能够将文本中的指代表达式（如“这个”、“那个”等）与图像中的物体对应起来，实现局部理解和交互。如果你想使用Kosmos-2模型，你可以…
GPT实战系列-Baichuan2本地化部署实战方案
目录
一、百川2（Baichuan 2）模型介绍
二、资源需求
模型文件类型
推理的GPU资源要求
模型获取途径
国外: Huggingface
国内：ModelScope
三、部署安装
配置环境
安装过程