您当前的位置：首页 > IT编程 > 自然语言处理
\| C语言 \| Java \| VB \| VC \| python \| Android \| TensorFlow \| C++ \| oracle \| 学术与代码 \| cnn卷积神经网络 \| gnn \| 图像修复 \| Keras \| 数据集 \| Neo4j \| 自然语言处理 \| 深度学习 \| 医学CAD \| 医学影像 \| 超参数 \| pointnet \| pytorch \| 异常检测 \| Transformers \|

自学教程：sentence_transformers模型加载本地预训练模型的方法

51自学网 2023-10-09 22:42:34

自然语言处理

这篇教程sentence_transformers模型加载本地预训练模型的方法写得很实用，希望能帮到您。

sentence_transformers加载本地预训练模型的方法

问题

有时候项目需要在内网部署，这样 sentence_transformers 就不能自己去下载对应名称的模型了

思路

模型提前下载好放在本地，加载模型的时候直接指定本地模型缓存路径

解决办法

比如我需要加载 allenai-specter 模型，那么我就在有外网的地方执行一遍此代码，sentence_transformers 会自动下载 allenai-specter 模型到指定的缓存目录【D:\hugface-model\allenai-specter】

from sentence_transformers import SentenceTransformer

# 加载模型
model = SentenceTransformer(
	'all-mpnet-base-v2', 									# 要使用的预训练模型
	cache_folder=r"D:\hugface-model\allenai-specter"	# 指定该模型在本地的缓存路径
)

# 编码
corpus_embeddings = model.encode("爱你孤身走暗巷，爱你不贵的模样，爱你...", convert_to_tensor=True)
print(corpus_embeddings)   # tensor([-7.2519e-01,  6.5501e-01, -4.8153e-02,  5.7884e-01,  4.9799e-01 .....

然后到上面的缓存目录【D:\hugface-model\allenai-specter】

将模型复制一份放到线上内网环境上，比如放到了线上的 /model/allenai-specter 目录下，那么线上加载模型的方法就改成这样即可

model = SentenceTransformer(
	'allenai-specter', 
	cache_folder=r"/model/allenai-specter"

返回列表
Bert Model从HuggingFace下载到本地及使用技巧