乐胖代购免代理版

Mac报错 /bin/sh: wget: command not found

具体在clone https://huggingface.co/ 的资源时候报的错。

macos

原创 1月前 48 阅读

TensorFlow（1.15版本），tf.map_fn速度很慢

把tf.map_fn替换成tf.where实现。

tensorflow

原创 5月前 32 阅读

【tensorflow】TypeError: Failed to convert SparseTensor to Tensor

但训练时传入的每个值长度不一，有100长度，有50长度。这个placeholder定义是。

tensorflow

python

ide

原创 9月前 93 阅读

TensorFlow 用 hashtable 的意义

的embedding_matrix存embedding，然后用embedding_lookup接口读每个id的embedding。比如id从1-100000，但1-100000里有很多值是空的，如果id是满的，从1-500都有值，可以用一个。TF的hashtable用来存不连续的id，

tensorflow

人工智能

python

原创 10月前 32 阅读

报错：Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub

【代码】报错：Module ‘accuracy‘ doesn‘t exist on the Hugging Face Hub。

tensorflow

pytorch

github

解决方案

lua

原创 2023-08-07 07:56:06 1162 阅读

不预训练的话，用huggingface/transformers比google-research/bert的效果好2-4%

用于文本分类，正确率高2-4%

深度学习

github

文本分类

原创 2023-08-07 07:37:11 138 阅读

Multi-Query Attention 阅读笔记

核心贡献：优化 multi-head attention 为码速度。

深度学习

人工智能

原创 2023-07-02 00:01:04 640 阅读

huggingface/transformers tokenizer报错 list index out of range

【代码】huggingface/transformers tokenizer报错 list index out of range。

自然语言处理

原创 2023-07-01 00:12:18 419 阅读

TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

huggingface/transformers 的 tokenizer 报的错，报错原因，数据里有None值。

tensorflow

数据

原创 2023-06-18 01:12:21 1074 阅读

把huggingface/transformers的模型文件下载到本地

python代码自动下载模型实现和参数。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。参考 https://github.com/THUDM/ChatGLM-6B 的README。以chatglm-6b为例，然后运行。先安装Git LFS。

git

github

自动下载

原创 2023-06-18 00:01:44 2716 阅读

huggingface/transformers，tokenizer出的attention_mask的坑

则tokenizer返回的。则tokenizer返回的。

人工智能

深度学习

数据

原创 2023-06-18 00:01:39 201 阅读

Status: uncorrectable ECC error encountered

报ECC就是硬件本身有问题。

tensorflow

深度学习

python

ci

原创 2023-06-03 02:49:28 362 阅读

从零预训练huggingface/transformers的GPT-2代码

参考 https://github.com/huggingface/notebooks/blob/main/examples/language_modeling_from_scratch.ipynb。

tensorflow

github

原创 2023-05-14 00:50:30 292 阅读

用huggingface的datasets读取自己的数据

看print结果，是回车符来分隔为句子的。

tensorflow

原创 2023-04-04 21:21:05 310 阅读

huggingface/transformers 读数据时拆分为train和dev

【代码】huggingface/transformers 读数据时拆分为train和dev。

深度学习

机器学习

人工智能

原创 2023-04-01 07:35:20 92 阅读

Mac10.13安装python3.6和TensorFlow1.15，可解决ssl相关问题

brew install pyenvpyenv install 3.6进入~/.pyenv/versions/3.6.15/bin/目录./pip3 install --upgrade pip./pip3 install tensorflow==1.15

python

tensorflow

开发语言

.net

原创 2023-02-19 09:31:50 135 阅读

让huggingface/transformers的AutoTokenizer从本地读词表

-fails-to-load-locally-saved-pretrained-tokenizer

深度学习

人工智能

原创 2023-02-18 21:42:59 406 阅读

让huggingface/transformers的AutoConfig从本地读

【代码】让huggingface/transformers的AutoConfig从本地读。

人工智能

深度学习

原创 2023-02-18 21:42:54 807 阅读

Mac-M1 安装 tensorflow-2.11

芯片 Apple M1 Pro

tensorflow

macos

python

其他

原创 2023-02-13 09:51:51 315 阅读

编译出 libtensorflow_jni.so

参考 https://github.com/tensorflow/tensorflow/tree/master/tensorflow/java。

tensorflow

github

java

原创 2023-02-05 08:11:24 229 阅读

编译出 libtensorflow_framework.so

用这个指令在相关根目录搜一下就能搜到，如果你安装了TF的话。

tensorflow

根目录

原创 2023-02-04 13:12:42 169 阅读

在pycharm里debug以学习huggingface/transformers

github.com/huggingface/transformers

pycharm

学习

python

github

tensorflow

原创 2022-12-31 21:14:27 457 阅读

跑huggingface/transformers的GPT-2代码

GPT-2

人工智能

.net

原创 2022-12-31 01:12:03 560 阅读

tensorflow tf.where 代码实例

【代码】tensorflow tf.where 实例。

tensorflow

python

深度学习

原创 2022-12-24 00:29:15 64 阅读

tensorflow set contain

contain set

tensorflow

python

numpy

原创 2022-12-10 00:46:52 86 阅读

Tensorflow，判断两个vector完全相等

tf.math.equal

tensorflow

原创 2022-12-04 01:06:25 140 阅读

Tensorflow，用tf.while_loop编辑shape为None的tensor的每个值

tf.while_loop

tensorflow

python

深度学习

原创 2022-12-04 01:05:47 181 阅读

Tensorflow，使用tf.where编辑tensor的每个值

tf.where

tensorflow

深度学习

python

原创 2022-12-03 00:23:21 116 阅读

tf.one_hot 实例

Examples =========Suppose thatpython ind[4 x 3]:python output = [5.0 0.0 0.

i

转载 2022-08-08 09:04:46 109 阅读

tensorflow 多GPU数据并行又一实例

https://github.com/allenai/bilm-tf/blob/master/bilm/training.py

github

转载 2022-08-08 09:03:19 62 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

Mac报错 /bin/sh: wget: command not found

TensorFlow（1.15版本），tf.map_fn速度很慢

【tensorflow】TypeError: Failed to convert SparseTensor to Tensor

TensorFlow 用 hashtable 的意义

报错：Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub

不预训练的话，用huggingface/transformers比google-research/bert的效果好2-4%

Multi-Query Attention 阅读笔记

huggingface/transformers tokenizer报错 list index out of range

TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

把huggingface/transformers的模型文件下载到本地

huggingface/transformers，tokenizer出的attention_mask的坑

Status: uncorrectable ECC error encountered

从零预训练huggingface/transformers的GPT-2代码

用huggingface的datasets读取自己的数据

huggingface/transformers 读数据时拆分为train和dev

Mac10.13安装python3.6和TensorFlow1.15，可解决ssl相关问题

让huggingface/transformers的AutoTokenizer从本地读词表

让huggingface/transformers的AutoConfig从本地读

Mac-M1 安装 tensorflow-2.11

编译出 libtensorflow_jni.so

编译出 libtensorflow_framework.so

在pycharm里debug以学习huggingface/transformers

跑huggingface/transformers的GPT-2代码

tensorflow tf.where 代码实例

tensorflow set contain

Tensorflow，判断两个vector完全相等

Tensorflow，用tf.while_loop编辑shape为None的tensor的每个值

Tensorflow，使用tf.where编辑tensor的每个值

tf.one_hot 实例

tensorflow 多GPU数据并行又一实例

欢迎