transformer(7)_fast_tokenizer
快速分词器
1 快速分词器
Hugging Face 共提供了两种分分词器：
- 慢速分词器：Transformers 库自带，使用 Python 编写；
- 快速分词器：Tokenizers 库提供，使用 Rust 编写。
transformer(6)_finetune_pretrained_model
微调预训练模型
1 加载数据集
以同义句判断任务为例（每次输入两个句子，判断它们是否为同义句），构建我们的第一个 Transformers 模型。我们选择蚂蚁金融语义相似度数据集 Read More
Transformers 库建立在 Pytorch 框架之上（Tensorflow 的版本功能并不完善），虽然官方宣称使用 Transformers 库并不需要掌握 Pytorch 知识，但是实际上我们还是需要通过 Pytorch 的 DataLoader 类来加载数据、使用 Pytorch 的优...
除了像之前使用 Transformers 库将目前的 NLP 任务归纳为几下几类： 自从 2017 年 Google 发布《Attention is All You Need》之后，各种基于 Transformer 的模型和方法层出不穷。尤其是 2018 年，OpenAI 发布的 Read More
考虑自己工作之余会写一些有趣的代码，这些代码需要托管在一个服务器上；在开发过程中，会使用到多种不同的平台（Windows，Linux，Android），在这多种平台之间经常需要进行大量的数据共享；另外还经常有许多的资料/数据需要通过百度网盘/夸克网盘等网盘，或者是其他...
transformer(5)_necessary_pytorch_basic
必要的 Pytorch 知识
transformer(4)_model_tokenizer
模型与分词器
1 模型
AutoModel 根据 checkpoint...
transformer(2)_pipeline
开箱即用的 pipelines
1 开箱即用的 pipelines
transformer(2)_attention
注意力机制
transformer(1)_introduction
personal_mini_server
个人迷你服务器
0 需求说明