Taot's Blog

注意力机制

自从 2017 年 Google 发布《Attention is All You Need》之后，各种基于 Transformer 的模型和方法层出不穷。尤其是 2018 年，OpenAI 发布的 Read More

transformer介绍

1 起源与发展

2017 年 Google 在《Attention Is All You Need》中提出了 Transformer 结构用于序列标注，在翻译任务...

个人迷你服务器

0 需求说明

考虑自己工作之余会写一些有趣的代码，这些代码需要托管在一个服务器上；在开发过程中，会使用到多种不同的平台（Windows，Linux，Android），在这多种平台之间经常需要进行大量的数据共享；另外还经常有许多的资料/数据需要通过百度网盘/夸克网盘等网盘，或者是其他...

rpi安装Windows搭建网盘和下载机

0 需求分析

在同一个局域网内，同时有多种设备（Windows，Linux，Android）需要进行大量的数据共享。另外，还时常需要从百度网盘/夸克网盘等网盘下载文件。不难看出，我的需求很简单，就是一个低功耗的可24小时运行的小机...

vLLM vs TGI 部署大模型以及注意点

LLM 高并发部署是个难题，具备高吞吐量的服务，能够让用户有更好的体验（比如模型生成文字速度提升，用户排队时间缩短）。

vllm git...

vLLM 部署大模型

1 介绍

vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realt...

vLLM介绍

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。

...

git commit message 规范

1 Git提交描述格式规范解析

一个规范的Git提交描述格式如下，包含Header， Body，Footer