rpi安装Windows搭建网盘和下载机

0 需求分析

在同一个局域网内，同时有多种设备（Windows，Linux，Android）需要进行大量的数据共享。另外，还时常需要从百度网盘/夸克网盘等网盘下载文件。不难看出，我的需求很简单，就是一个低功耗的可24小时运行的小机...

vLLM vs TGI 部署大模型以及注意点

LLM 高并发部署是个难题，具备高吞吐量的服务，能够让用户有更好的体验（比如模型生成文字速度提升，用户排队时间缩短）。

vllm git...

vLLM 部署大模型

1 介绍

vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realt...

vLLM介绍

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。

...

git commit message 规范

1 Git提交描述格式规范解析

一个规范的Git提交描述格式如下，包含Header， Body，Footer

LSTM 长短期记忆递归神经网络

1、神经网络简介

1.1 神经网络起源

人工神经网络（Aritificial Neural Networks, ANN）是一种仿生的网络结构，起源于对人类大脑的研究。人工神经网络（Aritifi...

用 tensor-parallel 多卡并发推理大模型

利用 tensor-parallel 把模型训练与推理的 workload 平均分布到多块 GPU，一方面可以提高推理速度，另一方面 vram 的负载平衡也让复杂的 prompt 能被轻松处理。

import 相关的 libs：<...

BP 神经网络原理

BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。

1 BP 神经网络的结构和传播规则 Read More