Taot's Blog

git commit message 规范

1 Git提交描述格式规范解析

一个规范的Git提交描述格式如下，包含Header， Body，Footer

LSTM 长短期记忆递归神经网络

1、神经网络简介

1.1 神经网络起源

人工神经网络（Aritificial Neural Networks, ANN）是一种仿生的网络结构，起源于对人类大脑的研究。人工神经网络（Aritifi...

用 tensor-parallel 多卡并发推理大模型

利用 tensor-parallel 把模型训练与推理的 workload 平均分布到多块 GPU，一方面可以提高推理速度，另一方面 vram 的负载平衡也让复杂的 prompt 能被轻松处理。

import 相关的 libs：<...

BP 神经网络原理

BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。

1 BP 神经网络的结构和传播规则 Read More

BP 神经网络原理

BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。

1 BP 神经网络的结构和传播规则 Read More

关于all_reduce

分布式训练一般分为同步训练和异步训练：

• 同步训练中所有的worker读取mini-batch的不同部分，同步计算损失函数的gradient，最后将每个worker的gradient整合之后更新模型。
• 异步训练中每个worker独立读取训练数据，异步更新模...

磁盘IO性能优化

1 IO基准测试

优化之前，先确定IO性能优化的目标。换句话说，要先知道这些IO性能指标(比如IOPS、吞吐量、延迟等)，要达到多少才合适。IO性能指标是没有具体标准的，根据应用场景、使用的文件系统和物理磁盘等不同，这些性能指标和需求都会有差异。

为了更客观...

pytorch 多卡训练相关概念

1、World，Rank，Local Rank

1.1 world

World可以认为是一个集合，由一组能够互相发消息的进程组成。 world size就表示这组能够互相...