Taot's Blog

DDP(DistributedDataParallel) 分布式训练2——原理与实践

1 分布式编程

一个分布式系统，相对于单机系统，其最大的特征就是，其数据、处理是分布在不同地方的。与此相伴的是，各节点间有交换数据的需求，为此需要定...

DDP(DistributedDataParallel) 分布式训练1——入门上手

DistributedDataParallel（DDP）是一个支持多机多卡、分布式训练的深度学习工程方法。

• 在分类上，DDP属于Data Parallel。简单来讲，就...

简单理解：CPU物理核心数，核心数，线程数，进程，线程，协程，并发，并行的概念

1 物理 CPU 数量

电脑拥有的物理CPU数量，普通电脑一般只有一个CPU插槽，也就是只有一个物理CPU。我们日常说的CPU，就是指封装好的一个物理CPU，作...

实时操作系统(RTOS)介绍

1 实时操作系统介绍

实时操作系统(RTOS)实时操...

神经网络基本原理

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

1 介绍

下面是一...

深度学习预备知识2——数据预处理

Python中常用的数据分析工具中，通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样，pandas可以与张量兼容。

1 读取数据集

首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件 ../da...

深度学习预备知识1——数据操作

所有机器学习方法都涉及从数据中提取信息，因此需要一些关于数据的实用技能，包括存储、操作和预处理数据。

机器学习通常需要处理大型数据集。线性代数和矩阵是计算大量数据的有力工具，需要一些矩阵运算相关的线性代数知识。

深度学习是关于优化的学习。 对于一个带有参数的模型，我...

深度学习介绍

对于具备完善业务逻辑的任务，大多数情况下，正常的人都可以给出一个符合业务逻辑的应用程序。但是对于一些包含超过人类所能考虑到的逻辑的任务，例如面对如下任务：

• 编写一个应用程序，接受地理信息、卫星图像和一些历史天气信息，并预测明天的天气；
• 编写一个应用程序，接受自然文本表示的问题，...