install_clang_gcc_with_source_code

    2024-06-15

    源码编译安装 clang/gcc

    在同一个机器上有多个人同时使用的时候，机器的环境比较复杂，会存在和别人使用的基础工具版本不同的情况，这个时候为了不影响其他人，也不被其他人影响，可以通过使用源码来编译。编译完成之后，通过环境变量的设置，来使其只针对当前的用户或者 teminal 生效。

    Read More

    avx_study

    2024-06-15

    AVX 学习

    1 AVX 介绍

    1.1 SIMD

    SIMD：Single Instruction Multiple Data，单指令多数据，一个指令可以控制多个数据进行操作。

    最简单的例子，在向量加法中，对每一个维度的值，都要进行加法...

    Read More

    zero_copy

    2024-05-29

    零拷贝(Zero Copy)

    1 数据拷贝的过程

    在Linux系统内部缓存和内存容量都是有限的，更多的数据都是存储在磁盘中。对于服务器来说，经常需要从磁盘中读取数据到内存，然后再通过网卡传输给用户：

    $\boxed{disk} \rightarrow \boxed{...

    Read More

    safetensors_study

    2024-05-21

    safetensors

    1 介绍

    safetensors 是 Huggingface 推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储 Tensor，而且速度很快（零拷贝）。

    safetensors 格式结构： Read More

    flax_study

    2024-05-21

    flax 框架理解

    深度学习框架有很多，所有框架都要回答下面的几个基本问题：

    • 如何定义网络？
    • 如何初始化网络参数？
    • 如何计算反向传播？
    • 如何更新网络参数？
    • 如何管理训练状态？

    pytorch...

    Read More

    install_flash_attn

    2024-05-18

    ubuntu安装flash_attn

    安装 flash_attn 需要注意： * flash_sttn 依赖 cuda-11.6及以上的版本，使用命令 nvcc --version 查看 cuda...

    Read More
    View: User: