2024-05-21

    flax 框架理解

    深度学习框架有很多，所有框架都要回答下面的几个基本问题：

    • 如何定义网络？
    • 如何初始化网络参数？
    • 如何计算反向传播？
    • 如何更新网络参数？
    • 如何管理训练状态？

    pytorch...

    Read More
    2024-05-18

    ubuntu安装flash_attn

    安装 flash_attn 需要注意： * flash_sttn 依赖 cuda-11.6及以上的版本，使用命令 nvcc --version 查看 cuda...

    Read More
    2024-05-05

    使用llama.cpp量化部署LLM

    以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。这里使用 Meta最新开源的 Llama3-8B 模型。

    1 环境

    • 系统应有Read More
    2024-04-30

    sympy_python代数符号运算

    1 SymPy介绍

    SymPy 是一个符号计算的 Python 库，完全由 Python 写成，为许多数值分析，符号计算提供了重要的工具。它是一种计算机代数系统computer algebra system (CAS), 既可以用作...

    Read More
    2024-04-29

    git branch与tag操作

    1 git新建本地分支并推送到远程

    新建本地分支，并切换到新分支上

    
      Read More
    2024-04-28

    Prompting 情感分析

    运用 Transformers 库来完成情感分析任务，并且使用当前流行的 Prompting 方法。Prompting 方法的核心思想就是借助模板将问题转换为与预训练任务类似的形式来处理。

    例如要判断标题“American Duo Wins Opening Beach Volley...

    Read More
    2024-04-28

    抽取式问答

    运用 Transformers 库来完成抽取式问答任务。自动问答 (Question Answering, QA) 是经典的 NLP 任务，需要模型基于给定的上下文回答问题。

    根据回答方式的不同可以分为：

    • 抽取式 (extractive) 问答：从上下...
    Read More