deploy_llm_with_llamacpp

    2024-05-05

    使用llama.cpp量化部署LLM

    以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。这里使用 Meta最新开源的 Llama3-8B 模型。

    1 环境

    • 系统应有Read More

    sympy

    2024-04-30

    sympy_python代数符号运算

    1 SymPy介绍

    SymPy 是一个符号计算的 Python 库，完全由 Python 写成，为许多数值分析，符号计算提供了重要的工具。它是一种计算机代数系统computer algebra system (CAS), 既可以用作...

    Read More

    git_branch_tag

    2024-04-29

    git branch与tag操作

    1 git新建本地分支并推送到远程

    新建本地分支，并切换到新分支上

    
      Read More

    transformer(12)_prompting

    2024-04-28

    Prompting 情感分析

    运用 Transformers 库来完成情感分析任务，并且使用当前流行的 Prompting 方法。Prompting 方法的核心思想就是借助模板将问题转换为与预训练任务类似的形式来处理。

    例如要判断标题“American Duo Wins Opening Beach Volley...

    Read More

    transformer(11)_question_answering

    2024-04-28

    抽取式问答

    运用 Transformers 库来完成抽取式问答任务。自动问答 (Question Answering, QA) 是经典的 NLP 任务，需要模型基于给定的上下文回答问题。

    根据回答方式的不同可以分为：

    • 抽取式 (extractive) 问答：从上下...
    Read More

    transformer(9)_translation

    2024-04-16

    翻译任务

    运用 Transformers 库来完成翻译任务。翻译是典型的序列到序列 (sequence-to-sequence, Seq2Seq) 任务，即对于每一个输入序列都会输出一个对应的序列。翻译在任务形式上与许多其他任务很接近，例如：

    transformer(10)_summarization

    2024-04-16

    文本摘要任务

    文本摘要是一个 Seq2Seq 任务，尽可能保留文本语义的情况下将长文本压缩为短文本。

    文本摘要可以看作是将长文本“翻译”为捕获关键信息的短文本，因此大部分文本摘要模型同样采用 Encoder-Decoder 框架。当然，也有一些非 Encoder-Decoder 框架的摘要模型，例如 GPT 家族也可以通过小样...

    Read More

    transformer(8)_sequance_labeling

    2024-04-15

    序列标注任务

    序列标注 (Sequence Labeling/Tagging)，其目标是为文本中的每一个 token 分配一个标签，因此 Transformers 库也将其称为 token 分类任务。常见的序列标注任务有命名实体识别 NER (Named Entity Recognition) 和词性标注 POS (Part-Of-Speec...

    Read More
    View: User: