TRL+LLAMA-FACTORY+UNSLOTH+RAG

TRL LLAMA-FACTORY UNSLOTH RAG

Transformer Reinforcement Learning

TRL Github参考 强化学习TRL包源码解读

目前(2024.10.11)llamafactory 0.9.1与trl 0.11.2冲突

LLaMA-Factory

LLaMA-Factory Github LLaMA Factory创始人讲述：从预训练到RLHF的高效实现 GIT参考资料 LLaMA-Factory文档 目前(2024.10.11)llamafactory 0.9.1与trl 0.11.2冲突 打开的UI界面如下

RAG

如让大模型快速或者在线插入新数据或者私域（公司数据）数据， 可以通过外挂数据库，通过搜索增强（RAG）技术，即优先让大模型利用你提供的文档来回答问题， 但是这只是让大模型用到这是数据，大模型内部并没有关于这方面的知识。

RAG+QWEN2

Tiny手搓RAG

UNSLOTH

MetaGPT

目前(2024.10.11)MetaGPT 0.8.1与qwen冲突