Xnorm 规范化（Normalization）的核心是为了让不同层的输入取值范围或者分布能够比较一致。 在堆叠式的神经网络中，高层的网络会受到之前所有底层网络参数变化的影响，导致该高层网络的输入的分布产生较大的改变，这种现象被称为内部协变量偏移（Internal Covariate Shift）。随着网络深度的增大，这种差异会变得更加显著，从而影响模型的训练速度和最终性能。 输入分布变...

Transformer+In-Hand 参考资料 Attention Mechaism Encoder-Decoder Embedding Position Encoding Full Model

TRL LLAMA-FACTORY UNSLOTH RAG Transformer Reinforcement Learning TRL Github参考 强化学习TRL包源码解读 目前(2024.10.11)llamafactory 0.9.1与trl 0.11.2冲突 LLaMA-Factory LLaMA-Factory Github LLaMA Factory创始人讲述：从预训...

SFT RLHF DPO 大模型训练三步走，pre-training、SFT、RLHF。 1 LLM的SFT 参考资料 微调是一种有监督的技术手段，是在已具备广泛知识基础的大型预训练语言模型上（基座LLM），利用针对性的数据集实施额外的训练过程，旨在使模型更精准地契合特定任务需求或深入某一专业领域。微调的核心目标在于实现知识的精细化灌输与指令系统的精确匹配，所以SFT的重点是学习样式和指...

1.SCALING–ROTATION MANIFOLD FOR THE GEOMETRY OF COMPLEX NUMBERS Scenes and Background 如何处理流形数据,并将非欧几里德几何融入深度学习? 例如，在MR和合成孔径雷达图像中，一张图片的像素强度值可以通过复数 $s=me^{j\theta}$ 进行任意缩放，其中所有像素值同时按m进行幅度缩放并通过 $\th...

manifold learning : what how and why 流形学习本质上就是非线性降维，但是不仅仅是减少数据量，更要反映出高维数据的几何特征，允许人们去可视化、去噪和解释这些数据 1.数学基础 符号 Symbol description $R_D$ D-dimensiona...