3.0 Adapter 这是链路的初始化，stage2是RDI -> Active结束。 stage3主要在参数Exchange阶段协商在给定phy速率下是否需要retry；其余参数交换参考3.2.1.2；FDI bring up 3.5 状态机的变化 Active / Retrain / LinkError ：RDI SM -> Adapter LSM Active...

模板函数 template<typename Op> uint16_t SoftmaxCore_Model::reduction_tree_op(const std::vector<uint16_t>& vector, Op op) { std::vector<uint16_t> nodes = vector; while (no...

矩阵的理解：(1)函数 (2)基向量 对于标准基下的列向量a，要求他在以A为基的坐标向量，$x=A^{-1}$a 特征分解：利用矩阵对特征向量变换只进行缩放的性质来简化计算 PCA 主成分分析算法讲解

GPU的内存结构 影响硬件效率的原因 warp中的线程进入不同的分支，效率就会变低！（1个warp=32线程）

Long-Context LLM papers: LongLoRA: Efficient Fine-Tuning of Long-Context

前情提要 给自己新开一个c++多线程的坑，先放一点资料 认识一些多线程和同步原语，但是这个教程真的只能入门，除了带你认识这些原语外几乎不能帮助你任何事情 先去把中大os的那几个讲多线程的课快速过一遍（然后做一做那几周的实验，实验很简单以观察程序行为为主），然后做一做这个bootcamp（还是以观察程序行为为主）。有了这个你对多线程就有了初步的认识了 jyy 的 lab 1...

1. 整体结构 samd_model.generate ： prefill，draft.update 2. 零散部件 1.1 SAM自动后缀机 理解后缀自动机 SAM 最多2n-1个点 3n-4 边 ，endpos代表字符串出现的不同位置 后缀链接link：第一个断开的后缀，比如ababc 状态存在babc，不存在abc，那么link连向abc状态 `...

参考文档，资料汇总 ggml 简介,gg本人写的博客 llama.cpp源码解读–cgraph计算图与sched后端调度机制详解 RISC-V Base Vector Extension Document 在线Intrinsics 博客记录 llama.cpp k系列量化方法代码解析- 知乎 一点C++基础 struct simple_model { /...

1. llama.cpp typedef struct llama_batch { int32_t n_tokens; llama_token * token; float * embd; llama_pos * pos; int32_t * n_seq_id; //共享于多少个序列 llama_seq_id ** seq_i...

指令编码规则 每个支持向量扩展的硬件线程（hart）定义了两个参数：（1）向量元素最大比特数，ELEN ≥ 8 （2）单个向量寄存器包含的比特数，VLEN ≥ ELEN，该值必须是 2 的幂次方 指令集扩展：1.加define 2.加decode 3. 加ex 1. 香山工具记录 1.1 基础工具介绍 香山处理器Tutorial 香山开源处理器用户手册 香山处理器...