When developing the accelerator function for the Intel FPGA PAC N3000, select the `10AT115S1F45E1SG` device. On-Board Memory: Two 4 GB DDR4 memory banks, part number: MT40A512M16JY-083E:B , 1 GB ...

通信原语 一、大模型的基础知识 最初的输入（token 序列）是 input_ids，形状通常为 [batch_size, seq_len]，经过Embedding层后，通常变为 [batch_size, seq_len, hidden_dim] 每个元素是一个词或子词的 ID（介于 [0, vocab_size)） Q 的形状为 [bat...

使用RocketChip生成Verilog代码供外部工程使用

零散随笔 四种类型的请求 不同架构的编址不一样 Non-Posted的Request，是需要对方响应的，对方是通过返回一个Completion TLP来作为响应的。 Replay 有REPLAY_NUM、 REPLAY_TIMER 1.1 仲裁 端口仲裁：决定存进VC中来自不同端口message的顺序，端口仲裁之后进行VC仲裁，也就是输出端口读取VC的顺序 PCle...

在三维的位置看矩阵乘法 一、GPU的基础知识点 一个简易版本的架构区别： GPU索引包含blockIdx和threadIdx，blockIdx是在线程之间共享的 -Warps ：The PC is shared; maintain thread mask for Writeback，同一warp内所有线程共用一个程序计数器（PC），因此它们在同一时刻执行相同的指令。由于条件分...

0、电路上的问题 serdes 铜缆信道损耗大，功耗高，带宽利用率低 并行的phy功耗低，但频率有限 一、一些概念 当将神经网络的训练并行化到许多GPU上时，我们关注一种称为数据并行随机梯度下降( SGD )的技术。 集群通信原语&NCCL 大模型推理序列并行，分块attention BytePS源码解析 并行范式： 模型并行 ：把一个完整的模型切分成若干部分，...

小容量SRAM还是DFF？ TSMC的28nm或40nm工艺，这个“临界点”通常是在1~2kbits左右。 零散知识点： get_selection：从GUI中点击某个位置可以查看对应位置cell的路径 net: net is a connection between cells/ports. cell：例化的第二个参数，也就是我们起的子模块名字，get_attribute...

硬件友好的高效softmax函数实现调研与分析 - 知乎 Flash Attention中softmax分块计算详解 - 知乎 How to write a fast Softmax kernel 补充一点GPU背景知识：一个warp有多个线程，如果这些线程访问的地址相互之间拼接起来是连续的，那么GPU可以将这些请求合并为一次访存操作 优化多线程访存，以及分块softmax的局部...

1. 概念的介绍 对于有限域 $GF(2^n)$，设其模多项式为 [m(x) = x^n + \sum_{i=0}^{n-1} m_i x^i \quad (m_i \in {0,1}),] 则满足以下公式： [x^n \mod m(x) = [m(x) - x^n] = \sum_{i=0}^{n-1} m_i x^i] 设有限域 $GF(2^n)$上的任意两个多项式 A(x)、 ...

1. vivado AXI VIP的简单使用 在外部DDR3内存中运行的MicroBlaze程序的固化方法 1.1 时序约束 set_property -dict {PACKAGE_PIN AJ16 IOSTANDARD LVCMOS18} [get_ports "led[0]" #管脚约束 set_input_delay 2 –max –clock sysclk [get_ports ...