Post

编译器+AI

编译器+AI

填坑–cmake底层基础

liuchongming1999/ImageNet-1K-training-and-validation: ImageNet(ILSVRC-2012) training scipt by timm library

1. 什么是TVM&LLVM

  • TVM可以将高层次的(TensorFlow、PyTorch 等等模型)转换为高效的中间表示(IR),然后进一步优化和编译成特定硬件(如 CPU、GPU、TPU)的可执行代码,TVM使用LLVM作为其后端编译器之一。通过LLVM,TVM可以将中间表示(IR)进一步优化和编译成目标机器代码,从而支持多种CPU和GPU架构。LLVM的优化功能也有助于提高生成代码的运行性能
  • LLVM (Low Level Virtual Machine)提供了一套编译器前端和后端的基础设施,可以将高级语言(如C、C++)的源代码编译成中间表示(IR),然后进一步优化并生成目标机器代码(如x86、ARM等)

TVM允许你定义算法和调度:

dsl0

dsl1

利用硬件特定的向量化功能

dsl2


x. gguf文件格式

GGML第三方工具作为llama.cpp的依赖,GGML源码阅读

gguf只有模型参数,没有模型结构

gguf

This post is licensed under CC BY 4.0 by the author.