编译器+AI
编译器+AI
1. 什么是TVM&LLVM
- TVM可以将高层次的(TensorFlow、PyTorch 等等模型)转换为高效的中间表示(IR),然后进一步优化和编译成特定硬件(如 CPU、GPU、TPU)的可执行代码,TVM使用LLVM作为其后端编译器之一。通过LLVM,TVM可以将中间表示(IR)进一步优化和编译成目标机器代码,从而支持多种CPU和GPU架构。LLVM的优化功能也有助于提高生成代码的运行性能
- LLVM (Low Level Virtual Machine)提供了一套编译器前端和后端的基础设施,可以将高级语言(如C、C++)的源代码编译成中间表示(IR),然后进一步优化并生成目标机器代码(如x86、ARM等)
TVM允许你定义算法和调度:
利用硬件特定的向量化功能x. gguf文件格式
GGML第三方工具作为llama.cpp的依赖,GGML源码阅读
gguf只有模型参数,没有模型结构
This post is licensed under CC BY 4.0 by the author.