ggml和onnx的区别
Submitted by hubdog on Tue, 2024-07-16 01:55
主要的区别就是ggml优点支持q4的量化,这样可以使得它可以在较低配置的机器上跑大模型。onnx好像是不行的。
ggml缺点是它的模型文件只有权重信息,没有网络结构,这导致你必须自己手写代码来实现网络结构,onnx的模型是包含网络结构的,不用从头手撸网络结构。ggml的网络结构定义写起来很繁琐,不知道为啥没有人实现ggml动态的网络结构定义。