用它的时候需要将sdk 目录整体放到一个英文路径下才行

功能真的跟shit一样，感觉工作量满打满算一个礼拜不到。又一次刷新了我预期的下限。

https://stackoverflow.com/questions/12996397/command-not-found-when-using-sudo

发现它的ggml实现没有做量化处理，虽然提供了一个fp16的转换功能，但是加载到内存中仍然是fp32，量化就是做了个寂寞。medium的权重文件6G的多，转成8bit可以压缩到1.5G，4bit的量化可以搞到800M。seamlessM4T的代码也是搞了个寂寞，那fairseq2那玩意做模型，在本地搞了一个类似数据库的设定，我也是醉了。

发现3B的小模型还是不行，稍微难一点的任务就麻爪了。
https://www.datalearner.com/ai-models/leaderboard/datalearner-llm-leaderboard?modelSize=7b

另外发现这个上面的排行也不是很靠谱，我实际测试下来llama3.1 8b明显比QWen2:7b靠谱，llama.cpp因为不支持phi3-small，所以没测试phi-3，虽然看上去这个评分在7b的模型中是最高的，不知道效果怎么样。
测试下来gemma2:9b > llama3.1 8b > qwen2:7b ，不过gemma2的内存占用有点大了，快6个G了。

追记：在某些任务上llama3.1要好于gemma2

我用SD3生成一个512的图像，用了130秒，SD1.5的图像生成只要12秒

https://blog.csdn.net/weixin_64507282/article/details/129094399

我32G的内存机器，编译cuda程序居然耗尽了堆资源

https://blog.jussipalo.com/2021/02/webview2-how-to-hide-scrollbars.html

ec2 instance强制停止时，有时会导致container强制停止，变成了垃圾container，空间一直不能释放，占用了ec2的磁盘空间，docker image太大的时候，导致新的docker image不能自动的同步下来。所以尽量不要强制stop instance。