M2的gpu硬伤真多【高通吧】

高通吧关注：167,995贴子：3,854,569

之前@jht5132 t提到2bit量化大模型我突然想到苹果的gpu相对AMD和Nvidia特别不擅长叫IQ的量化方法，具体讨论见下图。
结果今天顺手试了下M3一点事也没有，iq2xs比q4_0快不少，和M2形成鲜明对比

送TA礼物

IP属地:江苏

来自iPhone客户端1楼2024-05-12 15:49回复

m1更多吧，到了m3兼容性才更上层吧

IP属地:山东

来自iPhone客户端2楼2024-05-12 16:26

等m5

IP属地:湖南

来自iPhone客户端3楼2024-05-12 16:48

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴