https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/
引用元: ・最新のAI、128GBでもメモリ不足、最低144GB、推奨192GBに [422186189]
M2 Ultra 76-Core GPU 192GB 76.28 36.25 12.13 4.71
RTX 3090 24GB 6個 101.07 45.55 16.93 5.82
RTX A6000 48GB 4個 93.73 38.87 14.32 4.74
RTX 4090 24GB 8個 116.13 52.12 18.76 6.45
RTX 6000 Ada 48GB 4個 118.99 50.25 17.96 6.06
GPU 8B Q4_K_M 8B F16 70B Q4_K_M 70B F16
RTX 3070 8GB 70.94 メモリ不足 メモリ不足 メモリ不足
RTX 3080 10GB 106.40 メモリ不足 メモリ不足 メモリ不足
RTX 3080 Ti 12GB 106.71 メモリ不足 メモリ不足 メモリ不足
RTX 3090 24GB 111.74 46.51 メモリ不足 メモリ不足
RTX 4070 Ti 12GB 82.21 メモリ不足 メモリ不足 メモリ不足
RTX 4080 16GB 106.22 40.29 メモリ不足 メモリ不足
RTX 4090 24GB 127.74 54.34 メモリ不足 メモリ不足
それが意味のある使い方家と言うと全然そんなこと無いって言う
96GBしかないわー
コメント