Akhirnya punya gpu external RTX 3060 .
Berikut ini adalah pengujian ollama deepseek dengan rtx 3060 dan perbandingannya dengan cpu processing
Deepseek 1.5b with cpu
Deepseek 7b with cpu
Deep seek 14b with cpu
Sekarang di coba menggunakan gpu
Deepseek 1.5b with gpu
Deepseek 7b with gpu
Deepseek 14b with gpu
Kesimpulan:
- Model AI menentukan kepintaran AI. Makin bagus modelnya ukuran size modelnya makin benar hasilnya rtx 3060 atau amd ryzen 5500GT tidak menentukan kepintaran AI.
- Makin besar modelnya makin mahal ongkos komputasinya. Makin gede modelnya makin turun kecepatannya.
- GPU lebih cepat daripada CPU untuk inferensi AI. Karena RTX 3060 punya tensor core tentu lebih cepat dibanding AMD Ryzen 5500GT yang tidak punya tensor core.
Model CPU GPU Persentase Deepseek 1.5b 37.23 token/second 167.81 token/second 450.74% Deepseek 7b 9.14 token/second 57.26 token/second 626.48% Deepseek 14b 4.98 token/second 30.92 token/second 620.88%