Hardware for local AI
Memory decides which models fit. Bandwidth decides how fast they answer. Choose a variant to see every model it runs, or compare machines side by side.
Graphics cards
NVIDIA
- RTX PRO 6000 Blackwell96 GB · 1 card192 GB · 2 cards
- GeForce RTX 509032 GB · 1 card64 GB · 2 cards
- GeForce RTX 508016 GB · 1 card
- GeForce RTX 5070 Ti16 GB · 1 card
- GeForce RTX 507012 GB · 1 card
- GeForce RTX 5060 Ti16 GB · 1 card
- GeForce RTX 50608 GB · 1 card
- GeForce RTX 409024 GB · 1 card48 GB · 2 cards
- GeForce RTX 4080 SUPER16 GB · 1 card
- GeForce RTX 408016 GB · 1 card
- GeForce RTX 4070 Ti SUPER16 GB · 1 card
- GeForce RTX 4070 Ti12 GB · 1 card
- GeForce RTX 4070 SUPER12 GB · 1 card
- GeForce RTX 407012 GB · 1 card
- GeForce RTX 4060 Ti16 GB · 1 card
- GeForce RTX 40608 GB · 1 card
- GeForce RTX 3090 Ti24 GB · 1 card48 GB · 2 cards
- GeForce RTX 309024 GB · 1 card48 GB · 2 cards
- GeForce RTX 30708 GB · 1 card
- GeForce RTX 3060 Ti8 GB · 1 card
- GeForce RTX 306012 GB · 1 card
- GeForce RTX 20708 GB · 1 card
- Tesla T416 GB · 1 card
- Tesla P10016 GB · 1 card
AMD
- Radeon RX 7900 XTX24 GB · 1 card48 GB · 2 cards
- Radeon RX 7900 XT20 GB · 1 card
- Radeon RX 9070 XT16 GB · 1 card
- Radeon RX 9060 XT16 GB · 1 card
Macs
Apple
- M5 Ultra512 GB · 80-core GPU256 GB · 80-core GPU256 GB · 64-core GPU96 GB · 80-core GPU96 GB · 64-core GPU
- M3 Ultra512 GB · 80-core GPU256 GB · 80-core GPU256 GB · 60-core GPU96 GB · 80-core GPU96 GB · 60-core GPU
- M2 Ultra192 GB · 76-core GPU192 GB · 60-core GPU128 GB · 76-core GPU128 GB · 60-core GPU96 GB64 GB · 76-core GPU64 GB · 60-core GPU
- M1 Ultra128 GB · 64-core GPU128 GB · 48-core GPU64 GB · 64-core GPU64 GB · 48-core GPU
- M5 Max128 GB · 40-core GPU64 GB · 40-core GPU48 GB · 40-core GPU36 GB · 32-core GPU
- M4 Max128 GB · 40-core GPU64 GB · 40-core GPU48 GB · 40-core GPU36 GB · 32-core GPU
- M3 Max128 GB · 40-core GPU96 GB · 30-core GPU64 GB · 40-core GPU48 GB · 40-core GPU36 GB · 30-core GPU
- M2 Max96 GB · 38-core GPU64 GB · 38-core GPU64 GB · 30-core GPU32 GB · 38-core GPU32 GB · 30-core GPU
- M1 Max64 GB · 32-core GPU64 GB · 24-core GPU32 GB · 32-core GPU32 GB · 24-core GPU
- M5 Pro64 GB · 20-core GPU64 GB · 16-core GPU48 GB · 20-core GPU48 GB · 16-core GPU24 GB · 20-core GPU24 GB · 16-core GPU
- M4 Pro64 GB · 20-core GPU64 GB · 16-core GPU48 GB · 20-core GPU48 GB · 16-core GPU24 GB · 20-core GPU24 GB · 16-core GPU
- M3 Pro36 GB18 GB
- M2 Pro32 GB16 GB
- M1 Pro32 GB16 GB
- M632 GB · 12-core GPU24 GB · 12-core GPU24 GB · 10-core GPU16 GB · 12-core GPU16 GB · 10-core GPU
- M532 GB · 10-core GPU32 GB · 8-core GPU24 GB · 10-core GPU24 GB · 8-core GPU16 GB · 10-core GPU16 GB · 8-core GPU
- M432 GB24 GB16 GB
- M324 GB16 GB8 GB
- M224 GB16 GB8 GB
- M116 GB8 GB
AI mini PCs
NVIDIA
- DGX Spark128 GB
ASUS
- Ascent GX10128 GB
Dell
- Pro Max with GB10128 GB
Lenovo
- ThinkStation PGX128 GB
MSI
- EdgeXpert128 GB
Acer
- Veriton GN100128 GB
Gigabyte
- AI TOP ATOM128 GB