De CPU, of de centrale verwerkingseenheid, wordt vaak beschouwd als de "hersenen" van een computer. Het is verantwoordelijk voor het uitvoeren van het besturingssysteem, het interacteren met verschillende programma's en het verbinden van verschillende hardware-onderdelen. CPU's zijn echter niet bijzonder goed geschikt voor taken die massale parallelle berekeningen vereisen, zoals gaming of het trainen van deep learning-modellen.

Daar komen GPU's, of grafische verwerkingseenheden, in het spel. GPU's hebben een fundamenteel andere architectuur in vergelijking met CPU's. Terwijl een high-end CPU zoals de Intel i9 24 cores kan hebben, kan een GPU zoals de Nvidia RTX 480 bijna 10.000 cores hebben. Deze massale parallelliteit stelt GPU's in staat om uit te blinken in taken die kunnen worden opgesplitst in kleinere, onafhankelijke subtaken die tegelijkertijd kunnen worden uitgevoerd.

Het belangrijkste verschil tussen CPU's en GPU's is hun benadering van taakuitvoering. CPU's zijn ontworpen voor sequentiële, lineaire verwerking, waarbij ze taken één voor één uitvoeren, ook al lijken ze door hun snelheid multitasking te doen. GPU's zijn daarentegen geoptimaliseerd voor parallelle verwerking, waarbij ze honderden taken tegelijkertijd kunnen uitvoeren.

Dit verschil in architectuur wordt gedemonstreerd in de voorbeelden van "CPU-schilderen" en "GPU-schilderen". In de demonstratie van het CPU-schilderen wordt de taak om de Mona Lisa te schilderen sequentieel uitgevoerd, waarbij elke stap één voor één wordt uitgevoerd. In contrast toont de demonstratie van het GPU-schilderen hoe dezelfde taak kan worden opgesplitst in duizenden onafhankelijke subtaken, die vervolgens parallel worden uitgevoerd, wat resulteert in een veel snellere voltooiingstijd.

De reden waarom GPU's zo effectief zijn voor taken als gaming en deep learning is dat deze taken gemakkelijk kunnen worden geparallelliseerd. In gaming kan bijvoorbeeld elke pixel op het scherm onafhankelijk worden berekend, waardoor de GPU ze tegelijkertijd kan verwerken. Op dezelfde manier kan in deep learning de training van een neuraal netwerk worden verdeeld in kleinere, onafhankelijke berekeningen die parallel op een GPU kunnen worden uitgevoerd.