CPU, 즉 중앙 처리 장치는 종종 컴퓨터의 "뇌"로 간주됩니다. 운영 체제를 실행하고, 다양한 프로그램과 상호 작용하며, 다양한 하드웨어 구성 요소를 연결하는 역할을 합니다. 그러나 CPU는 게임이나 딥러닝 모델 학습과 같이 대규모 병렬 컴퓨팅이 필요한 작업에는 적합하지 않습니다.

이 때문에 GPU, 즉 그래픽 처리 장치가 등장합니다. GPU는 CPU와 근본적으로 다른 구조를 가지고 있습니다. 인텔 i9과 같은 고성능 CPU는 24개의 코어를 가지고 있지만, Nvidia RTX 480과 같은 GPU는 거의 10,000개의 코어를 가지고 있습니다. 이러한 대규모 병렬 처리 능력으로 GPU는 작은 독립적인 하위 작업으로 분할할 수 있는 작업에서 뛰어난 성능을 발휘합니다.

CPU와 GPU의 핵심적인 차이는 작업 실행 방식입니다. CPU는 순차적이고 선형적인 처리에 최적화되어 있어 작업을 하나씩 실행합니다. 반면 GPU는 병렬 처리에 최적화되어 있어 수백 개의 작업을 동시에 실행할 수 있습니다.

이러한 구조적 차이는 "CPU 페인팅"과 "GPU 페인팅" 예시에서 잘 드러납니다. CPU 페인팅 데모에서는 모나리자 그리기 작업이 순차적으로 실행되지만, GPU 페인팅 데모에서는 동일한 작업이 수천 개의 독립적인 하위 작업으로 분할되어 병렬로 실행되어 훨씬 빠르게 완료됩니다.

GPU가 게임과 딥러닝에 효과적인 이유는 이러한 작업들이 쉽게 병렬화될 수 있기 때문입니다. 예를 들어 게임에서는 화면의 각 픽셀을 독립적으로 계산할 수 있고, 딥러닝에서는 신경망 학습을 더 작은 독립적인 계산으로 분할할 수 있습니다.

그러나 대규모 언어 모델 추론의 순차적 특성, 즉 각 새로운 단어 예측이 이전 단어에 의존하는 특성은 GPU에 도전과제를 제시합니다. 이 때문에 Grok LPU(Large Language Model Processing Unit)가 등장했습니다. Grok LPU는 대규모 언어 모델 추론을 위해 설계된 것으로, 더 단순한 구조와 모든 처리 장치 간 직접 공유 메모리를 통해 GPU보다 더 예측 가능하고 지연 시간이 낮은 성능을 제공합니다.