25  GPT

컴퓨팅 역사는 메아리처럼 되풀이되고 있다. 다만 바이트에 대해 정밀한 산술 연산을 수행하는 컴퓨터를 토큰에 대해 통계적 산술 연산을 수행하는 컴퓨터로 대체한다는 점이 다를 뿐이다. - 안드레이 카파시 (Andrej Karpathy)

전통적인 컴퓨터는 바이트로 표현되는 정확한 명령어와 데이터를 기반으로 동작한다. 정확하고 결정론적인 산술 및 논리 연산에 최적화되어 있다. 정밀성과 재현성이 중요한 과학, 공학, 금융 등의 분야에서 놀라운 발전을 이룰 수 있었다.

반면에 신경망이나 대규모 언어 모델과 같은 AI 시스템은 방대한 양의 데이터에 대한 학습된 통계적 패턴을 기반으로 동작하며, 종종 추상적인 “토큰”을 통해 표현된다. 명시적으로 프로그래밍 되는 것이 아니라, 데이터를 학습하여 패턴을 인식하고 확률적 추론 작업을 수행하기 때문에 강력할 수 있지만 본질적으로 모호하고 비결정론적인 특징이 있다.

따라서 어떤 의미에서는 발전 궤적이 유사하다. 낮은 수준의 정밀한 구성 요소(바이트, 산술)에서 시작하여 높은 수준의 근사 추론(컴퓨터 프로그램, 언어 모델)으로 확장되는 것이다. 그러나 근본적인 계산 패러다임은 정확한 기호 조작에서 통계적 패턴 매칭 및 생성으로 전환되었다.

25.1 참고자료