🤖 AI 연산능력 성능 지표 (TOPS, FLOPS)

1. 개요

• AI 시스템의 연산 성능은 처리속도 및 정확도에 직결되는 핵심 요소로 작용함
• CPU, GPU, NPU 등 다양한 연산 장치의 성능 비교 및 요구 조건 분석 시 성능 지표의 명확한 이해가 필수적임
• 주요 성능 지표로 FLOPS와 TOPS가 활용되며, AI 워크로드의 특성에 따라 적합한 지표 선택이 필요함

2. FLOPS (Floating Point Operations Per Second)

2.1. 정의

• 1초당 부동소수점 연산(Floating Point Operation)을 몇 번 수행할 수 있는지를 나타내는 지표임
• 과학 계산, 물리 시뮬레이션, 고정밀 연산 중심의 컴퓨팅에서 전통적으로 사용됨
• IEEE 754 표준의 float32(float), float64(double) 등의 정확도가 중요시되는 환경에 적합함

2.2. 계산 방식

• FLOPS = 코어 수 × 클럭 속도 × 클럭당 연산 수
• 예: 1GHz 클럭 속도에서 4개의 FMA(Fused Multiply-Add) 유닛을 가진 경우 → 4GFLOPS의 성능 도출 가능

2.3. 종류

• MFLOPS (10⁶ FLOPS)
• GFLOPS (10⁹ FLOPS)
• TFLOPS (10¹² FLOPS)
• PFLOPS (10¹⁵ FLOPS) 등으로 확장 가능

2.4. 특징

• 고정밀 부동소수점 연산 성능 측정에 유리함
• HPC(High Performance Computing), 머신러닝 학습단계 등에 적합함
• AI inference 환경에서는 연산량 대비 에너지 효율성이 낮아 비효율적일 수 있음

3. TOPS (Tera Operations Per Second)

3.1. 정의

• 1초당 수 조(10¹²) 개의 연산(Operation)을 수행하는 능력을 나타내는 지표임
• 주로 정수 연산 또는 저정밀(예: INT8, INT4) 기반의 연산 성능을 측정함
• AI 추론(Inference) 엔진, 임베디드 AI 칩셋, 엣지 디바이스에서 성능 평가 기준으로 활용됨

3.2. 계산 방식

• TOPS = 연산 유닛 수 × 클럭 속도 × 클럭당 정수 연산 수 / 10¹²
• 일반적으로 양자화된 연산(INT8 등) 기준으로 연산 수를 정의함

3.3. 종류

• GOPS (10⁹ Operations per Second)
• TOPS (10¹² OPS)
• POPS (10¹⁵ OPS) 등 확장 가능

3.4. 특징

• 저전력, 고성능 환경에 최적화된 연산 성능 평가 가능
• 정수 기반의 양자화된 딥러닝 연산을 측정하기에 유리함
• 정밀도보다는 처리 속도 및 에너지 효율성이 우선시되는 경우에 활용됨

4. FLOPS vs. TOPS 비교

구분	FLOPS	TOPS
연산 단위	부동소수점 (float32, float64 등)	정수(INT8, INT16 등)
사용 영역	과학 계산, 모델 학습	AI 추론, 엣지 컴퓨팅
정밀도	높음	낮음
전력 소비	상대적으로 높음	낮음
성능 측정 대상	고정밀 GPU, TPU 등	NPU, DSP, 전용 AI Accelerator 등
예시 플랫폼	NVIDIA A100 (19.5 TFLOPS FP32)	Apple M1 NPU (11 TOPS), Google Edge TPU (4 TOPS)

5. 최근 동향

• 모델 경량화 및 양자화 기술의 발전으로 TOPS 기반 연산 지표 중요도 증가 중
• 스마트폰, 자율주행차, IoT 엣지 디바이스에 TOPS 기반 AI 가속기 도입 증가
• AI 학습에는 FLOPS 기반 GPU/TPU 활용, AI 추론에는 TOPS 기반 NPU 활용하는 이원화 추세 강화
• FLOPS는 벤치마크 테스트에서 연산 정밀도 기준 성능 검증에 사용되며, TOPS는 실제 응용에서의 처리 속도와 에너지 소비 관점에서의 효과성 검증 도구로 확산 중

6. 시사점

• AI 인프라 및 시스템 설계 시, 목적에 따라 적절한 연산 성능 지표 선택이 필수적임
• FLOPS와 TOPS는 단순 비교 대상이 아니며, 정밀도 vs 처리량 간의 트레이드오프 이해가 중요함
• FLOPS 기반 고정밀 연산과 TOPS 기반 고속 연산을 융합하는 하이브리드 AI 가속기 구조 확산 전망
• 향후 AI 성능 측정 지표는 ‘Watt 당 TOPS’, ‘에너지 효율 TOPS’, ‘정확도 TOPS’ 등으로 세분화 및 지능화될 필요 있음

---