(AI) TTFT vs. TPOT vs. Goodput

TTFT vs. TPOT vs. Goodput

1. 개요

네트워크 성능은 단순 전송속도(Bandwidth)가 아니라, 사용자 관점의 체감 성능 지표인 TTFT, TPOT, Goodput 등을 통해 종합적으로 평가된다.이들 지표는 네트워크 구간 지연, 프로토콜 오버헤드, 패킷 재전송 등을 포함해 실제 데이터 전달 효율성을 나타낸다. 특히 이 세 가지 지표는 네트워크 성능 및 대규모 언어 모델(LLM)의 성능 평가에 사용되는 중요한 지표이다.

2. 주요 지표 정의

구분	개념	측정
TTFT (Time to First Token)	용자 요청(프롬프트)을 받은 후 첫 번째 출력 토큰을 생성하는 데 걸리는 시간 -> 사용자가 응답을 얼마나 빨리 받기 시작하는지를 나타내는 응답 속도(Latency) 지표	요청 전송 완료 시점부터 모델이 첫 번째 토큰을 생성하여 사용자에게 전송하기 시작하는 시점까지의 시간
TPOT ( Time Per Output Token )	첫 번째 토큰을 생성한 이후, 각각의 후속 토큰을 생성하는 데 걸리는 평균 시간 -> 첫 번째 토큰 이후 모델이 나머지 토큰들을 얼마나 일정한 속도로 빠르게 생성하고 스트리밍하는지를 나타내는 응답 속도(Latency) 지표	전체 응답 생성 시간에서 TTFT를 뺀 시간을 전체 출력 토큰 수로 나누어 계산
Goodput	특정 시간 동안 성공적으로 전송된 유효 데이터(Useful Data)의 양을 측정 -> 네트워크의 실질적인 유효 전송 속도를 나타내는 지표	단위 시간당 애플리케이션 계층에 성공적으로 도달하여 사용 가능한 데이터의 비트 또는 바이트 수

 

 

3. 비교 및 AI 관련 영역

 

 

지표	측정 대상	초점	관련 영역
TTFT	첫 번째 응답까지의 시간	사용자 경험 (UX), 초기 응답성	LLM 추론 (프리필 단계)
TPOT	각 토큰 생성의 평균 시간	생성 속도, 스트리밍 원활성	LLM 추론 (디코드 단계)
Goodput	실제 유용한 데이터 전송 속도	실질적 효율성, 서비스 품질 만족도	LLM 시스템 전체 성능

4. 결론 (시사점)

TTFT와 TPOT는 사용자가 체감하는 응답 속도 및 원활함에 초점을 맞춘 지표이며, Goodput은 시스템의 실질적인 처리 능력과 신뢰성을 종합적으로 평가하는 상위 지표이다. 이들을 종합 분석하여 웹 서비스, 보안 연결, 전송 효율성을 개선함으로써 QoE(Quality of Experience) 를 향상시켜야 한다.