(AI) 글리치 토큰 필터링

글리치 토큰 필터링

1. 개요

글리치 토큰(Glitch Token) 이란, 대규모 언어모델(LLM)이 학습 데이터에서 비정상적이거나 오류를 유발하는 토큰 시퀀스를 학습한 결과로 발생하는 비정상 응답, 모델 붕괴(Model Collapse), 또는 보안 취약점의 원인이 되는 토큰을 말한다. 이를 사전에 식별하고 제거하기 위한 과정이 글리치 토큰 필터링(Glitch Token Filtering) 이다.

2. 글리치 토큰(Glitch Token)의 개념

글리치 토큰은 일반적으로 다음과 같은 특성을 가진 토큰들을 통칭한다.

• 모델 오작동 유발: 모델이 이상하게 작동(glitch)하거나, 비정상적으로 긴 응답을 생성하거나, 반복적인 패턴(Loop)에 빠지게 하거나, 때로는 내부 지침을 우회하게 만드는 등 예측 불가능한 결과를 초래한다.
• 데이터 비일관성: 일반적인 자연어에서는 잘 사용되지 않거나, 데이터셋 수집 및 전처리 과정에서 발생한 인코딩 오류, 메타데이터 잔여물, 특수 기호의 비정형적 조합 등일 수 있다.
• 예시: 모델이 토큰화(Tokenization) 과정에서 특정 비표준 문자열을 비정상적으로 긴 시퀀스로 분해하거나, 유효하지 않은 UTF-8 문자열 등

3. 글리치 토큰의 문제점 및 필터링 목적

(1) 글리치 토큰의 문제점

• 모델의 출력 왜곡 (이상한 문자열, 무의미한 반복)
• 프롬프트 우회나 보안 정책 무력화 가능성
• RAG 시스템에서 임베딩 불안정성 발생

(2) 글리치 토큰 필터링의 목적

글리치 토큰 필터링은 주로 다음과 같은 목적으로 수행된다.

• 안정성 및 신뢰성 향상: 모델이 예측 불가능한 동작을 보이는 현상(예: 무한 반복, 내용 오류)을 줄여 서비스의 안정성 확보
• 보안 취약점 완화: 특정 글리치 토큰들이 잠재적으로 프롬프트 인젝션이나 탈옥(Jailbreak) 공격에 악용될 수 있는 취약점의 원인이 될 수 있으므로, 이를 사전에 제거하여 모델의 보안성 강화
• 데이터 품질 개선: 모델 훈련에 사용되는 데이터셋의 전반적인 품질을 높여, 모델의 학습 효율과 최종 성능을 개선

4. 글리치 토큰 필터링 기법

글리치 토큰을 필터링하는 방법은 주로 통계적 분석과 휴리스틱(경험적) 규칙을 사용한다.

1. 빈도 분석 기반: 특정 토큰 시퀀스가 전체 데이터셋에서 매우 드물게 나타나지만, 모델의 오작동을 유발하는 경우를 식별하여 제거
2. 토큰 특성 분석: 비정상적으로 긴 토큰 시퀀스로 분해되는 문자열이나, 제어 문자, 유효하지 않은 유니코드 등 데이터 소스(크롤링 등)에서 유입될 수 있는 불량 토큰을 탐지
3. 모델 반응 기반: 초기 모델을 사용하여 특정 토큰 시퀀스에 대한 모델의 출력 길이, 반복성, 오류 코드 등을 모니터링하여, 비정상적인 반응을 유발하는 토큰을 역추적하여 제거

 

5. 결론 및 시사점

글리치 토큰 필터링은 LLM 품질관리 및 보안성 확보의 필수 과정으로, 모델 출력의 신뢰성·일관성·안정성을 향상시킨다. 향후 RAG, 멀티모달 모델 등에서도 글리치 토큰 탐지를 자동화하여 AI 보안 거버넌스(LLM Security Pipeline) 로 발전할 전망이다.