🌈월간 GPT Killer 실험실

월간 GPT Killer 실험실은 GPT Killer 모델의 품질 평가 및 개선 과정을 체계적으로 기록한 문서입니다. 이 문서에서는 GPT 모델의 주요 업데이트와 성능 향상 방안을 정리하여 공개하며, 이를 바탕으로 성능 분석 결과를 공유하고자 합니다.

AI 생성 문서 탐지 원리

GPT Killer는 문장 속 단어와 어순 관계를 추적해 맥락과 의미를 학습하는 AI 신경 모델인 트랜스포머를 기반으로 작동됩니다. 검출을 원하는 문단과 이전 맥락을 고려한 후, 입력된 값을 결과에 따라 참 또는 거짓 형태로 분류해 Chat GPT 작성 여부를 판단하는 이진분류(Binary Classification) 방식입니다.

LLM 생성 확률 분석

• AI 모델, 특히 ChatGPT와 같은 대형 언어 모델(LLM)은 문맥을 바탕으로 다음에 나올 단어를 확률적으로 예측합니다.

• GPT Killer는 문서에 포함된 단어들의 출현 확률을 역으로 추적하여, 특정 단어들이 높은 확률로 생성된 것인지 분석합니다. 높은 확률로 생성된 단어들이 많다면, 해당 문서가 AI에 의해 생성된 것으로 판단합니다.

LLM의 문체 특성 분석

• LLM은 종종 개조식 문장 구성이나 격식 있는 말투 등 독특한 문체적 특징을 나타냅니다. GPT Killer는 이러한 LLM의 최신 특징들을 지속적으로 추적하여 문서의 문체를 분석합니다.

내용의 구체성 및 일관성 분석

• AI가 생성한 문서와 사람이 작성한 문서는 구체성과 일관성에서 차이를 보일 수 있습니다. GPT Killer는 이러한 차이를 분석하여 문서가 AI에 의해 생성되었을 가능성을 평가합니다.

정확도( Accuracy)

GPT Killer 정확도는 문서의 종류에 따라 차이를 보이지만, 평균적으로 98% 이상 수준의 탐지 정확도를 기록합니다.

문서 유형에 따른 탐지 정확도 변화

• 초기에는 단일 모듈을 사용해 모든 문서 유형을 검사했지만, 문서 유형별 모듈 업데이트가 이루어졌습니다. 업데이트 후 모듈이 더 정교해지고, 문서 유형별 특성을 더 잘 반영하게 되어 정확도가 크게 향상되었습니다.

• 또한, 모델 구조를 개선하고 새로운 데이터셋을 사용해 모델을 재훈련한 결과, 모든 문서 유형에서 정확도가 고르게 상승했으며, 특히 논문처럼 복잡한 문서에서도 성능이 크게 향상됨을 확인할 수 있습니다.

LLM 모델 성능 업데이트

• 기존 GPT킬러는 GPT-3.5 버전까지 학습된 결과를 반영하고 있어, 최신 GPT 모델에서 생성된 문장을 탐지하는 데 있어 정확도가 상대적으로 낮았습니다.

• GPT-3.5-turbo, GPT-4-turbo, GPT-4o 버전까지 학습을 확장하여, 모든 Chat GPT 버전에 대한 탐지 정확도를 개선했습니다. 특히, 최신의 GPT-4o 모델에서 생성된 문장은 0.9695의 정확도로 탐지할 수 있게 되었습니다.