최근 인공지능(AI) 분야에서 자연어 처리(NLP)는 큰 주목을 받고 있으며, 그 중에서도 대화 요약 모델 개발은 많은 연구자와 개발자들의 흥미를 끌고 있습니다. 이러한 흐름 속에서 진행된 Upstage의 NLP 경진대회는 일상 대화에 대한 효과적인 요약문 생성을 목표로 하고 있습니다.
본 글에서는 Upstage 경진대회의 배경, 진행 과정, 데이터 전처리 및 모델링 기법, 그리고 참가자들의 경험을 상세히 다루어 보겠습니다.
경진대회 개요 및 배경
NLP 경진대회는 주어진 데이터를 활용하여 대화의 요약문을 만드는 모델을 개발하는 대회입니다. 이 대회는 2025년 1월 15일부터 2월 27일까지 진행되며, 참가자들은 주어진 대화 데이터를 바탕으로 요약 모델의 성능을 평가받게 됩니다.
대회에 제공되는 데이터는 일상 대화로 구성되어 있으며, 각 대화문은 최소 2턴에서 최대 60턴까지 다양한 대화의 흐름을 포함하고 있습니다. 이러한 데이터의 다양성은 참가자들이 다양한 요약 방법을 시도할 수 있는 기회를 제공합니다.
| 데이터셋 구성 | 훈련 데이터 | 검증 데이터 | 테스트 데이터 |
|---|---|---|---|
| 수량 | 12457 | 499 | 250 |
이 대회의 주요 목표는 주어진 대화문을 요약하여 핵심 내용을 효과적으로 전달하는 것이며, 평가 지표로는 ROUGE 점수가 사용됩니다. ROUGE는 요약 모델의 성능을 평가하는 데 널리 사용되는 지표로, 요약문과 원본 대화문 간의 유사성을 측정합니다.
참가자들은 다양한 딥러닝 모델과 데이터 전처리 기법을 통해 이 점수를 최대화하기 위해 노력하게 됩니다.
데이터 전처리 및 정제
데이터 전처리는 모델의 성능에 큰 영향을 미치는 중요한 과정입니다. Upstage의 NLP 경진대회에서는 제공된 데이터에서 중복 데이터를 제거하고, 불일치하는 부분을 수정하는 작업이 필요했습니다.
이를 위해 Solar Groundness API를 활용하여 197개의 틀린 데이터를 제거하였고, 데이터의 품질을 향상시키기 위한 여러 가지 방법을 모색하였습니다.
| 데이터 정제 방법 | 설명 |
|---|---|
| 중복 데이터 제거 | Python 스크립트를 사용하여 중복된 대화문 제거 |
| 맞춤법 및 문법 체크 | Solar Groundness API로 잘못된 부분 수정 |
| 데이터 증강 | koEDA 및 back translation 기법을 활용한 데이터 증강 |
특히, 영어에서 한국어로 번역된 데이터의 경우 부자연스러운 문장이 존재할 수 있으므로, 이러한 문제를 해결하기 위해 문장 부호나 특수문자의 통일성을 유지하는 작업이 필요했습니다. 예를 들어, 물음표나 느낌표의 사용이 일관되지 않거나, 문장 내에서의 공백 처리 등이 있었습니다.
이러한 작은 오류들이 요약 모델의 성능 저하로 이어질 수 있기에, 세심한 검토가 필수적이었습니다.
모델링 기법 및 하이퍼파라미터 튜닝
모델링 단계에서는 다양한 사전 학습된 언어 모델을 활용하여 최적의 성능을 내는 모델을 찾는 것이 중요했습니다. Upstage 경진대회에서 가장 많이 사용된 모델로는 KoBART가 있으며, 이는 한국어 요약 및 번역 작업에 최적화되어 있습니다.
이외에도 T5, Meta Llama 3.1, SOLAR와 같은 다양한 모델들이 실험에 활용되었습니다. 각 모델마다 특성과 장단점이 다르기 때문에, 여러 모델을 실험하여 최적의 결과를 도출하고자 했습니다.
| 모델 | 특징 | 장점 | 단점 |
|---|---|---|---|
| KoBART | 한국어 특화 BART 모델 | 요약 및 번역에 적합 | 대량의 데이터 필요 |
| T5 | 범용 언어 모델 | 다양한 NLP 태스크 처리 가능 | 특정 태스크에 최적화 어려움 |
| SOLAR | 대용량 한국어 모델 | 높은 성능 | 파라미터 조정 어려움 |
하이퍼파라미터 튜닝 또한 모델 성능을 극대화하는 데 중요한 역할을 합니다. 참가자들은 WandB Sweep과 Optuna를 통해 최적의 하이퍼파라미터를 찾기 위해 지속적인 실험을 진행했습니다.
예를 들어, 배치 사이즈, 학습률, 최대 토큰 길이 등을 조정하여 모델의 일반화 성능을 향상시키는 작업이 포함되었습니다.
팀워크 및 협업의 중요성
이번 경진대회에서 팀워크는 매우 중요한 요소로 작용했습니다. 참가자들은 매일의 미팅을 통해 각자의 진행 상황을 공유하고, 새로운 아이디어를 도출하는 시간을 가졌습니다.
실험 기록은 스프레드시트를 통해 투명하게 공유되어 효율적인 협업이 가능했습니다. 이러한 과정에서 팀원 간의 소통과 협업이 성과에 미친 긍정적인 영향을 확인할 수 있었습니다.
| 협업 요소 | 설명 |
|---|---|
| 정기 미팅 | 진행 상황 공유 및 아이디어 도출 |
| 실험 기록 공유 | 스프레드시트를 통한 투명한 정보 공유 |
| 결과 피드백 | 팀원 간의 피드백을 통한 개선 |
팀워크를 통해 얻은 결과는 단순히 모델의 성능 향상에 그치지 않고, 참가자들 각자의 성장에도 큰 기여를 하였습니다. 서로의 경험을 공유하고, 문제 해결을 위한 다양한 접근법을 시도함으로써, 참가자들은 NLP 분야의 다양한 이론과 실무적 기술을 배울 수 있었습니다.
결론 및 향후 방향
Upstage의 NLP 경진대회는 참가자들에게 자연어 처리의 다양한 측면을 경험할 수 있는 훌륭한 기회를 제공하였습니다. 데이터 전처리, 모델링, 하이퍼파라미터 튜닝, 협업 등 여러 요소가 복합적으로 작용하여 최종 성과를 이끌어내는 과정을 통해, 참가자들은 실질적인 기술을 습득하고, 자연어 처리 분야에 대한 깊은 이해를 얻게 되었습니다.
앞으로도 이러한 경험을 바탕으로 더욱 깊이 있는 연구와 개발을 이어나가고자 하며, NLP 분야에서의 지속적인 성장과 발전을 이루기 위해 노력할 것입니다. 이번 대회를 통해 얻은 지식과 경험은 향후 다양한 프로젝트에 활용될 수 있을 것으로 기대됩니다.
