이번 달에는 모델을 더 붙이는 일보다, 뉴스 점수를 어떻게 만들 것인지에 거의 모든 시간을 쓰고 있다. 처음에는 기사에 점수만 매기면 외생변수 하나가 생기는 줄 알았는데, 실제로는 그 점수 체계 자체가 논문 절반이다.
가장 크게 고친 것은 프롬프트다. 예전 방식은 점수를 너무 선형적으로 줬다. 무역 규제 가능성이 조금 높아 보이는 기사와 실제 공급 차질을 암시하는 기사가 비슷한 점수대에 섞이니, 시계열로 놓고 보면 위험 구간이 평평하게 보였다. 그래서 이번에는 점수 구간을 더 세분화하고, 정부 발표·경고·갈등 고조·협력 강화 같은 문맥을 좀 더 분명하게 나눴다.
뉴스 수집 쪽도 같이 손보고 있다. 2019년 10월 말까지 추가 수집을 마쳤고, 기존에 놓친 기사들을 다시 채웠다. 생각보다 이 작업이 중요했다. 수집 기간이 조금만 비어 있어도, 나중에 점수 시계열이 매끈하게 이어지지 않는다.
이번 주 랩미팅 기준으로 완료된 작업과 진행 중인 작업은 아래 정도로 정리된다.
| 작업 | 상태 | 메모 |
|---|---|---|
| TRS 알고리즘 개선 | 완료 | 프롬프트와 점수 구간을 다시 설계함 |
| 개선된 TRS 모델 적용 | 완료 | 기존 예측 모델에 다시 넣어봄 |
| 추가 뉴스 수집 | 완료 | 초기 기간 데이터를 보강함 |
| EWS 모델에 외생변수 적용 | 진행 중 | 아직 경보 방식은 더 다듬어야 함 |
| 예측 기간 다양화 | 예정 | 한 구간 결과만 보지 않기 위해 준비 중 |
지금은 점수를 만드는 기준이 예측보다 더 중요하다고 느낀다. 기사 내용이 규제 위험을 정말 반영하는지, 그리고 그 신호가 평시와 충격 구간에서 충분히 다르게 보이는지가 먼저 해결돼야 한다.
이번에 정리한 점
뉴스를 점수로 만드는 일은 감성분석보다는 도메인 모델링 문제로 보는 편이 맞다. 같은 부정 기사라도 외교 갈등 기사인지, 실제 통제 가능성을 시사하는 기사인지에 따라 예측에서의 의미가 다르다. 그래서 지금 하고 있는 일은 “LLM으로 점수 뽑기”가 아니라, 무역 규제 위험을 어떻게 수치화할지를 다시 정의하는 작업에 가깝다.
다음으로 볼 것
이제 남은 건 두 가지다. 하나는 이 개선된 점수가 실제 예측 모델에서 얼마나 안정적으로 먹히는지 보는 일이고, 다른 하나는 경보 체계까지 연결했을 때 쓸 만한 신호가 되는지 확인하는 일이다. 지금 단계에서는 아직 후자가 더 어렵다.