4학기, 본심사를 앞두고 피드백 작업들을 돌아봤다

이제 4학기다. 6월 초에 본심사가 잡혀 있고, 논문도 이제는 꽤 많은 부분이 완성돼 있다. 오늘 교수님 미팅이 취소되면서 뜻밖의 시간이 생겼다. 그래서 지난 피드백을 받아 작업했던 것들을 한 번 천천히 돌아봤다. 논문을 위한 점검이기도 하지만, 내가 지금 어디까지 왔는지 확인하는 시간에 더 가까웠다.

교수님 피드백을 받아 작업한 항목들을 정리하면 이렇다.

이 중에서 돌아보면서 가장 의미 있었다고 느끼는 건 전처리 단계별 비교다. 지금까지는 TRS가 최종 결과로만 보였는데, 교수님은 셰넌 엔트로피나 각종 후처리 단계가 실제로 무엇을 개선했는지 따로 보여줄 필요가 있다고 하셨다. 그래서 raw, entropy, full 식으로 단계를 쪼개서 다시 비교해보고 있다.

지금까지 정리한 내용은 이렇다. raw 점수 단계에서도 선행 정보는 어느 정도 들어 있지만, 그 상태로는 모델별 활용도가 들쭉날쭉하다. 반면 후처리를 거친 full 버전은 단기적인 통계 유의성만이 아니라 예측 안정성을 더 분명하게 만들어준다. 한마디로 말해, 전처리는 보기 좋게 꾸민 단계가 아니라 노이즈를 줄여서 모델이 쓸 수 있는 신호로 만드는 단계에 더 가깝다.

Chronos는 그다음 보완 항목이다. 4월 20일에는 TRS를 Chronos 바깥에서 잔차 보정으로 붙였고, 그때는 두 케이스 모두 악화됐다. 그래서 당시에는 “Chronos에는 TRS가 잘 안 맞는 것 같다”는 쪽으로 해석했다. 그런데 교수님이 관련 논문을 하나 알려주셨고, 그 논문을 따라 결합 방식을 다시 바꿨다. 모델 바깥이 아니라 입력 토큰 쪽에서 함께 보게 하는 방향이다.

지금 정리된 비교는 아래 정도다. 이번에는 “어떤 Chronos인가”가 바로 보이도록 실험 설정 기준으로 적어봤다.

첫 번째는 예전부터 보던 가장 기본 Chronos 기준선이고, 두 번째는 같은 zero-shot이지만 모델 자체를 Chronos-2로 바꾼 경우다. 세 번째가 이번에 다시 구현한 방식인데, TRS를 모델 바깥 회귀 보정으로 붙이는 대신 Chronos 입력 쪽 공변량으로 넣고 LoRA로 조금 더 맞춘 실험이다.

이 표를 보고 있으면 해석이 완전히 달라진다. TRS가 Chronos에 무용했던 게 아니라, 내가 붙이는 방식이 잘못됐던 것일 가능성이 크다. 같은 신호라도 residual stacking으로 붙일 때와 token-level로 결합할 때 결과가 다르다. 그러니까 Chronos는 “추가로 한번 해본 실험”이었지만, 결과적으로는 지난 결론을 뒤집는 보완 실험이 됐다.

물론 여기서 바로 모든 문제가 해결됐다고 말할 수는 없다. 요소수 케이스는 여전히 급작스러운 충격 사례라서, 이번 보완 결과가 조금 좋아졌다고 해도 기존 분류를 뒤집을 정도는 아니다. 그래도 최소한 지난달의 부정적 결론을 그대로 둘 수는 없게 됐다.

Chronos 말고도 원고 안에서 꽤 많이 바뀌고 있다. 전처리 단계를 raw, entropy, full 같은 식으로 분리해서 비교해 보니, 지금까지는 뭉개져 있던 TRS 설계의 역할을 조금 더 설명할 수 있게 됐다. 실제로 이번 보완에서 가장 중요한 건 이 부분이다. Chronos는 눈에 띄는 결과였지만, 논문 전체를 더 단단하게 만드는 건 전처리 단계별 비교라고 생각한다. 또 왜 두 케이스만 택했는지, 이 연구가 시계열 예측과 뉴스 기반 외생변수 실험이라는 관점에서 어떤 의미를 갖는지에 대한 문장도 예전보다 분명해졌다.

오늘 작업들을 훑고 나니 생각보다 멀리 왔다는 느낌이 든다. 본심사까지 남은 시간이 많지 않지만, 지금 이 상태면 논문의 큰 틀은 흔들리지 않는다고 본다. 앞으로 할 일은 무언가를 더 추가하는 것보다, 이미 있는 것들을 얼마나 설득력 있게 엮느냐에 가깝다.