가격 예측, 무엇으로 믿을까: 롤링 백테스트와 “현재가 유지” 기준

가격 예측을 쓰려는 쪽이라면, 먼저 그 예측의 성적표를 보셔야 합니다.

“다음 달 배춧값이 오를 것”이라는 말은 누구나 할 수 있습니다. 중요한 것은 그런 예측이 과거에 얼마나 맞았는지입니다.

많은 전망은 성적표 없이 나옵니다. 맞았을 때는 기억되고 틀렸을 때는 잊힙니다. 그래서 예측을 실제 돈이 걸린 판단에 쓰기 어렵습니다.

이 글에서는 BLOOMCAST가 정확도를 재는 방법인 롤링 백테스트와, 비교 기준으로 “현재가 유지”를 쓰는 이유를 설명합니다.

분류: 예측 방법

롤링 백테스트는 과거로 돌아가 다시 예측해 보는 방법입니다

롤링 백테스트는 과거의 여러 시점으로 돌아가, 그 시점까지 알려진 자료만으로 모델을 다시 학습하고 예측한 뒤, 실제로 이어진 가격과 비교하는 방법입니다.

핵심은 “그때 알 수 있던 자료만” 쓰는 것입니다. 나중에 알게 된 자료가 섞이면 정확도가 실제보다 좋아 보입니다.

BLOOMCAST 데모 화면에서 일별 품목은 지난 12개월 동안 매주 한 번씩, 월별 품목은 24개 시점에서 이렇게 다시 예측해 채점했습니다. 장미 1주 예측의 시점 수는 51이었습니다.

“현재가 유지”를 이겨야 예측이라고 부를 수 있습니다

가장 단순한 예측은 “가격이 지금 그대로일 것”입니다. 공짜이고 누구나 쓸 수 있습니다. 돈을 내고 쓰는 예측이라면 적어도 이것보다 나아야 합니다.

BLOOMCAST는 품목·기간마다 모델의 평균 절대 백분율 오차(MAPE)를 현재가 유지, 작년 패턴, 보수적 방법과 나란히 보여 주고, 개선율(1 − 모델 MAPE ÷ 현재가 유지 MAPE)과 ±3%를 넘는 움직임의 방향 적중률을 함께 적습니다.

데모 화면 기준으로 53개 품목 중 38개(72%)에서 모델이 기준을 이겼고, MAPE 중앙값은 채택 방법 5.7%, 기준 6.3%였습니다. 영국←케냐 장미 1개월은 3.1% 대 8.6%로 개선율 +65%였습니다.

모델이 지는 품목을 공개하는 것이 신뢰의 시작입니다

모든 품목에서 모델이 이기지는 않습니다. 데모 화면에서 양파 1주는 모델 3.5%, 현재가 유지 3.3%로 개선이 없었고, 네덜란드←에티오피아 장미 1개월도 개선이 없었습니다.

BLOOMCAST는 이런 품목·기간을 숨기지 않고 표시하며, 그 경우에는 기준 규칙의 값을 예측으로 씁니다. 변동이 큰 신선 채소의 1개월 예측이 어렵다는 것도 그대로 적습니다.

예측을 고를 때는 “얼마나 정확하냐”보다 “어디서 맞고 어디서 틀리는지 보여 주느냐”를 먼저 물어보시길 권합니다.

롤링 백테스트와 현재가 유지 기준을 정리했습니다. 전체 성적표는 예측 정확도 공개에서 볼 수 있습니다.

자주 묻는 질문

MAPE가 낮으면 무조건 좋은가요?

품목마다 원래 변동 폭이 다르므로 MAPE만으로 품목끼리 비교하기는 어렵습니다. 같은 품목에서 기준과 비교한 개선율을 함께 보세요.

백테스트 결과가 앞으로도 그대로인가요?

아닙니다. 과거 성적은 앞으로의 성적을 보장하지 않습니다. 그래서 새 자료가 들어올 때마다 다시 계산합니다.

우리 품목의 성적표를 볼 수 있나요?

도입 상담 때 말씀하신 품목의 시범 예측을 기준과 나란히 보여 드립니다.

편집 및 답변 모멘트큐브 BLOOMCAST팀 / james@momentcube.com · 032-212-1011