먼저 분명히 해둘 것이 있다. 이 글은 수익을 자랑하는 글이 아니고, 어떤 종목이나 코인을 사라는 이야기는 더더욱 아니다. 자동매매 전략이 ‘진짜로 되는가’를 실거래 없이 걸러내려고 만든 검증 파이프라인의 개발·실험 기록이다. 실제 돈은 한 푼도 들어가지 않았고, 모든 실행은 백테스트와 페이퍼(모의) 포워드테스트로만 이뤄졌다. 등장하는 판정도 ‘이 전략은 벌어준다’가 아니라 ‘이 전략은 벤치마크를 이기지 못해서 보류했다’ 쪽이 훨씬 많다. 투자 조언이 아니라 개발과 검증의 기록으로 읽어달라.
백테스트 그래프가 예뻐도 못 믿는 이유
전략 검증을 시작하면 누구나 같은 함정에 빠진다. 과거 데이터에 전략을 돌려보면 우상향하는 자산곡선이 나오고, 그걸 보는 순간 ‘이거 되네’ 하는 확신이 든다. 문제는 그 곡선의 상당 부분이 실전에서는 존재하지 않는 이득이라는 데 있다.
가장 흔한 세 가지 누수가 있다. 첫째는 미래참조(lookahead)다. 그날 종가로 판단해서 그날 종가에 체결했다고 계산하면, 실전에서는 알 수 없는 정보로 매매한 셈이 된다. 둘째는 슬리피지다. 화면에 찍힌 호가에 그대로 체결된다고 가정하지만, 실제로는 주문이 시장을 밀어내면서 불리한 가격에 잡힌다. 셋째는 수수료와 세금이다. 회전율이 높은 전략일수록 이 마찰비용이 수익을 통째로 갉아먹는다. 백테스트에서 화려하게 빛나던 전략이 이 세 가지를 제대로 반영하는 순간 평범해지거나, 아예 마이너스로 돌아서는 일이 흔하다.
그래서 이 프로젝트의 목표를 처음부터 ‘돈 버는 봇 만들기’가 아니라 ‘가짜 수익을 걸러내는 체’로 잡았다. 좋아 보이는 전략을 통과시키는 파이프라인이 아니라, 어지간한 전략은 다 떨어뜨리는 파이프라인을 원한 것이다.
데이터 수집부터 판정까지, 한 방향으로 흐르게
파이프라인은 단계마다 전략을 한 번씩 더 의심하도록 설계했다. 각 단계는 앞 단계를 통과한 전략만 다음으로 넘긴다.
데이터는 전부 무료 소스에서 읽기전용으로만 가져온다. 주문을 넣는 권한은 파이프라인 어디에도 연결하지 않았다. 크립토는 비트겟 공개 시세, 주식은 한국·미국 시장의 무료 일봉 데이터를 쓴다. 유료 고빈도 데이터나 대체 데이터에 손을 대지 않은 것은 비용 문제도 있지만, 개인이 재현할 수 없는 데이터 위에 세운 전략은 검증의 의미가 옅어지기 때문이다.
전략 구현 단계에서는 규칙을 코드로 못 박는다. ‘저평가됐을 때 산다’ 같은 애매한 문장은 검증할 수 없다. 어떤 신호가 뜨면 얼마를 어떤 조건으로 사고, 언제 판다는 것까지 전부 결정적인 규칙으로 적어야 백테스트에 올릴 수 있다.
백테스트는 앞서 말한 세 가지 누수를 방어하는 데 초점을 맞췄다. 판단에 쓰는 정보는 반드시 체결 시점 이전 것으로 제한하고, 체결가에는 슬리피지를 얹고, 매매마다 수수료를 뗀다. 이 단계에서 이미 상당수 전략이 ‘백테스트만 예쁜’ 정체를 드러낸다.
백테스트를 통과해도 페이퍼로 한 번 더
백테스트는 결국 과거를 두 번 보는 일이다. 아무리 규칙을 엄격하게 짜도, 과거 데이터에 맞춰 전략을 고르는 과정 자체에 편향이 스며든다. 그래서 백테스트를 통과한 전략은 곧장 실투입으로 가지 않고, 페이퍼 포워드테스트로 넘긴다.
포워드테스트는 실시간으로 들어오는 새 데이터에 전략을 돌리되, 주문은 모의로만 체결한다. 아직 아무도 보지 못한 미래 구간에서 전략이 어떻게 행동하는지를 관찰하는 것이다. 백테스트에서 좋았던 전략이 포워드 구간에 들어서자마자 흔들린다면, 그건 과거에 과최적화됐다는 강한 신호다. 실제 돈을 넣지 않았으니 이 실패는 비용 없는 실패다. 이 프로젝트에서 페이퍼 포워드테스트는 ‘실전 직전의 안전지대’ 역할을 한다.
여기에 성과귀인 저널을 붙였다. 전략이 벌거나 잃을 때마다 ‘왜’를 기록하는 장치다. 이 수익이 전략의 논리에서 나온 것인지, 아니면 그냥 시장 전체가 올라서 묻어간 것인지, 특정 며칠의 운에 몰려 있는지를 구분한다. 중요한 점은 이 저널이 전략을 자동으로 고치지 않는다는 것이다. 사람이 다시 들여다볼 필요가 있는지를 알려주는 트리거 역할만 한다. 자동으로 파라미터를 바꿔가며 성적을 맞추기 시작하면 그 순간 또 다른 과최적화가 된다는 걸 알기 때문이다.
여러 전략을 돌려봤고, 대부분 떨어뜨렸다
실제로 이 파이프라인에 능동 전략 여러 개를 통과시켜봤다. 결과부터 말하면 대부분 보류였다. 이건 파이프라인이 고장 난 게 아니라, 오히려 의도대로 작동한 증거다.
주식 쪽에서는 미국 시장을 대상으로 한 몇 가지 능동 전략을 검증했다. 실적 발표 이후의 흐름을 노리는 전략, 단기 되돌림을 노리는 전략 같은 것들이었다. 백테스트 수치만 보면 그럴듯했지만, 마찰비용을 반영하고 포워드 구간까지 밀어보면 시장 전체를 그냥 사서 들고 있는 것보다 나은 게 없었다. 특히 하락을 노리는 매도 포지션을 섞은 변형은 오히려 성적을 갉아먹었고, 회전율이 지나치게 높아 마찰비용에 취약한 전략도 있었다. 벤치마크를 이기지 못하는 전략은 아무리 자산곡선이 우상향해도 통과시키지 않았다.
크립토 쪽도 접근은 같다. 비트겟을 대상으로 단일 통합 전략을 페이퍼로만 검증하며, 실거래 연결은 하지 않는다. 화려한 여러 전략을 동시에 굴리는 대신 하나를 제대로 검증하는 쪽을 택했다. ‘많이 벌었다’가 아니라 ‘이 규칙이 우연이 아니라고 말할 수 있는가’가 판정 기준이다.
이 실패들을 지우지 않고 남겨두는 데는 이유가 있다. 어떤 전략이 왜 떨어졌는지를 기록해두면, 나중에 비슷한 아이디어가 다시 떠올랐을 때 같은 검증을 반복하지 않는다. 정직한 실패 노트는 그 자체로 재산이다.
그래도 살아남은 소수는 어떻게 다른가
전부 떨어진 것은 아니다. 조건부로 살아남아 페이퍼 운영을 이어가는 전략도 있다. 공통점은 능동적으로 시장을 이기려 들기보다, 위험을 줄이는 쪽에 무게를 둔다는 것이다.
낙폭 방어형과 저변동성 계열이 그렇다. 크게 벌려고 달려드는 대신 크게 잃지 않는 데 초점을 맞추는 전략들이다. 미국 시장에서 저변동성 롱온리 방식은 조건부로 검증을 통과해 지금도 페이퍼 포워드로 관찰 중이다. 다만 이것도 ‘확정된 승자’가 아니라 ‘아직 무너지지 않은 후보’로 다룬다. 정해둔 재평가 시점이 오면 다시 판정대에 올린다. 한국 시장의 같은 계열은 구간에 따라 성적이 들쭉날쭉해서 승격 근거가 부족하다고 보고 보류했다.
여기서 얻은 감각은 분명하다. 검증을 빡빡하게 걸수록 ‘시장을 이기는 화려한 전략’은 대부분 걸러지고, 남는 것은 ‘위험을 다스리는 수수한 전략’에 가깝다는 것이다. 이건 개인적인 편향이 아니라 파이프라인이 반복해서 내놓은 결과다.
실투입은 왜 아직도 하지 않는가
가장 자주 받을 법한 질문이다. 조건부로 살아남은 전략이 있는데 왜 실제 돈을 넣지 않는가. 답은 실투입을 이 시스템의 최상위 안전게이트로 두었기 때문이다.
페이퍼에서 좋아 보인다는 것과 실전에 넣어도 된다는 것은 전혀 다른 문제다. 페이퍼는 잃어도 되는 돈으로 하는 연습이고, 그래서 심리적 압박도, 진짜 슬리피지도, 유동성 제약도 온전히 담기지 않는다. 실투입 기준은 의도적으로 높게 잡았다. 짧은 관찰 기간만으로는 부족하고, 시장이 실제로 무너지는 하락 국면을 페이퍼 상태로 최소 한 번은 통과해봐야 한다. 상승장에서 잘 버는 전략은 널렸지만, 하락장에서 덜 잃는지는 하락장을 겪어봐야만 알 수 있다.
그리고 실자금을 연결하는 결정만큼은 자동화나 위임의 대상으로 두지 않았다. 다른 사소한 결정은 파이프라인이 알아서 처리하더라도, 진짜 돈을 시장에 붙이는 스위치는 사람이 직접 올리도록 남겨뒀다. 되돌리기 어려운 결정일수록 자동화의 편리함보다 사람의 확인을 앞에 두는 편이 안전하다.
이 기록에서 남길 한 가지
이 파이프라인이 지금까지 내놓은 가장 값진 산출물은 수익이 아니라 ‘아니오’라고 말하는 능력이다. 좋아 보이는 전략에 돈을 넣기 전에 페이퍼 단계에서 걸러내는 것, 벤치마크를 이기지 못하는 전략을 미련 없이 보류하는 것, 자동으로 성적을 맞추려는 유혹을 참는 것. 이 세 가지가 실거래 없이도 계속 실험을 이어갈 수 있게 해주는 뼈대다.
다시 강조하지만 이 글은 투자 권유가 아니고, 특정 종목이나 코인을 사라는 신호도 아니다. 자동매매 전략이 정말 되는지를 돈을 걸지 않고 확인하려는 개발·검증 기록일 뿐이다. 그리고 지금까지의 결론은 겸손하다. 대부분의 전략은 생각만큼 되지 않으며, 그걸 실투입 전에 알아내는 것만으로도 파이프라인은 제 값을 한다.
이 프로젝트를 만드는 팀
크립토 매매 판단과 주식 전략 검증을 각각의 리드가 맡고, 두 갈래 모두 공용 리서치팀의 시장·전략 조사에 기대어 후보를 발굴한다.
