코인 자동매매 25년 12월~26년 2월 운용 결과 기록과 딥러닝 모델을 활용한 코인 자동매매 후기

코인 자동매매 25년 12월~26년 2월 운용 결과 기록과 딥러닝 모델을 활용한 코인 자동매매 후기

 

 

대략 1년전 우연히 ai가 알아서 매매하는 프로그램이 있다는 광고를 접하게 되면서

개인도 충분히 구현 가능하다는 지피티와 제미나이의 유혹에

코딩에 ㅋ도 모르는 내가 발을 들이게됨..

(초반 3개월. 메모장에서 코드를 치고 있었음 ㅋㅋ첫 코드가 1500줄 정도 그걸 메모장에서.. ㅋㅋ)

 

 

지피티(하이), 제미나이(프로)와 함께

머신러닝(ML) 및 딥러닝(DL) 기반 LSTM (Long Short-Term Memory), LGBM (LightGBM), TFT (Temporal Fusion Transformer) , MoE-MC-TFT 등 마구잡이로 이것저것 만들어보기 시작.

사파식으로 배워서 매우 야매스러움
 
작업 단계 :
1.전처리코드, 튜닝코드. 실매매 코드 단계별 검증, 검사 
2.전처리
3.모델 튜닝
4.백테스트 
5.실매매 가동
 
1.전처리코드, 튜닝코드. 실매매 코드 단계별 검증, 검사 

전처리 모듈코드들과 튜닝코드, 실매매코드까지 티끌하나 안남기고 모조리 검증검사 가능한 검사 코드들

모델 제작 코드들보다 검증 코드가 더 많이 있는 이유..

전처리 + 튜닝 과정에서 보통 2~3일씩 걸려서 모델 하나 뽑음.. 

백테스트 결과보니 실매매 입질 할만함.. 

근데 뒤늦게 전처리과정이나 튜닝과정에서 데이터 누수 의심 또는 누수 발견..

이러면 x되는거..

이걸 몇번씩 겪음..

그래서 검증 코드만 16개.. ㅋㅋ 검증 코드 만든다고 고생 많이함..

뭐 이렇게 해놓으니 그다음부턴 맘 놓고 모델 제작 무한 트라이 ㅋㅋ

 

데이터 누수 원인도 천차만별이라 그거 하나하나 해결하기가 개고생,

제미나이나 gpt도 놓치는 누수들고 존나 많아서 헛고생만 여러번 했음

서로서로 교차 검증해도 이건 누수가 아니라고..

(Tlqkf 유료버전인데 진짜 열불터지는줄. 그때 욕을 너무 많이해서 ai가 세상을 지배하면 나는 수배 1순위일듯 ㅎㅎ ).

 

톱니 바퀴처럼 서로 한끗이라도 어긋나면 가차 없이 데이터 누수 발생...

기억도 못 할 정도로 별의별 누수가 다 있었음..

특히 전처리 모듈코드들 누수 찾기가 진짜 x빡쌨음.

누수 관련해서 할말이 진짜 겁나 많은데

 

지금 생각해보면 난 그냥 딥러닝모델 개발하는 1년 내내 누수와의 싸움이었음.  

 

 

 

 

 

2.전처리

 

전처리 파일들~

 

비트코인 시간별 차트 5년치 활용(3분봉, 5분봉, 15분봉, 2시간봉, 4시간봉등 모델마다 여러 시간대 혹은 단일 시간대로 시도)
라벨링도 여러 종류로 .. 시간차, 손익비 , atr 기반 등
블록 부트스트랩 200회 + sfs 단계 진입전 사전에 피처 필터링으로 피처 후보군 400개 내외로 선별

( 피처 필터링으로 결측치, 변동성, 그룹내 상관관계, lgbm중요도등 필터링 활용)

 

블록 부트스트랩 200회 + sfs를 활용

( 라이트한 lgbm 세팅값으로 과적합 방지, 5폴드로 최소한의 재현성도 챙김, 대신 똥컴이라 40시간씩 걸림)
거래횟수가 많으면서 성적 좋은 피처 랭킹 기록 저장 (다음 단계인 튜닝단계에서 랭킹 기록 활용)

(전처리sfs lgbm는 cpu기반, 램 용량으로 병렬 실행 개수 계속해서 늘릴 수 있어서 메모리카드 추가로 삼 ㅅㅂ

지금 보면 이때 메모리카드 살게 아니라 삼성전자를 샀어야했음ㅠㅠㅠㅠ)
 

 

 

3.모델 튜닝
튜닝때 학습, 검증 / 롱숏 - 피처, 임계값 튜닝, 학습 검증 방식도 여러가지로 시도

전처리때 뽑은 피처 랭킹 데이터를 이용해서 피처 튜닝하는거랑 검증 결과 성적 모니터링 하는맛이 일품.

(나중에는 트라이얼 성적 실시간 순위 모니터링 코드도 따로 추가함 ㅋㅋㅋ개맛도리)

학습, 검증시 과적합 방지 옵션 세팅 

모델 선정 기준, 임계값, 피처 튜닝등에 있어서 여러가지 방법으로 시도 

의외로 임계값 튜닝이 까다롭고 어려웠음.

튜닝은 과적합과의 싸움.

풍부한 시장상황이 포함된 백데이터 필수.

최소 5폴드 이상으로 학습 검증에서 충분한 재현성 검증 필수.

TFT (Temporal Fusion Transformer) , MoE-MC-TFT는 건들지 말자. 

TFT  튜닝 옵션 최대한 라이트하게 하더라도 트라이얼 1개 돌리는데 몇십분씩 걸림. 며칠 고생하다 보내주기로..

MoE-MC-TFT 모델은 튜닝코드 짜면서 자연스럽게 포기.

TFT (Temporal Fusion Transformer) , MoE-MC-TFT 둘다 튜닝코드 짜는것도 너무 힘들었음.

오류에 오류에 오류범벅

(튜닝 속도 때문에 글카 새로 삼 ㅅㅂ엔디비아 주가 폭등 이유 몸으로 배움, 물량이 깡패)

라데온 글카로도 된다길래 시도해보다 결국 포기

그래서 엔디비아 글카 샀음.. 진짜 온몸 비틀기 했었구나 없는 살림에..ㅋㅋ

 

 

4.백테스트 
5.실매매 가동

과거 lgbm 모델 기반 자동매매 실매매 운영 당시 스샷

백테스트 결과 잘나오면 실매매 투입 - 이후 개같이 실패(이렇게 1년동안 무한 반복 ㅠㅠ)

대놓고 억까스런 보수적인 백테스트에서(과한 수수료, 슬리피지등) 가슴 설레이는 결과가 나와도
실매매만 가면 모델 성능 재현성 제로(코드 구현상에 전처리+튜닝 = 실매매코드/ 재현성에는 무결점),
어떤 종류의 모델이던 어떤 라벨링이던 어떤 기준으로 튜닝하고. 모델을 뽑던 개같이 실패
슬슬.. 초짜의 한계를 느낌.. 몸도 마음도 지치기 시작

우연한 기회로 알게되어 시작한 모델 기반 자동매매... 결국 포기 선언

 

 

하지만 이렇게 허무하게 포기 할 순 없으니

모델 제작하면서 배운 "단순할수록 강하다"라는 교훈과

나으 주식 깡통 3회차 짬밥을 융합해  직접 진입 청산 로직 설계

 

 

제작 2시간 소요..(개날림으로 만듬) 어짜피 별 기대도 안하는거 바로 실매매 투입,

놀랍게도 날밤까며 생명력 갈아 넣으면서 만든 딥러닝 모델보다 성과가 훨~씬 잘나오는게 아니겠는가

트황상이 새벽마다 코인 호흡기 스위치 온오프해도 버텨내는 의외의 내구성ㄷㄷ

물론 코인 시장에서 방심은 금물~ 현재 3개월 생존중.. 

 

 자동매매 25년 12월~26년 2월 운용 결과 기록

 

 

 

 

앞으로 1년 생존 목표., 레버리지 20배 운용중..

지금은 시드 늘릴 생각 1도 없음. 코인 변동성 너무 무서움..

프로그램이 3년 이상 생존하면 그때 시드 늘려 볼 생각