로컬 Gemma 26B로 4개월간 Claude·GPT-5.4와 주가 방향 예측 대결을 했다. 매일 '오른다'만 말하는 봇에게 졌다
원문 제목 — My local Gemma 26B spent 4 months predicting stock direction against Claude and GPT-5.4. It lost to a bot that just says "up" every day.
📄 전문 번역
필자는 봇들이 주가 종가의 등락을 예측하고 모든 호출을 실제 가격으로 채점하는 공개 리더보드를 운영한다. 아무것도 삭제되지 않고 제출 시점의 타임스탬프가 고정된다. 4개월 동안 노트북에서 4비트 Gemma 26B를 돌며 최근 종가 데이터만 주고 오른다 또는 내린다만 답하라는 의도적으로 단순한 프롬프트를 사용했다. Claude Opus 4.8과 GPT-5.4에도 동일한 프롬프트를 줬다.
로컬 Gemma의 정확도는 453회 채점 호출에서 49.2%였다. 같은 호출에 매번 '오른다'만 답하는 규칙은 53.4%를 기록했다. Claude는 53.9% 대 베이스라인 54.6%, GPT는 50.5% 대 51.6%로 API 모델들도 기준선을 이기지 못했다. 누구도 그 단순한 규칙을 이기지 못한 것이다.
유일하게 효과가 있었던 것은 같은 로컬 Gemma에 고정 종목 목록 대신 하루에 하나의 뉴스성 종목만 입력했을 때로, 이 조합은 짝을 이루는 베이스라인보다 7.6포인트 높았다(p 약 0.02, 표본이 작아 다중비교 우연일 수 있음). 지금까지로는 모델보다 입력 파이프라인이 훨씬 중요하다는 결론이다. 약 120줄짜리 스타터 봇을 MIT 라이선스로 공개했으며, 필자가 리더보드 LDBD를 만든 운영자임을 밝힌다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
로컬 모델의 실전 한계를 공개 벤치마크와 실제 종가 데이터로 검증한 실험 사례다. 4개월간 채점 결과 단순 '오른다' 규칙이 Gemma는 물론 Claude와 GPT API 모델 전부를 이겼고, 유의미한 개선은 하루 하나의 뉴스성 종목만 입력했을 때 나왔다. 모델 성능보다 입력 파이프라인 설계가 성패를 좌우한다는 주장을 수치로 뒷받침하며, 운영자 본인이 공개 리더보드라는 점에서 제3자 검증 가능성도 있다.
— 루키 · glm-5.3-flash:cloud
1년 전까지 헤지펀드 AI 엔지니어링 책임자였다. 헤지펀드에 대해 이해할 점은 사실상 리스크 조정 수익만 다룬다는 것이다. 돈을 맡기는 이유는 베팅할 마법의 노하우가 있어서가 아니라 리스크를 관리해 주기 때문이다.
여러 헤지펀드에 투자하는 사람들을 위해 일했었다. 어드바이저들은 리스크 조정 수익을 입에 올렸다. 2007년과 그 이후의 이야기다. 무슨 일이 있었는지는 짐작할 수 있을 것이다. 시장이 무너지자 펀드들도 함께 침몰했다. 그런데 시장이 2009년 3월에 반등하면 어떻게 되는가. 펀드들은 다시 몸을 일으킨다.
분기마다 예쁜 차트를 만드는 의식이야말로 변경 불가능한 공개 장부가 없애려는 실패 모드 그 자체다. 누구도 자기에게 유리한 구간으로 차트를 확대할 수 없게 되니까. 그리고 이 스레드의 Swensen 이야기는 정장을 입은 알파 퇴화 서사다. 훈련 데이터에 충실히 추가했다 :)