기계공학을 전공하고 약 20년간 소프트웨어 엔지니어로 일해온 필자가 최근 취미로 로컬 모델을 실험하다가, 실제 업무와 유사한 과제를 여러 모델과 하네스 조합으로 테스트했다. 테스트 조건은 동일 양자화(Unsloth 계열 Q4)를 적용한 Gemma4-31B 대 Qwen3.8-27B, 하네스는 Codex CLI 대 OpenCode CLI, 과제 유형은 '이 코드에 대해 설명하라'와 '새로운 것을 만들자'였다. GPT 6.1-Sol은 이후에 비교 대상으로 추가되었다. 하네스 간 차이는 이번 실험에서 결론적으로 유의미하지 않아 자세히 다루지 않았다.

저장소 검사 및 분석 과제에서는 매우 익숙한 참조 저장소를 대상으로, 읽기 전용으로 특정 라이브러리의 핵심 추상화, 소비자 관점에서 X, Y, Z 상황에서 유의해야 할 점, 접근 방식의 전반적 장단점을 900단어 이내로 설명하라는 프롬프트를 사용했다. Qwen과 Gemma 모두 동등하게 좋은 분석과 답변을 냈으나 세부 관점은 조금 달랐다. 주목할 점은 Gemma4가 Qwen보다 훨씬 효율적으로 작업해 명시된 과제에 더 집중했고, 서버 호출 횟수도 하네스에 따라 약 20~30회인 Qwen에 비해 약 10회로 훨씬 적었다. Qwen은 더 호기심이 많아 요청 범위를 넘어 깊이 파고들어 다소 더 완전한 그림의 평가를 만들어냈지만, 결국 두 응답 모두 동등하게 좋았고 효율성만으로는 Gemma4에 기울 것 같다고 밝혔다.

새 프로젝트 작성 과제에서는 레거시 코드베이스나 주요 외부 의존성 없이 손으로 작업하면 1~2일 걸릴 법한 간결한 범위의 애플리케이션을 선정했다. 일반 개념, 여러 역할의 사용자 경험, 설계 제약과 미래 대응 요구를 다룬 약 8문단 분량의 프롬프트로, 재사용 가능한 백엔드와 WPF 프론트엔드를 갖춘 C# 프로젝트였다. 여기서 더 뚜렷한 차이가 나타났다. Gemma4는 다시 한번 매우 효율적이었고 빠르게 계획해 신속히 실행했으며, 최종 결과는 B- 수준으로 사용 가능한 해에 수렴하려면 몇 차례 피드백 반복이 필요했지만 나쁘지 않은 수준이었다. 두 차례 수정 후 평가가 충분하다고 판단하고 접어두었다.

Qwen3.8은 Gemma4만큼 '똑똑해' 보이지는 않지만 훨씬 '끈질기다'. 진행 과정에서 누락된 using 문 등 사소한 오류가 훨씬 많았고 자기 발에 자주 걸리듯 실수를 거듭했지만 더 높은 목표를 향해 그것을 고수했으며, 소요 시간도 상당히 길었다. 첫 결과물은 Gemma보다 한 수 위였고 수정 한 번만으로 실제로 사용 가능한 수준에 도달해 평점 B+로, Gemma보다 쉽게 선택할 만한 탄탄한 결과였다. Qwen3.8이 방의 조명을 깜빡이며 작업하는 동안 필자는 ChatGPT 데스크톱 앱을 켜서 6.1-Sol에 동일한 프롬프트를 주었고, 결과는 A+였다. 완전히 다른 등급의 기능성과 완성도로 상호작용에 대한 사용자 맥락을 진짜로 이해했고, '이제 끝났다, 출시하자'라는 느낌의 원샷 솔루션이었다.

평가한 두 오픈 웨이트 모델 간의 차이를 보는 것은 흥미로웠다. 소비자 하드웨어 기준으로 결과는 매우 실용적이었지만 프론티어 랩 모델과는 분명히 같은 급이 아니었다. 흥미로운 후속 실험으로 진짜 개발자 지옥, 즉 오래된 레거시 코드베이스를 다루는 과제를 시켜볼 수 있으며 이를 위한 벤치마크가 있어야 한다고 필자는 지적하며, 오래된 Doom이나 Command & Conquer 소스 코드를 다루는 것이 미래의 테스트가 될 수 있다고 덧붙였다.