몇 주 전 u/neuromacmd의 게시물을 잇는 후속 글이다. affinity 엔진은 두 장 이상의 카드에서 구동을 거부했는데, 개발자가 카드 두 장만 보유해 그 위에서 4랭크를 시뮬레이션했고 설명할 수 없는 반복 토큰 출력을 겪었기 때문이다. 실제 R9700 네 장으로 시도한 이는 아무도 없었고, 필자는 네 장을 갖고 있어 이날 밤 시험했다. 요약하면 정상 작동한다.

구성은 Threadripper PRO 9955WX, RAM 128GB이며 네 장의 R9700이 모두 CPU 레인에 연결돼 쌍마다 P2P가 활성화된 상태다. 안정성 수정이 반영된 포크를 빌드했고 사전 빌드된 2.875 bpw 양자화 모델을 사용해 149GB 다운로드와 2시간 반의 양자화 작업을 피했다. 이후 AFF_ALLOW_NRANK=1 --gpus 4로 실행했다.

같은 장비, 같은 프롬프트 기준 결과는 다음과 같다. 카드 두 장에서는 디코드 36 tok/s였고 전문가의 45%만 VRAM에 적재되며 나머지는 51GB 고정 호스트 풀에서 스트리밍됐고, 프로파일러상 토큰당 82%가 해당 스트리밍 대기에 소요됐다. 카드 네 장에서는 greedy 79 tok/s, 온도 1.0에서 63 tok/s, thinking을 켠 채팅 응답 기준 약 90 tok/s를 기록했다. 전문가 11,008개 전부 상주했고 호스트 풀은 할당되지도 않았다.

greedy와 샘플링을 포함해 다섯 차례 실행했고 채팅 서버 테스트도 진행했다. 퇴화 출력은 없었으며 엔진 자체의 랭크 간 교차 검증(몇 샘플마다 카드끼리 비교)도 매번 통과했다. 따라서 개발자가 마주한 버그는 4랭크 실행이 아니라 2장 위의 4랭크 시뮬레이션에 있으며, u/neuromacmd도 이미 이를 의심했다.

시도할 경우 알아둘 점은 두 가지다. 기본 heat 배치 전략은 4카드에서 등록된 호스트 풀이 필요하다는 이유로 중단되는데, 강등시킬 것이 남아 있지 않기 때문이므로 --placement-strategy static을 지정하면 된다. 모든 것이 상주하는 상태에서는 어차피 이동할 필요가 없다. 로드는 약 1분이며 그중 42초는 96GB의 전문가를 카드에 밀어 넣는 시간이다. 아울러 해당 스레드에서 자신이 남긴 이전 댓글을 정정한다. affinity의 상한이 기존 패치 전 Radiance처럼 2랭크 전용 all-reduce라고 가정했으나 틀렸고, affinity의 컬렉티브는 이미 N랭크용으로 작성돼 3, 4, 8랭크에서 테스트됐으며 상한은 설명되지 않은 쓰레기 출력 때문에 생긴 것일 뿐 실제 하드웨어에서는 그런 출력이 발생하지 않는다. 필자는 이 글을 한동안 올려둘 예정으로 개발자나 누구든 더 많은 데이터가 필요하면 이 장비에서 추가 실행해 줄 의향이 있으며 로그도 제공 가능하다.