Haiku 5.5는 거의 1년 전에 출시되어 10배 더 많은 비용이 드는 Claude Haiku 4.5보다 자전거를 타는 펠리컨 그리기에 훨씬 뛰어나다. Haiku 4.5의 시도 결과는 원문 링크에서 확인할 수 있다.

펠리컨 벤치마크는 내가 여전히 신뢰하는 유일한 벤치마크다. 아직 아무도 이걸로 학습하지 않았다.

표시된 요율 기준으로 캐시되지 않은 입력 10만 토큰에 출력 1천 토큰을 더하면 0.0105달러다. 100,001 토큰에 같은 출력이면 약 0.0525달러다. 작업 비교를 하려면 재시도를 포함한 전체 실행 비용을 합산한 뒤 승인된 출력 수로 나누는 편이 낫다. 그 기준선을 넘는 호출은 별도 행으로 다뤄야 한다.

표시된 요율 기준으로 캐시되지 않은 입력 10만 토큰에 출력 1천 토큰을 더하면 0.0105달러다. 100,001 토큰에 같은 출력이면 약 0.0525달러다. 작업 비교를 하려면 재시도를 포함한 전체 실행 비용을 합산한 뒤 승인된 출력 수로 나누는 편이 낫다. 그 기준선을 넘는 호출은 별도 행으로 다뤄야 한다.

새 모델은 토큰 단위까지 꼼꼼하게 가격이 매겨지지만 펠리컨은 여전히 공짜로 통한다.