초당 100토큰 속도로 10분이 걸리는 AI 에이전트 작업은 초당 3,000토큰이면 약 20초 만에 끝난다. Gimlet Labs는 후자의 수치를 실현하겠다는 목표를 내걸고 있다. 이 회사는 스텔스 모드에서 벗어난 지 1년도 되지 않아 기업가치 30억 달러 평가를 받으며 3억 달러를 조달했다.

이 회사는 샌프란시스코에 본사를 두고 있으며 CEO Zain Asgar가 이끌고 있다. 그는 전 NVIDIA GPU 아키텍트로 Google AI에서 엔지니어링을 이끌었고 스탠퍼드에서 겸임교수로도 활동하고 있다. 공동창업자로는 Michelle Nguyen, Omid Azizi, Natalie Serrino가 있다. 이 네 사람은 2020년 New Relic에 인수된 Kubernetes 옵저버빌리티 스타트업 Pixie Labs를 만들었었다.

Gimlet에 따르면 문제는 많은 추론 클라우드가 단일 종류의 GPU 위에 구축되어 전체 처리량과 개별 사용자가 체감하는 속도 사이의 트레이드오프를 강요받는다는 점이다. 회사 측은 추론이 하나의 균일한 워크로드가 아니라고 주장한다. 프롬프트 처리, 답변 생성, 어텐션, 피드포워드 레이어는 각각 칩에 서로 다른 방식으로 부하를 준다. 이에 Gimlet는 작업을 분할해 각 조각을 가장 적합한 칩에서 실행한다. 이 회사는 NVIDIA, AMD, Intel, Arm, Cerebras, d-Matrix 등 6개 업체의 칩과 협력하며, 자사 소프트웨어가 이 조각들을 오케스트레이션하고 개발자에게는 표준 추론 API가 제공된다. 회사는 이를 통해 어떤 목표를 고정하느냐에 따라 상호작용성이 3~10배 높아지거나 킬로와트당 처리량이 3~10배 늘어난다고 밝혔다.

또한 AI 에이전트용 서버리스 추론 서비스 Gimlet Cloud와 PyTorch 코드로부터 최적화된 GPU 커널을 생성하는 kforge도 판매한다. 이 회사는 소프트웨어를 넘어 인프라 영역으로 확장하고 있으며, 데이터센터 용량을 확보하는 한편 데이터센터 아키텍트를 채용하고 있다. 9월 28일 Gimlet는 Cerebras와 파트너십을 맺고 100메가와트 규모의 Cerebras 기반 추론 용량을 배치한다고 발표했다. 첫 데이터센터는 올해 말 온라인에 들어설 예정이며 초당 최대 3,000토큰 속도를 낼 것으로 기대된다. Gimlet는 2027년 Cerebras의 차세대 시스템 CS-4의 론치 파트너도 맡는다.

9월 4일 Gimlet는 Andreessen Horowitz가 주도하고 기업가치 30억 달러 평가를 받은 3억 달러 규모 시리즈 B를 유치했다. Sapphire Ventures, M12, Arm, Menlo Ventures, Samsung Ventures, Tiger Global 등이 참여했다. 이전에는 1,200만 달러 시드 라운드와 3월 Menlo가 주도한 8,000만 달러 시리즈 A가 있었으며, 누적 투자 유치액은 3억 9,200만 달러에 이른다. Gimlet는 3월 이후 고객 기반이 3배로 늘었고 상위 3개 프론티어 AI 연구소 중 하나와 상위 3개 하이퍼스케일러 중 하나를 고객으로 추가했다고 밝혔으나, 매출이나 고객 수는 공개하지 않았다. Asgar는 추론의 미래가 수직 통합형이자 멀티실리콘, 즉 여러 칩 아키텍처가 하나의 시스템으로 오케스트레이션되는 것이라고 말했다.