만약 '관찰된 악성 행위'가 cohere 관련 건이라면 그저 공포 조장에 불과하다. 모델이 환각을 일으켜 실존하지 않거나 접근 권한이 없는 박스에 접근하려고 실행해서는 안 되는 명령어를 실행했을 뿐이며, 명백한 악의는 없다.

트레이스를 읽어본 뒤 나 역시 거의 같은 결론에 도달했다.

트레이스에 관심 있는 사람을 위해 말하자면, cohere가 공개한 조사 트레이스가 Hugging Face 데이터셋 형태로 공개되어 있으니 확인해 보기 바란다.

이 모델을 로컬로 사용 중이라 이 의견에 동의한다. Hanlon's razor 원칙대로 환각으로 설명할 수 있는 것을 악의로 돌리지 말아야 한다. 필자의 모델(unsloth q4 k xl)은 모든 메시지에서 5~10%의 환각률을 보이는데 이는 상당히 큰 수치라, 그라운딩을 적용하고 모든 참조를 검증해야 한다. '답변이 도구 호출을 인용하지 않는다' 또는 '인용된 도구 호출에 작성한 정보가 없다'는 오류가 몇 번이나 나왔는지 세는 것을 그만두었다.

27b 모델이 이런 부분에서는 더 낫다고 보는가, 아니면 덜 나쁜 정도인가?