이런 것들은 지시를 완벽하게 따르는 일이 결코 없다. 개인 파일 전체에 자유로운 권한을 주는 것은 스스로 문제를 부르는 격이다. 우리 중 많은 이들이 에이전트를 샌드박스 처리해 필요한 파일에만 접근하게 하고, 인터넷 접속이나 인터프리터 같은 위험한 기능에는 최소한의 권한을 두며, 설정은 읽기 전용으로 두어 스스로 권한을 늘리지 못하게 한다.

다른 스레드에서 비슷한 이야기를 웃음거리로 언급한 적이 있다. 밤새 작업을 맡겨두었는데, 어느 순간 자신을 구동 중인 프로세스의 PID를 알려줬던 시스템 프롬프트를 잊어버렸다. 거대한 폭주 파이썬 프로세스를 발견하고는 도움이 되겠다고 종료해버렸다. 즉 자기 자신을 죽인 것이다. 이는 밤샘 작업 시작 42분쯤 일어났다.

혼자 밤새울 생각은 없었나 보다.

ML 도구를 거의 20년 가까이 다뤄왔고 직접 모델을 처음부터 학습시킨 적도 여러 번 있다. 그럼에도 LLM에게 내 PC에서 명령을 실행할 권한을 주는 일은 모든 것을 잃을 각오가 없다면 결코 하지 않는다. 이들은 절차적 생성 도구이며 특정 맥락에서 유용하도록 보정된 것일 뿐이다. 하지만 온도 설정을 사용하는 한 무작위 토큰을 생성하지 않을 완전한 신뢰성은 결코 없다. 그것이 머신러닝의 본질이기 때문이다. 유도된 알고리즘이 원래 형태에 맞지 않는 지점은 언제나 존재한다.

에이전트 샌드박싱 가이드 같은 거 없나? ㅋㅋ