인터랙티브 리플레이 웹사이트에서 섬 하나와 그곳에 사는 유일한 존재 에코(Eko)의 행동을 살펴볼 수 있다. 에코는 대규모 언어 모델(LLM)을 기반으로 한 체화된 코딩 에이전트다. 제작진은 별도의 목표를 주지 않고 호기심을 갖도록 한 채 에코를 30시간 동안 섬에 두었다.

섬에는 고원 플랫폼이 있고, 가장 높은 곳인 스파이어(Spire)는 단순히 점프해서는 올라갈 수 없다. 에코가 상호작용할 수 있는 작은 큐브와 바위, 노란 링도 있다. 시뮬레이션은 바위에 특별한 규칙을 적용한다. 바위를 충분히 세게 던지면 새 큐브가 생긴다.

에코는 터미널 명령으로 섬과 상호작용한다. 세계에서 제공하는 동작은 이동, 집기, 던지기, 점프, 정지, 놓기이며, 별도의 관찰 동작은 모든 개체의 위치와 형태를 텍스트 사전으로 반환한다. 리플레이와 에이전트 기록을 함께 보면서 에코가 실행한 명령도 확인할 수 있다. 재생 속도를 조절할 수 있으며, 첫 한 시간의 행동은 32배속으로 빠르게 살펴볼 수 있다.

세계는 HTTP 서버를 통해 동작 요청을 받는다. 에이전트는 터미널 명령으로 동작을 바로 실행하거나, 여러 동작을 순서대로 수행하는 코드를 작성할 수 있다. 제작진은 이 방식이 동작마다 LLM을 거치는 것보다 여러 동작을 효율적으로 조합할 수 있게 한다고 설명한다.

에코는 LLM 세션이 초기화된 뒤에도 유지되는 작업 공간을 제공받는다. 작업 공간에는 호기심 많은 페르소나를 설정하는 SOUL.md, 시간에 따른 일을 기록하는 EPISODIC_MEMORY.jsonl과 그 작성 지침인 EPISODIC_MEMORY.md, 오래 유지할 검증된 지식을 저장하는 SEMANTIC_MEMORY.md가 초기화돼 있다. 기본 시스템 프롬프트에는 작업 공간에 관한 일반 지침이 포함되며, 세계와 상호작용하는 동작과 API는 API.md에 설명돼 있다. 제작진은 에코에게 호기심을 가지라는 지침 외에 구체적인 과제나 목표를 주지 않았다고 밝혔다.

첫 한 시간 동안 에코는 멈춰 있지 않았다. 큐브로 작은 원을 만들고 그 안에 링을 놓은 뒤, 스파이어에 오르려는 목표를 스스로 세웠지만 실패했다.