Flet Studio 에이전트가 앱 화면과 콘솔을 확인한다

예시 대화에서 사용자는 앱이 가운데 정렬되지 않았다고 여러 번 말한다. 에이전트는 화면을 볼 수 없다며 스크린샷을 요청하고, 사용자는 줄 수 없다며 채팅을 떠난다. 이번 Flet Studio 업데이트는 에이전트가 앱을 실행하고 화면을 찍어 확인하도록 바꿨다.

Flet은 에이전트가 앱을 실행하고 스크린샷과 콘솔을 확인하는 기능을 공개했다. 메시지에 이미지·PDF·코드 파일을 첨부하거나 스크린샷을 붙여 넣을 수도 있다. 앱을 만들거나 화면 문제를 고치는 동안 반복해서 결과를 설명해야 했던 사람에게 쓸모가 있다. Flet은 무료 플랜을 넘어 Creator 플랜을 구독한 초기 이용자들에게도 감사를 전했다.

에이전트는 어떻게 일하나?

에이전트는 모델을 중심으로 프롬프트, 스킬, MCP 서버, 도구가 둘러싼 반복 작업 구조다. 이 구성 요소 전체를 하네스(harness)라고 부르기도 한다. 하네스는 모델에 필요한 지식을 제공하고, 환각을 억제하는 역할을 한다.

사용자가 프롬프트를 보내면 새 작업 차례(turn)가 시작된다. 시스템 프롬프트와 사용할 수 있는 도구 정보도 함께 모델에 전달된다. 모델은 바로 답하거나 파일 목록 확인, Flet API 문서 읽기, main.py 작성 같은 도구 작업을 요청한다. 에이전트는 도구를 실행해 결과를 모델에 돌려보내고, 모델은 다음 행동을 정한다. 모델이 더 할 일이 없다고 판단해 최종 답변을 내면 그 차례가 끝난다.

사용자가 다음 프롬프트를 보내면 앞선 차례의 프롬프트, 모델의 도구 호출과 결과, 답변이 모두 다시 전달된다. 모델은 자체 기억을 갖지 않기 때문이다. 모든 차례를 합친 대화가 문맥(context)이며, 에이전트 화면에서는 보통 채팅이라고 부른다. 대화 길이는 모델의 최대 문맥 창(context window) 크기에 제한된다. 차례가 쌓일수록 전송되는 토큰이 많아져 비용도 늘어난다.

무엇이 달라졌나?

이전 Flet 에이전트는 앱 작업 공간의 파일을 나열하고 읽고 쓰는 도구만 사용했다. 정보는 모델에서 앱 작업 공간으로 한 방향으로만 흘렀다. 에이전트가 만든 앱의 결과를 확인할 수 없어, 사용자가 화면을 말로 묘사하거나 앱을 실행하고 콘솔 내용을 복사해 전달해야 했다.

이번 업데이트는 이 피드백 과정을 바꾼다. 사용자는 첨부 버튼으로 이미지, PDF, 텍스트 파일이나 코드 파일을 메시지에 붙일 수 있다. 스크린샷은 클립보드에서 붙여 넣으면 된다. macOS에서는 Cmd+V, Windows와 Linux에서는 Ctrl+V를 사용한다. 새 앱을 만드는 화면에서도 파일을 첨부할 수 있어, 시안 이미지를 바탕으로 앱을 시작할 수 있다. 첨부 파일을 앱에 넣으라고 요청하는 것도 가능하다. 예를 들어 이미지를 로고로 사용하게 할 수 있다.

에이전트에는 세 가지 도구가 추가됐다.

1. 앱 실행: 에이전트는 이제 한 차례가 끝날 때 자동으로 한 번 실행하는 데 그치지 않고, 작업 중 원하는 횟수만큼 앱을 다시 실행할 수 있다. 실행하면 미리보기가 재시작된다.
2. 스크린샷 촬영: 실행 중인 앱의 화면을 확인한다. 아바타가 실제로 화면 구석에 있는지 살펴보는 식이다.
3. 콘솔 읽기: 파이썬 오류, 트레이스백(traceback, 오류가 발생한 코드 경로를 보여주는 정보), 로그 메시지를 사용자가 복사해 전달하지 않아도 된다.

새 도구는 어떻게 쓰이나?

파이썬 오류가 있는 대시보드를 만들 때 에이전트는 Flet API를 확인하고 main.py를 작성한 뒤 앱을 실행한다. 콘솔에서 오류를 읽고 파일을 고친 다음 다시 콘솔을 확인한다. 오류가 없으면 작업을 마친다.

화면 배치를 고칠 때는 사용자가 화면 오른쪽 아래에 아바타를 놓아 달라고 요청한다. 에이전트는 코드를 작성하고 스크린샷을 찍는다. 아바타가 구석에 없으면 Flet API를 확인해 코드를 수정하고 다시 화면을 확인한다. 위치가 맞으면 작업을 끝낸다.

일부 버그는 앱을 직접 눌러 봐야 나타난다. 에이전트는 아직 앱을 클릭할 수 없지만, 로그를 심어 사용자의 동작 결과를 확인할 수 있다. 먼저 main.py 여러 곳에 로그 메시지를 추가하고 앱을 실행한다. 이어 사용자에게 앱을 눌러 보라고 요청한다. 사용자가 완료했다고 알리면 에이전트는 콘솔을 읽고, main.py의 문제를 고친 뒤 로그 메시지를 제거하고 앱을 다시 실행한다.

Flet은 이런 피드백을 통해 에이전트가 개입 없이 한 차례 안에 작업을 끝낼 수 있다고 설명한다. 차례가 줄면 토큰 사용량과 크레딧 소비도 줄고, 사용자가 계속 지켜보는 수고도 덜 수 있다는 설명이다.

함께 바뀐 점과 이용 전 확인할 사항은?

새 앱은 Flet의 표준 구성에 맞춰 코드를 src 폴더에 두고, 역할에 따라 여러 파일로 나눈다. 작은 앱은 한 파일로 유지한다. 새 앱에는 에이전트가 디버깅에 사용하는 로그 설정도 포함된다. 콘텐츠를 가운데 정렬하거나 바닥글을 페이지 아래에 두는 등 레이아웃 처리도 개선됐다.

앱이 웹 API를 호출할 때는 미리보기와 flet build로 빌드한 앱 양쪽에서 작동하는 코드를 작성한다. Expert 에이전트는 더 새로운 모델을 사용하고, Flet Studio는 Flet 1.0.3을 사용한다. 작업 단계가 너무 많아 중간에 멈추던 문제도 해결했다고 Flet은 전했다. 전체 변경 사항은 Flet Studio의 새 기능 안내에서 확인할 수 있다.

앞으로는 실행 중인 앱에서 탭, 스와이프, 드래그 같은 조작을 에이전트가 수행하는 기능과 기억을 갖춘 자기 학습 에이전트를 검토할 수 있다고 Flet은 밝혔다. 다만 실제 서비스 데이터베이스에서 에이전트가 무언가를 삭제하지 못하도록 안전장치가 필요하다고 덧붙였다. 현재 에이전트는 앱을 직접 클릭할 수 없다. Flet은 이번 글에서 새 모델의 구체적인 이름이나 첨부 파일의 형식별 제한은 밝히지 않았다.