메타는 AI 에이전트와 함께 포럼 앱을 만들었다

메타는 페이스북 그룹의 대화를 더 깊이 나누려는 이용자를 위한 독립형 그룹 앱 Forum을 소규모 팀과 처음부터 만들었다. 개발 과정에는 AI 에이전트를 참여자로 투입했으며, 메타 엔지니어들은 코드 생성량이 아니라 빌드와 테스트, 검토를 통과한 결과를 성공 기준으로 삼았다고 밝혔다.

엔지니어는 실행보다 결과를 감독한다

메타가 지향한 방식은 엔지니어가 모든 단계를 직접 진행하며 AI의 도움을 받는 ‘휴먼 인 더 루프’에서, 에이전트가 계획·구현·빌드·테스트·수정을 반복하고 엔지니어가 목표와 품질을 감독하는 ‘휴먼 온 더 루프’로 옮겨가는 것이다. 다만 이는 아직 완성된 상태가 아니다. 일부 단계는 자율적으로 실행되지만, 다른 단계에서는 반복 과정마다 엔지니어가 참여한다.

메타는 코드를 컴파일하는 것만으로 작업이 끝난 것으로 보지 않았다. 자동 테스트와 시각 검사를 통과해야 완료로 간주하고, 에이전트가 엔지니어에게 검토를 요청하기 전에 자체 검증하도록 했다. 검토 요청에는 빌드 결과와 테스트 결과, 기록된 검증 세션을 함께 첨부했다. 출시되는 결과물에는 여전히 엔지니어의 승인이 필요하다.

이 방식이 안전하게 작동하도록 계획을 구체적인 기술 명세로 만들고, 빌드 상태·단위 테스트·사용자 인터페이스(UI) 명세 일치 여부를 에이전트의 작업 흐름에 넣었다. 실제 앱을 사람처럼 조작하고 화면을 읽어 회귀 오류를 보고하는 탐색 에이전트도 운영했다. 출시 후에는 이용자 피드백을 바탕으로 가능한 회귀 오류를 조사하는 에이전트가 분석 내용을 엔지니어에게 전달하고, 엔지니어가 후속 조치를 결정하도록 했다.

메타는 프로젝트 지침을 담는 규칙, 팀 관례를 실행 단계로 만든 스킬, 수동 점검을 자동화하는 에이전트, 스킬과 에이전트를 연결하는 명령, 린터 실행이나 테스트 검증을 자동으로 시작하는 훅을 운영 체계의 구성 요소로 꼽았다.

에이전트가 확인할 수 있도록 코드와 도구를 바꿨다

메타는 가장 큰 개선이 프롬프트보다 코드와 도구를 바꾸는 데서 나왔다고 설명했다. 에이전트가 읽고 따를 수 있도록 코드 구조를 단순하게 유지하고 주요 부분을 모듈화했다. 쉽게 모듈화할 수 없는 부분은 재사용보다 에이전트가 작업하기 쉬운 구조를 택해 새로 만들었다고 밝혔다. 메타에 따르면 코드에 남은 약한 패턴은 이후 에이전트 작업에도 반복될 수 있어, 한 번 개선하면 다음 세션에도 효과가 이어진다.

앱 화면을 잘못 짚거나 화면 좌표를 추측하는 문제에는 설명을 더하는 대신 상태를 직접 확인할 도구를 제공했다. 에이전트는 시뮬레이터의 실제 화면 계층 구조와 표시 요소를 읽고, 대상 화면으로 가는 경로를 확인한 뒤 작업할 수 있었다. 메타는 이 조치 뒤 잘못된 화면을 수정하는 사례가 크게 줄었다고 밝혔다.

프로토타입을 안전하게 시험하기 위해 프로덕션 앱과 분리된 별도 빌드 환경도 마련했다. 샌드박스 앱은 프로덕션과 같은 코드베이스·프레임워크·디자인 시스템을 공유하지만, 플러그인·소켓 아키텍처를 통해 프로토타입 코드를 프로덕션 빌드에서 완전히 제외한다. 이에 따라 디자이너와 다른 팀 구성원은 변경마다 엔지니어의 도움을 받지 않고 AI 도구로 시제품을 만들 수 있고, 샌드박스에서 만든 결과를 다시 빌드하지 않고 프로덕션으로 옮길 수 있었다. 메타는 프로토타입 코드가 프로덕션 빌드에 존재하지 않으므로 그 코드가 프로덕션 앱을 충돌시키지 않는다고 설명했다.

스트레스 테스트로 개발 중 메모리 문제를 찾았다

메타는 공격적인 스크롤, 무작위 그룹 탐색, 빠른 화면 이동, 미디어 반복 로딩 등 실제 이용 행태를 흉내 내는 스트레스 시나리오를 여러 빌드에서 반복 실행했다. 충돌, 메모리 증가, 페이지 폴트, 화면 회귀 같은 신호를 바탕으로 에이전트가 이상을 분류하고 문제를 일으킨 동작을 좁혀 근본 원인을 조사하도록 했다.

메타에 따르면 한 테스트에서 에이전트가 메모리 문제의 재현 절차를 찾고 수정안을 제안한 뒤 검증까지 마쳤다. 이 수정으로 반복 스트레스 테스트에서 기기 내 메모리 사용량 증가와 페이지 폴트가 크게 줄었으며, 메타는 메모리 사용량과 페이지 폴트가 대략 절반으로 감소했다고 밝혔다. 아키텍처 결정은 엔지니어가 맡았고, 문제 탐지와 회귀 모니터링은 자동화해 반복할 수 있도록 했다.

이 접근은 Forum의 기술 스택을 구축하고 운영하는 데도 쓰였다. 에이전트가 아키텍처 선택지와 장단점을 정리하면 엔지니어가 평가해 결정했다. 어떤 결과가 좋은지는 제품 판단이므로 사람이 정하도록 했다고 메타는 설명했다. 코드 경로를 아는 엔지니어가 직접 답하던 질문은 조사 에이전트가 자료를 모아 수정 제안과 함께 정리하고, 엔지니어가 실제 버그인지 의도된 절충인지 확인하는 방식으로 바뀌었다. 관련 코드 위치와 예시 쿼리, 설계 문서를 에이전트에 제공하자 특정 조사 유형의 결과 품질이 개선됐다고도 밝혔다.

메타는 Forum이 8주 만에 Facebook Groups의 핵심 기능과 동등한 수준에 도달했다고 밝혔다. 일상적인 구현 작업 상당 부분을 AI가 맡아 엔지니어가 아키텍처와 제품 결정, 품질에 집중할 수 있었다는 설명이다. 메타는 개발 중 메모리 문제를 찾아 수정했고, 출시 후에도 에이전트 기반 조사가 이용자 피드백의 분류와 근본 원인 분석을 도왔다고 평가했다.

메타는 니하리카 신하(Neeharika Sinha), 제인 코(Jane Kou), 양 강(Gang Yang), 장 궈하오(Guohao Zhang), 장 쩌야(Zeya Zhang), 키나리 장라(Kinnary Jangla), 융후이 루(Yonghui Lu)에게 기여에 감사를 전했다.