스냅은 ML 실험 플랫폼 Alchemist를 도입해 피처 선택 실험의 주기를 4주에서 2주로 줄였다고 밝혔다. 엔지니어가 가설과 실행 계획을 승인하고, 결정론적 하네스가 실험을 실행하는 방식이다.

스냅 엔지니어들은 기존에 ML 플랫폼 Bento에서 한 달에 수천 건의 모델 실험을 진행했다. 실험에는 설정 파일 조정, GPU 대기, 결과 보고서 작성, 실패 원인 분석 등이 필요해 의미 있는 결과를 얻기까지 수주가 걸리기도 했다. 스냅은 코드 작성 속도가 빨라지면서 여러 아이디어를 체계적으로 평가하고 영향을 측정하는 일이 새로운 병목이 됐다고 설명했다. 이 변화는 CodePal 관련 글에서 다룬 코드 작성 과정의 변화와도 맞닿아 있다.

Alchemist에서 엔지니어는 생산 모델과 목표를 입력한다. 에이전트는 구체적인 설정 변경과 기대 결과를 담은 가설을 제안하고, 엔지니어는 이를 수정하거나 순서를 바꾸고 승인한다. 승인된 가설은 실행 계획으로 바뀌며, 하네스는 입력 조건을 확인하는 사전 테스트를 거쳐 실험을 실행한다. 실패한 단계를 자동으로 재시도하지 않고, 실패 정보와 디버깅 권고를 엔지니어에게 제공한다. 실험이 끝나면 에이전트가 가설과 기준 모델을 비교하고 다음 방향을 제안하지만, 다음 실험을 승인하고 재시도 여부를 정하는 주체는 엔지니어다.

하네스는 실험 계획 검증, 실행 제출, 결과 수집과 예산 관리처럼 매번 같아야 하는 작업을 코드로 처리한다. 실험 계획과 승인, 실행, 결과는 가설별로 별도 기록해 다른 실험의 맥락이 섞이는 일을 줄이고 반복성과 감사 가능성을 높인다고 스냅은 설명했다. Alchemist는 기존 모델 검토나 제품 출시 절차를 대체하지 않는다.

첫 레시피는 피처 선택이다. 과거 한 연구에서 엔지니어 한 명이 Story 광고 모델의 피처 30%를 제거하는 데 4주와 워크플로 제출 130건을 사용했으며, 평가 지표는 악화되지 않았다. 이 과정을 자동화한 현재 레시피는 한 번의 프롬프트와 승인된 계획으로 같은 절차를 진행해 주기를 2주로 줄였다고 스냅은 밝혔다. 레시피에는 피처를 하나씩 섞어 모델 민감도를 측정하는 순열 중요도와, 학습 중 각 피처에 확률적 게이트를 두어 기여도가 낮은 피처를 제거하는 방법이 포함된다.

스냅은 피처 선택을 Alchemist의 첫 레시피로 소개하며, 앞으로 아이디어 탐색과 피드백을 개선하고 각 레시피의 지식을 스냅의 ML 커뮤니티에 확장할 계획이라고 밝혔다.