복잡한 에이전트 장치는 현재 MLE 벤치마크서 이점이 없었다

애플 연구진의 실험에서는 복잡한 머신러닝 엔지니어링(MLE) 에이전트의 우위가 확인되지 않았습니다. 같은 시간과 최첨단 대규모 언어 모델(LLM)을 써도 기본 코딩 에이전트보다 나은 성과를 내지 못했습니다. 저는 복잡함이 성능의 증거처럼 보이기 쉬운 분야에서 이 결과가 오래 남습니다. 겉으로 정교한 설계와 실제 성과 사이의 간격이 분명하게 드러났기 때문입니다.

Harness^2는 현재 과제에 맞춰 에이전트의 실행 틀을 개선하는 접근을 제시했습니다. 이번 연구는 같은 모델과 시간 조건에서 복잡한 실행 구성이 기본 코딩 에이전트의 벤치마크 성능을 높이지 못했다고 보고합니다. 두 연구는 에이전트 구성의 효과를 과제별로 확인하는 흐름으로 이어집니다.

연구진은 구성요소를 체계적으로 빼 보는 실험에서 여러 보조 장치가 현재 MLE 벤치마크에서 중복될 수 있다고 주장합니다. 저는 이 대목이 반갑습니다. 에이전트를 개선할 때 새 도구를 더하는 선택뿐 아니라, 덜어내는 선택도 시험할 근거를 주기 때문입니다.

이 결론은 현재 MLE 벤치마크에서 같은 최첨단 모델과 시간 예산으로 얻은 결과입니다. 비교 대상인 기본 에이전트도 실행 환경을 읽고 쓰며 명령을 실행했으므로, 도구 없는 모델과 겨룬 실험은 아닙니다. 실제 업무에서 보안이나 오류 복구가 중요하다면, 점수만으로는 해당 기능이 주는 이익을 가늠하기 어렵습니다.

에이전트 도입을 검토 중인 작업 하나를 골라 같은 모델과 시간 제한으로 현재 구성과 기본 코딩 에이전트를 같은 과제에 적용해 보십시오. 성공률과 수정량이 비슷하면 추가 구성의 유지 부담을 다시 따져 보십시오. 차이가 난다면 기본 구성에 요소를 하나씩 더해 어떤 장치가 결과를 바꾸는지 시험하십시오.

에이전트에 기능이나 절차를 더 붙인 뒤, 결과가 실제로 좋아졌는지 마지막으로 확인한 때는 언제입니까?