원문 캡처 · whattotelltherobot.com
원문 캡처 · whattotelltherobot.com

스테파니 텔렉스(Stefanie Tellex)와 데이비드 왓킨스(David Watkins)는 코딩 에이전트가 버그를 찾는 일을 도울 수 있지만, 소프트웨어 추상화가 감추는 문제까지 없애지는 못한다고 설명한다. 에이전트의 결과를 제대로 확인하려면 시스템의 작동 방식을 이해해야 하며, 에이전트가 반복 작업을 덜어주는 만큼 그 과정에서 얻던 이해를 놓칠 수도 있다고 지적한다.

두 사람은 조엘 스폴스키(Joel Spolsky)의 2002년 글 The Law of Leaky Abstractions을 로봇공학의 사례와 연결한다. 무선 네트워크는 연구실 안에서 어디서나 작동하는 것처럼 보이지만, 개인용 핫스팟이 많아 와이파이 주파수 대역이 혼잡해지면 로봇과 사람이 공유기에 가까이 가야 연결될 수 있다. 추상화가 가린 네트워크의 현실이 드러나는 순간이다.

코딩 에이전트도 이런 문제를 해결하는 데 도움을 주지만, 잘못된 원인을 따라갈 위험도 있다. 한 사례에서는 Claude가 Scratch 프로그램에 신경망을 구현하고 기능을 추가했다고 했지만, 문제가 반복해서 해결되지 않았다. 나중에 확인해 보니 Claude가 프로그램 파일 이름을 바꿨고, 사용자는 기능을 추가하기 전의 옛 파일을 업로드하고 있었다. 코드가 아니라 사용자와 에이전트 사이의 확인 과정에서 문제가 생긴 셈이다. 해당 Scratch 프로그램

텔렉스와 왓킨스는 코딩 에이전트를 사용할 때 명세와 버그 보고, 결과 검증에 주의를 기울여야 한다고 말한다. 이 작업에는 시스템의 구성 요소를 깊이 이해하는 일이 필요하다. 에이전트가 작업 시간을 줄여도 학습에 필요한 시간까지 줄여주지는 않는다는 것이 두 사람의 핵심 주장이다.