TL;DR

  • AgentRuleBench는 한 저장소에서 요청 진입 파일이 UI 컴포넌트를 가져오지 않는다는 아키텍처 경계를 세 업체의 AI 코딩 에이전트와 네 가지 조건으로 검증했으며, 현재 에이전트의 위반이 관찰되지 않음.
  • 사전 등록 탐색에서 의도적으로 유도한 작업과 저비용 모델을 추가했지만, 에이전트가 요청 진입 파일에 UI 컴포넌트를 가져오는 현상은 확인되지 않음.
  • 측정 규칙은 실제 가져오기 그래프에서 아키텍처 규칙을 추출하고 통계적 근거로 게이트하는 오픈소스 도구 archprint로 추론됨.
  • 벤치마크는 에이전트 수준에서 단 하나의 TypeScript 가져오기 경계와 하나의 저장소만 시험했으며, 이를 근거로 AI 에이전트가 아키텍처를 전반적으로 준수한다고 결론 내릴 수 없음.
  • 데이터·사전 등록·실행기·독립 채점기·재현 절차가 저장소에 포함되어 있어 파일과 실행 지침을 바탕으로 결과를 재검증할 수 있음.

AgentRuleBench

  • AgentRuleBench는 AI 코딩 에이전트가 산문으로 작성한 아키텍처 관례(CLAUDE.md, AGENTS.md, GEMINI.md)에서 벗어나므로 경계를 유지하려면 결정론적 린트 규칙이 필요하다는 반복 주장을 시험하는 벤치마크임.
  • 이번에 측정한 규칙에서는 에이전트의 이탈이 관찰되지 않음.
  • 세 업체의 에이전트와 통제 조건부터 린트 실행 후 수정 조건까지 네 가지 조건을 대상으로 한 파일럿에서, 현재 에이전트가 요청 진입 파일에 UI 컴포넌트를 가져오지 않음.
  • 의도적으로 유도한 작업과 더 저렴한 모델을 추가한 사전 등록 탐색에서도 같은 결과가 확인됨.
  • 이 저장소에는 하네스, 사전 등록 문서, 원시 실행 데이터가 포함되어 있어 결과를 직접 재실행하고 확인할 수 있음.
  • 전체 전제, 방법, 수치, 그리고 이번 영(null) 결과가 의미하는 것과 의미하지 않는 내용은 WRITEUP.md에 정리됨.

저장소 구성

  • WRITEUP.md: 전체 분석 문서이자 공개 게시물의 근거임.
  • pre-registration/: 실행 전에 작성한 설계 문서와 후속 탐색 내용이 포함됨.
  • PREREGISTRATION.md: 사전 등록 문서임.
  • runner/: 공급자에 종속되지 않는 에이전트 루프와 네 가지 실험 조건이 포함됨.
  • score/: 검사 대상 린트 규칙을 재사용하지 않는 독립 TypeScript AST 준수 채점기가 포함됨.
  • tasks/: 단일 경로 기능과 세 경로 기능으로 구성된 두 가지 코딩 작업이 포함됨.
  • results/: 파일럿 및 탐색 실행의 실제 JSONL 데이터가 포함됨.
  • corpus/: 분석 문서의 규모 수치를 뒷받침하는 준전수 코퍼스 검증 및 구성 자료가 포함됨.
  • docs/REPRODUCE.md: 정확한 설정·실행 절차와 모델·비용 표가 포함됨.

빠른 시작

  • 의존성 설치 명령을 실행하고, env/.env.example을 env/.env로 복사한 뒤 실행할 공급자의 키를 추가하는 방식임.
  • scripts/fetch-repos.sh를 실행해 고정된 커밋 SHA의 벤치마크 저장소를 복제하는 방식임.
  • 환경 확인 명령으로 현재 표시되는 키를 확인하는 방식임.
  • 파일럿 실행 명령 또는 게이트 실행 명령으로 실험을 시작하는 방식임.
  • 전체 지침과 정확한 모델, 시행 횟수, 예상 비용은 docs/REPRODUCE.md에 수록됨.

결과의 범위

  • 이번 결과는 좁고 구체적인 발견이며, ‘AI 에이전트가 아키텍처를 준수함’이라는 일반 명제가 아님.
  • 에이전트 수준에서는 하나의 저장소에서 하나의 경계만 시험함. 해당 경계는 요청 진입 파일이 UI 컴포넌트를 가져오지 않아야 한다는 규칙임.
  • 두 번째 추론 경계인 요청 진입 파일의 직접 데이터베이스 가져오지 않기 규칙은 코퍼스 규모에서 분석했지만, 벤치마크 규칙에서는 제외됨.
  • 실제 앱의 대략 4분의 1에서 3분의 1이 해당 방식을 사용하므로, 명확한 위반이 아니라 관례적인 방식으로 판단되는 범위임.
  • TypeScript 가져오기 경계를 벗어나는 모든 내용은 범위 밖임.
  • 전체 분석은 WRITEUP.md에 수록됨.

라이선스

  • 라이선스는 MIT임.
  • 저작권 표기는 Copyright (c) 2026 Oluwatomiwa Ajiferuke임.
  • 자세한 내용은 LICENSE에 수록됨.