대규모 언어 모델(LLM)의 도구 사용은 API 호출을 익히는 단계에서 실행 결과를 학습에 반영하고 여러 단계로 환경과 상호작용하는 에이전트 방식으로 발전했다. 2025년에는 강화학습과 도구 연결 표준이 주목받았지만, 이 글은 2023년부터 2025년까지의 흐름을 간략히 정리한다.

2023년에는 모델이 도구를 호출하는 형식과 문법을 익히는 연구가 중심이었다. 메타 AI가 2023년 2월 공개한 Toolformer는 자기지도 방식으로 도구 사용을 학습하는 접근을 제시했다. 오픈소스 GPT-J를 바탕으로 라벨이 붙은 예시를 통해 입력을 API 호출에 연결하도록 했다.

UC Berkeley와 Microsoft Research가 2023년 5월 공개한 Gorilla는 API 호출이 추상 구문 트리(AST) 같은 정해진 형식에 맞도록 지도 미세조정(SFT)을 활용했다. Llama-7B를 기반으로 제로샷 및 인컨텍스트 API 호출을 지원하도록 훈련했다. 당시 논문은 API 문법을 따르고 환각에 따른 함수 호출과 형식 오류를 피하는 측면에서 GPT-4와 Claude보다 나은 성능을 보였다고 보고했다. 2023년 10월 공개된 ToolLLM은 지시 튜닝으로 Llama가 수천 개의 실제 API를 다루도록 규모를 확장했다.

2024년에는 실행 가능한 환경을 활용하는 방식으로 관심이 옮겨갔다. 일리노이대학교 어배너-섐페인과 애플의 CodeAct는 2024년 2월 텍스트 API 대신 실행 가능한 Python 코드를 사용하고, 코드 샌드박스에서 얻은 성공·실패 피드백을 학습 신호로 삼았다. 모델은 실행 결과를 추론 과정에 반영해 검증 가능한 결과에 기반해 학습했다. 2024년 8월 공개된 DeepSeek-Prover-V1.5는 형식적 정리 증명에 강화학습(RL)을 도입했다. 여러 증명 후보를 만들고 증명 검증기의 평가를 보상 신호로 사용해, 2025년 강화학습 기반 접근이 확대되는 흐름의 기반을 마련했다.

2025년에는 GPT-5, o3, Gemini 2.5와 3, 최신 Claude 모델 등 주요 모델이 도구 호출을 기본 지원하고, 소수의 예시를 통해 새로운 도구에 적응하도록 훈련됐다. 발표된 연구에서는 검증 가능한 보상을 활용하는 강화학습(RLVR)과 도구 적응 전략이 더 많이 다뤄졌다. 연구자들은 환경의 직접 피드백이나 최종 답변의 정답 여부를 바탕으로 에이전트를 최적화하는 한편, 고정된 모델에 특화 도구처럼 연결할 하위 에이전트도 개발했다.

2025년 1월 공개된 DeepSeek-R1은 생성한 코드의 단위 테스트 통과 여부처럼 실행 결과에서 직접 얻은 보상 신호를 RLVR에 활용했다. 3월 공개된 Search-R1은 Qwen-2.5를 강화학습으로 훈련해 여러 단계의 검색과 추론을 수행하도록 했다. 추론 시에는 사고의 연쇄(CoT)와 실시간 검색을 번갈아 활용해 새 정보에 따라 추론을 갱신하고 검색어를 다듬는다. 모델이 충분한 지식을 갖고 있지 않고 여러 단계의 추론이 필요한 작업에 특히 유용한 방식이라고 소개됐다.