리비전 프롬프팅(Revision Prompting)은 입력이 바뀔 때 전체 작업을 다시 수행하는 대신, 기존 입력과 업데이트된 입력의 차이를 바탕으로 출력에 필요한 수정분만 생성하는 방식이다. 같은 지시를 반복 실행하는 자동화 작업에서 기존 결과의 일관성을 유지하고 처리 시간과 비용을 줄이는 데 활용할 수 있다.
일반적인 자동화 프롬프팅은 입력과 지시문으로 출력을 만든 뒤 입력이 수정되면 전체 출력을 다시 생성한다. 하지만 대규모 언어 모델(LLM)은 비결정적이므로 바뀐 입력과 무관한 부분까지 결과가 달라질 수 있고, 변경이 일부에 그쳐도 전체 출력을 다시 생성해야 한다.
리비전 프롬프팅은 기존 입력·출력과 새 입력의 차이인 diff(Input, UpdatedInput)을 모델에 제공해 출력 수정 패치만 요청한다. 예를 들어 전기자전거 제품 설명에서 주행거리가 80km에서 100km로 바뀌면, 전체 독일어 번역을 다시 만드는 대신 해당 수치가 든 문장만 바꾸는 패치를 생성한다. 패치를 기존 번역에 적용하면 변경되지 않은 문장은 원래 출력과 동일하게 유지된다.
입력 변경량과 출력이 입력 변화에 민감한 정도에 따라 절감 폭은 달라진다. 설명에 따르면 자체 산업용 프롬프트에서 처리 시간은 약 80%, 비용은 약 65% 줄었다. 이는 해당 작업에서 얻은 수치이며, 모든 작업에 같은 절감 효과가 적용된다는 뜻은 아니다. 출력 길이가 처리 시간에 대략 비례하고, 출력 토큰을 적게 생성하는 만큼 처리 시간을 줄일 수 있다는 설명이다. 출력 토큰 비용의 상당 부분은 더 저렴한 입력 토큰 비용으로 옮겨가며, 원래 실행 후 몇 분 안에 다시 실행하면 프롬프트 캐싱(prompt caching)으로 입력 토큰 비용 일부도 줄어들 수 있다.
입력 변경분과 출력 패치의 형식은 지시에 따라 선택한다. 일반적인 변경에는 POSIX diff 유틸리티를, JSON 출력에는 JSON Patch를 활용할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요