GPT-5.5와 Jev가 사진의 초점을 찾아 자동 자르기를 돕는다

Drupal 사이트에서 오래된 사진을 새 카드·배너·모바일 화면에 맞춰 자를 때는 사진의 초점을 지정해야 한다. 사진 수천 장에 초점을 수동으로 표시하기 어려운 상황을 위해, 19장의 사진으로 19가지 방법을 비교한 실험에서는 GPT-5.5가 가장 정확했고 TypeSafe의 Jev는 훨씬 저렴하고 빨랐다. 다만 사진 19장에 대한 결과이므로 전체 사진 라이브러리에서 같은 결과가 나온다고 단정할 수는 없다.

Drupal의 Focal Point 모듈에서는 편집자가 사진을 올릴 때 얼굴이나 주요 대상 등 초점 위치를 지정하고, 이미지 스타일이 그 지점을 중심으로 자른다. 지정하지 않으면 사진의 중앙을 기준으로 잘라 사람의 머리나 이야기의 주요 대상을 놓칠 수 있다. 다른 시스템에서 옮긴 콘텐츠에는 초점 정보가 없거나 이전 시스템의 크롭 데이터·사용자 정의 필드·이미지 파일 자체에 잘린 형태로 저장돼 있을 수도 있다. 실험에서는 이를 모델로 자동 처리할 수 있는지 살폈다.

실험 방법과 비교 대상

실험자는 Pexels 사진 19장(사람, 단체, 개, 자동차, 카메라 다이얼, 경기장, 피사체가 작은 사진 등)에 직접 초점을 표시했다. 이 표시를 정답으로 삼아 각 방법의 답과 비교했다. 모든 사진은 Pexels에서 가져왔다.

각 방법은 사진 내용에 대한 정보를 담지 않은 세 가지 지시문을 사용했다. 짧은 지시문은 18토큰, 중간 지시문은 228토큰, 긴 지시문은 1,529토큰이다. 각 조합은 세 번 실행했다. 토큰 수는 OpenAI의 o200k_base 토크나이저 기준이다. 모델에는 픽셀 좌표, 격자 칸, 상자 번호 등 방법에 맞는 답변 형식을 추가로 지시했다.

비교 방법은 사진 중앙을 고르는 기준선, 모델에 x·y 좌표를 묻는 방식, 네 변에 0~100 눈금을 그려 좌표를 읽게 하는 방식, 4×4 격자에서 영역을 고른 뒤 확대해 다시 선택하는 2단계·3단계 격자 방식, 답 위치에 표시를 그려 모델이 최대 세 차례 수정하는 커서 반복 방식이다. 또 Jev가 초점 상자를 표시하는 방식, 언어 모델이 설명한 초점을 Jev가 상자로 찾는 방식, Jev가 제시한 여덟 후보 중 모델이 고르는 Set-of-Mark, Qwen2.5-VL의 자체 점·상자 출력도 시험했다. 객체 탐지 방식은 YOLO11x, Grounding DINO, Florence-2가 찾은 대상 중 규칙으로 하나를 고르거나, 후보 상자에 번호를 붙여 언어 모델이 고르게 했다.

사용 모델은 OpenAI의 추론 기능을 켠 GPT-5.5와 끈 GPT-5.4 mini, Anthropic의 Claude Haiku 5.5(좌표 요청 방식만), TypeSafe의 Jev, 자체 그래픽카드에서 Ollama로 실행한 Gemma 4 E2B와 Qwen2.5-VL 3B다. 객체 탐지기도 같은 그래픽카드에서 한 번에 하나씩 실행했다.

정확도는 모델이 고른 점과 실험자의 점 사이 거리를 사진 대각선 길이의 백분율로 계산했다. 5% 차이는 거의 눈에 띄지 않을 정도로 가깝고, 20%면 크롭이 다른 대상을 보여줄 가능성이 높다고 설명한다. 각 답 주변에서 정사각형, 16:9 가로 배너, 9:16 세로 화면, 작은 정사각형 섬네일 등 네 가지로 잘랐을 때 실험자의 초점이 크롭 안에 남는 비율도 측정했다.

한 시각화 사례에서는 GPT-5.5와 짧은 지시문으로 사진 1을 한 차례씩 처리했다. 눈금 방식은 x 78.5, y 21.0을 읽었고, 격자 방식은 4×4에서 4번 칸을 고른 뒤 해당 영역을 확대해 다시 격자화한 결과 10번 칸을 선택했다. 마지막 확대 이미지에서 x 483, y 188을 골랐으며 전체 사진 기준 정답과 44.4% 차이가 났다. 세 번 호출한 결과다. 커서 반복 방식은 500×364 사진에서 처음 x 391, y 73을 답했다. 자신감 9%에서 dx -234, dy +82로 옮겼고, 자신감 78%에서 dx +1, dy -1을 조정했다. 85%가 되자 멈췄으며 정답과 4.7% 차이가 났다. 네 번 호출한 결과다.

결과와 비용

아래 표의 평균·중앙값은 사진 대각선 대비 거리다. ‘5% 이내’는 실험자가 표시한 점에서 5% 이내인 답의 비율이고, ‘크롭 유지’는 네 크롭 중 정답 점을 포함한 비율이다. 비용은 측정된 호출 토큰과 정가를 기준으로 사진 1,000장 처리 비용을 계산했다. 로컬 모델과 탐지기는 이 계산에서 호출당 비용이 0이다. GPT-5.5는 Describe와 Set-of-Mark 실행 도중 OpenAI 크레딧이 소진돼 해당 결과가 빠졌다.

GPT-5.5에 x·y 좌표를 바로 물으면 평균 오차가 6.2%, 중앙값은 4.1%였고, 네 크롭 가운데 96%가 정답 점을 유지했다. 사진당 약 6.8초, 1,000장당 약 16달러가 들었다. 모델이 답 위치를 다시 확인하고 옮기는 커서 반복 방식은 평균 오차를 5.8%로 낮췄지만, 비용은 세 배 이상이고 사진당 24초가 걸렸다. 눈금과 격자는 단순히 좌표를 묻는 방식보다 낫지 않았다.

Claude Haiku 5.5는 1,000장당 19센트, 사진당 조금 넘는 1초로 가장 좋은 중앙값(3.8%)과 5% 이내 답변 비율(63%)을 기록했다. 하지만 빗나갈 때 오차가 커 평균은 8.9%였다. GPT-5.4 mini는 네 배가량 비싸면서 측정된 정확도 지표마다 Claude보다 낮았다.

Jev는 초점을 둘러싼 상자의 중심을 답으로 삼았다. 평균 오차는 8.7%, 크롭 유지율은 89%였고, 1,000장 비용은 6센트, 사진당 시간은 0.5초였다. GPT-5.5보다 약 250배 저렴하지만 평균 오차는 조금 컸다.

로컬 모델 결과는 엇갈렸다. Qwen2.5-VL 3B에 자체 점 출력 형식으로 답하게 하면 중앙값 4.8%였고 실행 간 편차도 작았지만, 빗나간 경우 오차가 컸다. Gemma 4 E2B에 x·y를 요청한 결과는 사진 중앙을 고르는 기준선보다 나빴다.

객체 탐지기는 정답 대상 주변의 상자를 찾는 데는 가능성을 보였지만, 어떤 상자가 초점인지 고르는 단계에서 어려움을 겪었다. Grounding DINO가 낸 상위 10개 중 정답에 가장 가까운 것을 고를 수 있었다면 오차는 3.5%였다. 그러나 간단한 규칙이나 Gemma는 적절한 상자를 고르지 못해 평균 13.5~17%에 그쳤다. GPT-5.4 mini는 Grounding DINO 상자 중 선택해 10.6%를 기록했지만 같은 모델에 x·y를 직접 물은 결과보다 낮았다. 사람을 둘러싼 상자의 중심이 눈이 아니라 가슴에 놓이는 점도 이유로 제시됐다.

긴 지시문은 소형 모델에 가장 큰 도움이 됐다. 결론 부분의 비교에서는 1,529토큰 지시문이 Gemma 4 E2B를 20.8%에서 16.8%로, Qwen2.5-VL을 17.1%에서 13.5%로, Jev를 8.9%에서 7.4%로 개선했다. 반면 GPT-5.5, GPT-5.4 mini, Claude Haiku의 결과는 거의 변하지 않았다. GPT-5.5는 x·y 요청에서 18토큰 짧은 지시문을 썼을 때 가장 잘 나왔다. 본문은 GPT-5.5의 짧은 지시문 결과를 5.9%, 긴 지시문 결과를 6.4%로도 제시한다.

적용할 때 고려할 점

눈금·격자·커서 반복은 GPT-4.1 같은 이전 모델에서 더 나은 결과를 얻기 위해 고안됐다고 실험자는 설명한다. 2023년 Set-of-Mark 논문은 이미지에 번호 표시를 추가하면 GPT-4V의 사물 지목 성능이 크게 나아졌다고 보고했고, OpenAI 포럼에서도 번호가 붙은 격자가 GPT-4o와 GPT-4.1의 좌표 출력을 쓸 만하게 만든다는 개발자 보고가 있었다. 이 실험에서는 GPT-5.5에 x·y를 바로 물었을 때가 더 좋았다. 커서 반복은 오차가 약간 낮지만 비용과 시간이 더 많이 든다.

실험자는 AI Image Crop 모듈에 Jev와 이미지 분류 기능을 지원하고, 최첨단 모델을 쓰는 경우 반복 보정 기능을 끌 수 있다고 본다. 모듈에는 기존 콘텐츠를 일괄 처리하는 기능이 있으며, Jev는 사진 한 장당 0.5초, 1,000장당 몇 센트 수준으로 미디어 라이브러리의 초점을 채우는 데 적합하다고 설명한다. Grounding DINO 같은 객체 탐지 모델은 이미지를 외부로 보내지 않고 사이트 자체 서버에서 처리할 수 있는 대안이다. 반복 보정은 소형 모델에도 거의 도움이 되지 않았다(GPT-5.4 mini는 9.9%에서 9.8%로 개선). 이에 따라 실험자는 좋은 모델에 한 번 요청하는 방식을 권한다.

정확도가 가장 중요하다면 GPT-5.5에 x·y를 직접 요청하는 방식이 이 실험에서 평균 6.2% 오차와 96%의 크롭 유지율을 보였다. 비용과 처리 속도가 중요하다면 Jev는 평균 8.7% 오차로, 많은 경우 충분할 수 있다고 실험자는 평가한다. Qwen2.5-VL 3B는 이런 점 지정 작업을 위해 만들어진 모델이지만, 실험자는 결과에 유보가 필요하며 실험 과정에서 잘못했을 가능성도 있다고 밝혔다.

Grounding DINO는 실험자의 노트북에서 CPU로 사진 한 장당 25~40초가 걸렸다. 자체 서버에서 실물을 대상으로 작동하는 대안을 원한다면 고려할 수 있지만, 단독 사용 결과는 사진 중앙 기준선의 14.4%보다 조금 나은 13.5%였다. 작은 모델이 탐지 상자 중 하나를 고르게 했을 때는 10.6%를 기록했다.

초점은 크롭이 보존해야 할 위치를 알려주지만, 편집자가 특정 정사각형이나 가로 띠의 크롭 자체를 직접 정하고 싶을 때는 다른 문제가 된다. 실험자는 향후 수동 크롭에서도 비슷한 방식으로 모델이 편집자의 선택을 재현할 수 있는지 살펴볼 계획이라고 밝혔다. AI Image Crop 프로젝트 페이지에서 모듈 정보를 확인할 수 있다.