TL;DR

  • OpenAI Decisions API가 텍스트와 이미지 입력을 평가해 Responses API보다 약 10배 빠르게 유형별 답변을 반환하는 퍼블릭 베타임.
  • predicate, choice, score 질문 유형으로 조건의 참일 확률, 고정 선택지 중 하나, 기준표에 따른 점수를 산출함.
  • 현재 지원 모델은 gpt-6-luna 하나이며, 전용 POST /v1/decisions 엔드포인트를 사용함.
  • 입력 토큰 비용은 100만 토큰당 0.10달러이며, 적격 고객은 ZDR과 HIPAA 사용을 지원받음.
  • 독립적인 질문은 한 요청에 함께 넣을 수 있으며, 순차적인 판단이 필요하면 요청을 나눠야 함.

Decisions API 개요

  • Decisions API는 텍스트, 이미지 또는 두 입력을 함께 평가하고, Responses API보다 약 10배 빠르게 유형이 지정된 답변을 반환함.
  • 조건이 참일 확률, 고정된 집합에서 고른 항목, 기준표에 따른 점수를 제공하며, 이를 애플리케이션에서 콘텐츠 분류, 요청 라우팅, 작업 우선순위 지정에 활용함.
  • 코드를 작성하기 전에 Playground에서 질문과 입력을 시험할 수 있음.
  • 현재 퍼블릭 베타이며, 앞으로 몇 주 안에 정식 출시(GA)할 예정임.
  • 현재 사용할 수 있는 모델은 gpt-6-luna 하나이며, 전용 POST /v1/decisions 엔드포인트를 사용함.

판단 요청의 구성

  • 요청은 다음 세 부분으로 구성됨.
  • model: 요청을 평가하는 모델이며, 현재 gpt-6-luna만 지원됨.
  • input: 질문에 공통으로 적용되는 근거이며, 텍스트 문자열 또는 텍스트와 이미지가 포함된 사용자 메시지임.
  • questions: 평가할 내용으로, 질문 유형과 지침, 허용된 선택지 또는 점수 단계를 포함함.
  • 응답에는 answers 배열이 포함됨. 각 질문에 고유한 이름을 지정하면 API가 해당 이름을 응답에 그대로 반환함.

질문 유형 선택

  • predicate: 보이는 손상이나 문단의 관련성처럼 조건의 참 여부를 확인하며, 조건이 참일 추정 확률을 0~1로 반환함.
  • choice: 담당 부서나 콘텐츠 범주처럼 제공한 값 가운데 하나를 선택함.
  • score: 문제 심각도처럼 순서가 있는 단계에 따라 입력을 평가하고, 단계 인덱스의 확률 가중 평균을 반환함.
  • choice와 score는 모두 이산 선택지에 대한 확률을 반환함. 순서가 없는 범주에는 choice를, 심각도처럼 순서가 있는 단계에는 score를 사용하며, score는 단계 사이의 값도 반환할 수 있음.
  • 애플리케이션이 이 세 유형 가운데 하나의 답변을 필요로 하면 Decisions를 사용함. 추출한 필드나 서면 설명처럼 자체 JSON 스키마를 따르는 객체가 필요하면 Responses API의 Structured Outputs를, 모델이 인수를 포함한 도구 호출을 요청해야 하면 함수 호출(function calling)을 사용함.

이미지에서 보이는 손상 확인

  • 제품 사진의 균열, 찢어짐, 찌그러짐 여부를 확인할 때 predicate 질문을 사용하고, 이미지와 함께 확인 지침을 전달함.
  • 예시 응답은 visible_damage의 확률을 0.92로 반환함. 이 확률은 조건이 참일 것이라는 모델의 추정치이며, 원하는 임계값을 기준으로 검토 대상 사진을 표시할 수 있음.
  • 이미지는 인라인 Base64 데이터 URL로 전달해야 함. 호스팅된 HTTP 또는 HTTPS 이미지 URL과 file_id 입력은 이 엔드포인트에서 지원되지 않음.
  • 사용자 메시지 안에서 input_text와 input_image를 함께 사용하면 이미지와 지침 또는 다른 맥락을 동시에 평가할 수 있음.

고정 선택지 중 항목 선택

  • choice 질문은 제공한 선택지 중 한 값을 고름. 선택지 값은 서로 달라야 하며, 각 선택지가 적용되는 상황을 설명하는 설명문을 함께 제공함.
  • 고객 불만 라우팅 예시에서는 이중 청구 문의에 대해 billing을 선택하고, 각 선택지의 확률과 별도의 confidence 필드도 반환함. 예시 결과는 billing 확률 0.95, 신뢰도 0.93임.
  • 범주가 모든 입력을 포괄하지 못할 때는 other 같은 대체 선택지를 포함할 수 있으며, 애플리케이션에서 해당 결과를 일반 검토 대기열로 보낼 수 있음.

기준표에 따른 점수 산정

  • score 질문은 순서가 있는 단계에 따라 입력을 평가함. 각 단계의 기준을 정의하고 낮은 단계부터 높은 단계 순으로 배치함.
  • 예시에서 단계 인덱스는 0부터 시작하며, 0은 외관상의 문제, 1은 우회 방법이 있는 상태, 2는 완전히 차단된 상태를 뜻함.
  • 반환 점수는 각 단계 인덱스의 확률 가중 평균이므로 단계 사이의 값이 될 수 있음. 단계별 확률이 0.1, 0.7, 0.2라면 점수는 1.1임.
  • 답변에는 신뢰도와 단계별 확률도 포함됨. 점수는 단계별 확률 분포를 요약하며, 단일 범주 선택에는 choice를 사용함.

여러 질문 요청

  • 서로 독립적인 질문은 같은 questions 배열에 넣어 공통 입력을 평가할 수 있음. 제품 사진의 손상 여부와 제품 범주를 한 번에 확인하는 식으로, 질문마다 서로 다른 유형을 사용할 수 있음.
  • 앞선 답변에 따라 달라지는 판단은 요청을 나눠야 함. 예를 들어 먼저 손상 여부를 확인한 뒤, 그 결과에 따라 수리 범주를 요청함.
  • 관찰 가능한 기준에 따라 질문을 작성함. 서로 다른 관심사는 질문을 분리하고, 선택지는 의미가 겹치지 않게 하며, 점수 단계는 인접한 단계끼리 기준이 구분되도록 정의함.

답변 해석

  • predicate는 조건이 참일 것으로 추정되는 확률을 반환함. choice와 score는 확률 분포와 별도의 신뢰도 필드를 반환함.
  • 애플리케이션의 라벨이 지정된 예시를 사용해 라우팅, 필터링 또는 검토 임계값을 설정함.
  • 거짓 양성과 거짓 음성의 비용을 고려해 임계값을 선택함.

가격 및 이용 가능 여부

  • gpt-6-luna의 입력 비용은 토큰 100만 개당 0.10달러임. 입력 토큰에 대해서만 비용이 발생하며, 캐시 읽기·쓰기와 출력 토큰 요금은 없음.
  • 지역 처리 추가 요금과 긴 문맥 입력 가격 배수가 적용됨. 이 요금은 /v1/decisions에 적용되며, gpt-6-luna를 사용하는 다른 요청에는 해당 모델 및 처리 등급의 가격이 적용됨.
  • 적격 고객은 Decisions API에서 제로 데이터 보존(ZDR)과 HIPAA 사용을 지원받음.
  • 미국과 유럽(EEA 및 스위스)에서 데이터 상주와 지역 처리를 지원함. 자격 요건, 필수 계약, 제한 사항은 데이터 관리 조건에 따름.

음성 제어 추가

  • Live API와 클라이언트 위임(client delegation)을 사용해 음성 요청에서 작업을 선택하고 그 결과를 사용자에게 전달할 수 있음.