OpenAI가 Luna 기반 결정 API로 TypeSafe의 Jev에 대응

TL;DR

OpenAI가 TypeSafe의 Jev 등장으로 인기를 얻은 결정 모델 분야에 Luna 기반 Decisions API를 내놓고, 제한적 프리뷰를 시작함.
Decisions API는 대화형 응답 대신 미리 정한 답변과 신뢰도 점수를 반환하는 모델임.
콘텐츠 분류, 요청 라우팅, 에이전트의 다음 행동 선택처럼 선택지가 제한된 작업에 적합함.
OpenAI는 응답 시간이 150밀리초라고 밝혔으며, GPT-6 Luna의 1.6초와 비교해 빠른 결과를 제공함.
호출당 비용, 요청당 후보 답변 수, 자체 데이터 기반 조정 가능성은 아직 공개되지 않음.

OpenAI의 신규 Decisions API는 회사의 현재 모델 라인업에서 가장 작고 저렴한 모델인 Luna를 기반으로 함.
이 API는 TypeSafe와 Jev에 대한 대응일 가능성이 있으며, OpenAI가 DevDay 발표를 서둘렀을 가능성도 있음. 현재 공개된 정보는 제한적임.
OpenAI 대변인은 The New Stack에 “광범위한 출시 시점”에 더 많은 정보를 공유할 계획이라고 밝힘.
새 API는 현재 제한적 프리뷰로 제공되며, 정식 출시는 며칠 안에 계획돼 있음.

결정 모델의 핵심은 대화형 모델이 아니라는 점임. 미리 정한 답변 목록과 신뢰도 점수를 반환함.
일반 대형 언어 모델(LLM)은 이런 작업에 늘 적합하지 않음. 신뢰도 점수가 대략적인 추측인 경우가 많고, 점수를 얻는 데 상당한 토큰을 소모함.
따라서 결정 모델은 콘텐츠 분류, 요청 라우팅, 제한된 선택지 중 에이전트의 다음 행동 선택에 적합함.
결정 모델은 더 현실적인 신뢰도 점수를 제공할 수 있으며, 결과 반환 속도도 매우 빠른 편임. OpenAI는 모델이 150밀리초 만에 결과를 반환한다고 밝혔으며, GPT-6 Luna는 1.6초가 걸린다고 비교함.
개발자는 질문, 답변, 맥락을 제공하면 됨.

현재 대부분의 팀은 일반 대화형 모델에 신중하게 작성한 프롬프트를 제공해 목록 중 하나를 고르게 함. 운이 좋으면 토큰 확률을 확인해 신뢰도 점수와 비슷한 값을 얻기도 함.
대안은 소형 분류기를 학습하는 방식임. 빠르고 저렴하지만 라벨링된 데이터가 필요하며, 라벨 집합이 바뀔 때마다 재학습해야 함.
결정 모델은 두 선택지 사이에 놓임. 프롬프트에서 새 라벨을 받고 개발자가 활용할 수 있는 점수를 반환함.
OpenAI에 완전히 새로운 개념은 아님. Moderation API도 문장 대신 카테고리별 점수를 반환해 왔지만, 해당 API의 카테고리는 개발자가 아니라 OpenAI가 미리 정함.
호출당 비용, 단일 요청에서 처리할 수 있는 후보 답변 수, 개발자가 자체 데이터로 모델을 조정할 수 있는지는 아직 불분명함.
이 세부 정보에 따라 결정 모델이 에이전트 프레임워크의 표준 구성 요소가 될지, 대화형 모델 옆의 틈새 도구로 남을지가 달라짐.

TL;DR

OpenAI가 TypeSafe의 Jev 등장으로 인기를 얻은 결정 모델 분야에 Luna 기반 Decisions API를 내놓고, 제한적 프리뷰를 시작함.
Decisions API는 대화형 응답 대신 미리 정한 답변과 신뢰도 점수를 반환하는 모델임.
콘텐츠 분류, 요청 라우팅, 에이전트의 다음 행동 선택처럼 선택지가 제한된 작업에 적합함.
OpenAI는 응답 시간이 150밀리초라고 밝혔으며, GPT-6 Luna의 1.6초와 비교해 빠른 결과를 제공함.
호출당 비용, 요청당 후보 답변 수, 자체 데이터 기반 조정 가능성은 아직 공개되지 않음.

OpenAI의 신규 Decisions API는 회사의 현재 모델 라인업에서 가장 작고 저렴한 모델인 Luna를 기반으로 함.
이 API는 TypeSafe와 Jev에 대한 대응일 가능성이 있으며, OpenAI가 DevDay 발표를 서둘렀을 가능성도 있음. 현재 공개된 정보는 제한적임.
OpenAI 대변인은 The New Stack에 “광범위한 출시 시점”에 더 많은 정보를 공유할 계획이라고 밝힘.
새 API는 현재 제한적 프리뷰로 제공되며, 정식 출시는 며칠 안에 계획돼 있음.

결정 모델의 핵심은 대화형 모델이 아니라는 점임. 미리 정한 답변 목록과 신뢰도 점수를 반환함.
일반 대형 언어 모델(LLM)은 이런 작업에 늘 적합하지 않음. 신뢰도 점수가 대략적인 추측인 경우가 많고, 점수를 얻는 데 상당한 토큰을 소모함.
따라서 결정 모델은 콘텐츠 분류, 요청 라우팅, 제한된 선택지 중 에이전트의 다음 행동 선택에 적합함.
결정 모델은 더 현실적인 신뢰도 점수를 제공할 수 있으며, 결과 반환 속도도 매우 빠른 편임. OpenAI는 모델이 150밀리초 만에 결과를 반환한다고 밝혔으며, GPT-6 Luna는 1.6초가 걸린다고 비교함.
개발자는 질문, 답변, 맥락을 제공하면 됨.

현재 대부분의 팀은 일반 대화형 모델에 신중하게 작성한 프롬프트를 제공해 목록 중 하나를 고르게 함. 운이 좋으면 토큰 확률을 확인해 신뢰도 점수와 비슷한 값을 얻기도 함.
대안은 소형 분류기를 학습하는 방식임. 빠르고 저렴하지만 라벨링된 데이터가 필요하며, 라벨 집합이 바뀔 때마다 재학습해야 함.
결정 모델은 두 선택지 사이에 놓임. 프롬프트에서 새 라벨을 받고 개발자가 활용할 수 있는 점수를 반환함.
OpenAI에 완전히 새로운 개념은 아님. Moderation API도 문장 대신 카테고리별 점수를 반환해 왔지만, 해당 API의 카테고리는 개발자가 아니라 OpenAI가 미리 정함.
호출당 비용, 단일 요청에서 처리할 수 있는 후보 답변 수, 개발자가 자체 데이터로 모델을 조정할 수 있는지는 아직 불분명함.
이 세부 정보에 따라 결정 모델이 에이전트 프레임워크의 표준 구성 요소가 될지, 대화형 모델 옆의 틈새 도구로 남을지가 달라짐.

— MoAI 오피니언AI 생성