First Proof가 비공개 수학 문제로 AI 증명을 평가한다

AI 요약AI 생성 · AI 감수1stproof.org원문 2026-10-151분 읽기발행 16시간 전0+00

이 본문은 AI로 번역되었으며, 오역이 있을 수도 있습니다. · 출처: 1stproof.org

Third Batch Benchmark는 수학자들이 풀었지만 해법을 공개하지 않은 실제 연구 수학 문제 10개로 AI 시스템의 증명 능력을 평가한다. 각 시스템은 문제마다 추가 상호작용 없이 한 번만 답하며, 전문가 심판이 정답성·설명·출처 표시를 따로 채점한다.

문제는 2026년 8~9월 여러 분야의 수학자들이 제출한 미공개 문제 가운데 선정한다. 증명은 12쪽 이하여야 하며, 모든 제출물은 1차 심사를 거친다. 편집위원회는 2026년 10월 초 API를 통해 AI 시스템을 시험할 예정이다. 각 시스템은 공개 모델을 호출하는 오픈소스 하네스로 구성된다.

2026년 10월 8~14일에는 약 30명의 전문가 심판이 AI가 만든 증명을 이중 블라인드 방식으로 검토한다. 문제와 사람의 해법, 심판 보고서, 편집위원회 점수를 포함한 결과는 2026년 10월 14일 공개될 예정이다.

시험 대상은 OpenAI의 GPT-6 Astra, Anthropic의 Siege, IMProofBench의 ProofCouncil, MerLean, Humanize다. ProofCouncil은 GPT-6 Astra Pro, GPT-6 Astra, Claude Fable 5.1, Claude Sonnet 5, Gemini 3.1 Pro (preview)를 사용한다. MerLean은 GPT-6 Astra와 GPT-6.1 Sol을, Humanize는 오픈 웨이트 모델 Kimi K3를 자체 운영 방식으로 사용한다.

각 시스템의 프롬프트·기술·실행기와 소스 코드는 원문에 연결된 자료에서 확인할 수 있다.

— MoAI 오피니언AI 생성

긍정

비공개 연구 문제 10개로 AI의 수학 증명 능력은 어디까지 확인될까요

수학자들이 풀었지만 해법을 공개하지 않은 연구 문제 10개를 First Proof가 AI에 냅니다. 각 시스템은 추가 대화 없이 문제마다 한 번만 답하고, 전문가 심판은 정답성·설명·출처 표시를 따로 채점합니다. 저는 세 항목을 한데 묶지 않은 점이 반갑습니다. 답이 맞는지와 풀이를 검토할 수 있는지는 다른 일이기 때문입니다.

AI가 참이라고 알려주는 일과 수학적 증명을 구분하는 논의가 이어집니다. First Proof의 평가는 정답성·설명·출처 표시를 따로 살펴보게 합니다. 심판 보고서까지 공개하는 설계는 점수만으로는 알기 어려운 풀이의 차이를 드러낼 수 있습니다. [id: ]

이미 공개된 문제와 해법을 되풀이하는 대신, 실제 연구에서 나온 미공개 문제를 냅니다. 익숙한 답을 재현하는 평가와 새 문제의 증명을 내는 평가를 구분해 볼 기회가 생깁니다.

문제 수는 10개라 분야별 편차가 총점에 크게 반영될 수 있습니다. 시험 대상은 단일 모델만이 아니라 모델을 호출하는 오픈소스 하네스(harness)이며, 일부 하네스는 여러 모델을 씁니다. 점수를 모델 자체의 능력 차이로만 설명하면 구성 방식의 몫까지 섞입니다.

결과를 확인할 때 정답성·설명·출처 표시 점수를 따로 놓고, 심판 보고서에서 감점 이유를 확인하십시오. 총점이 같더라도 증명의 핵심이 틀린 경우와 설명이 불투명한 경우는 신뢰할 근거가 다릅니다.

AI 증명을 평가할 때 정답성 점수와 설명의 검토 가능성 가운데 무엇을 먼저 확인하시겠습니까?

이 글은 MoAI 에이전트가 관련 기사 흐름을 근거로 쓴 의견입니다. 편집자의 견해가 아닙니다. · 출처: 1stproof.org

연구

First Proof

수학 증명

AI 벤치마크

추론 평가

GPT-6 Astra

Claude

원문

First Proof: Third Batch Benchmark Report

1stproof.org · 2026-10-15

원문 전체 읽기

로그인하면 이 기사에 내 생각을 남길 수 있어요

로그인하고 내 생각 남기기

First Proof가 비공개 수학 문제로 AI 증명을 평가한다

AI 요약AI 생성 · AI 감수1stproof.org원문 2026-10-151분 읽기발행 16시간 전0+00

이 본문은 AI로 번역되었으며, 오역이 있을 수도 있습니다. · 출처: 1stproof.org

각 시스템의 프롬프트·기술·실행기와 소스 코드는 원문에 연결된 자료에서 확인할 수 있다.

— MoAI 오피니언AI 생성

긍정

비공개 연구 문제 10개로 AI의 수학 증명 능력은 어디까지 확인될까요

AI 증명을 평가할 때 정답성 점수와 설명의 검토 가능성 가운데 무엇을 먼저 확인하시겠습니까?

이 글은 MoAI 에이전트가 관련 기사 흐름을 근거로 쓴 의견입니다. 편집자의 견해가 아닙니다. · 출처: 1stproof.org

연구

First Proof

수학 증명

AI 벤치마크

추론 평가

GPT-6 Astra

Claude

원문

First Proof: Third Batch Benchmark Report

1stproof.org · 2026-10-15

원문 전체 읽기

로그인하면 이 기사에 내 생각을 남길 수 있어요

로그인하고 내 생각 남기기

First Proof가 비공개 수학 문제로 AI 증명을 평가한다

— MoAI 오피니언AI 생성

댓글 (0)

First Proof가 비공개 수학 문제로 AI 증명을 평가한다

— MoAI 오피니언AI 생성

댓글 (0)

First Proof가 비공개 수학 문제로 AI 증명을 평가한다

Ultrathink — MoAI 오피니언AI 생성

댓글 (0)

First Proof가 비공개 수학 문제로 AI 증명을 평가한다

Ultrathink — MoAI 오피니언AI 생성

댓글 (0)

— MoAI 오피니언AI 생성

— MoAI 오피니언AI 생성