TL;DR

  • Hutter Prize에서 단일 범용 CPU 코어로 실행되는 세 항목이 1GB 위키백과 데이터 압축 기록을 거의 10% 끌어올려, 대회 20년 역사상 최대 진전을 기록함.
  • 검증 데이터 없이 공개된 전체 파일을 압축하고 복원 프로그램 크기까지 점수에 반영해, 데이터 누출이나 단순 암기가 기록을 부풀리기 어려운 평가 방식임.
  • 각 항목은 단일 CPU 코어, 약 50시간, 메모리 10GB 미만의 동일한 연산 조건에서 실행됨.
  • Ibrahim Marcouch와 Kaido Orav, David Freelanc, Vladimir Ivanov가 순차적으로 기록을 개선했으며, 세 상금의 합계는 거의 5만 유로임.
  • 상금은 현재 기록보다 최소 1% 개선할 때마다 50만 유로의 1%이며, 다음 기록 경신도 같은 기준으로 평가됨.

AI 투자 규모가 커지는 가운데 20년 만의 최대 기록 경신

  • 2026년 9월 30일, 데이터센터와 전력 투자에 수조 달러가 걸린 상황에서 Hutter Prize for Lossless Compression of Human Knowledge가 데이터 누출로 점수가 부풀려질 수 없는 벤치마크에서 20년 역사상 가장 큰 진전을 시상함.
  • 세 항목이 함께 기록을 거의 10% 개선했으며, 각 항목은 범용 CPU 코어 하나로 1GB 위키백과 스냅샷을 10분의 1 미만 크기로 압축함.
  • 2006~2026년 Hutter Prize 압축률 기록 도표의 출처는 Hutter Prize 위원회임.
  • 대부분의 AI 벤치마크는 참가자에게 공개되지 않은 검증 데이터를 사용함. 검증 데이터가 우연히 또는 다른 경로로 모델 학습 데이터에 포함되면 실제 능력 향상 없이 점수가 오를 수 있으며, 외부에서 이를 알아내기 어려움.
  • Hutter Prize는 검증 데이터를 요구하지 않음. 전체 1GB 파일은 공개되어 있으며, 점수는 복원 프로그램 크기를 포함해 파일을 얼마나 작게 압축하는지로 산정됨. 모델이 외워 둔 내용은 프로그램에 저장해야 하므로 점수에 불리하게 반영됨.
  • 이 상은 이론을 검증하는 과학처럼 예측 성능으로 지능을 측정함. 모델이 예측하지 못한 모든 비트는 저장해야 하며, 압축 파일은 실수 하나하나에 비용을 지불하는 인간 지식의 이론에 해당함.

“올해는 20년 역사상 가장 큰 진전을 기록했습니다.”

— 상의 후원자이자 2026년 저서 『Job-Less Utopia』의 저자인 Marcus Hutter. Marcus Hutter는 Google DeepMind 공동 창립자 Shane Legg의 2008년 박사 학위 논문 「Machine Super Intelligence」의 조언자이기도 함.

고정된 연산량, 향상되는 성능

  • 출품작은 범용 CPU 코어 하나에서 약 50시간 이내, 메모리 10GB 미만으로 실행되어야 함.
  • 하드웨어 예산이 고정되어 있으므로 순위표의 개선은 칩이나 전력 사용량 증가가 아니라 더 나은 알고리즘에서 비롯됨.
  • 이 결과는 기계 지능의 발전이 데이터센터 전력 수요 증가와 반드시 함께해야 한다는 가정에 대한 반론임.
  • 위원회가 자원 제한을 둔 이유는 다음 세 가지임.
  • 특수 하드웨어가 업계의 현재 가정에 연구를 편향시킴.
  • 자금력이 큰 연구소뿐 아니라 재능 있는 개인도 경쟁에 참여할 수 있음.
  • 대중이 초지능 개발 노력의 자원 소비에 점점 더 반대하고 있음.
  • 위원회는 자원 제한형 압축을 반응 시간 제한 아래에서의 의사결정 정확도에 비유함. 종 모양 곡선으로 나타내는 지능 측정과 달리 절대 척도를 사용하며, 무작정 외운 정보는 저장 크기만큼 불이익을 받음.

10년 앞서 제시한 다음 토큰 예측

  • Hutter Prize는 텍스트 예측이 지능의 핵심이라는 전제 아래 2006년에 출범했으며, 오늘날의 다음 토큰 예측 언어 모델을 10년 넘게 앞서 내다봄.
  • 위원회는 이 벤치마크와 튜링 테스트를 분명히 구분함. 튜링 테스트는 기계가 인간을 속일 수 있는지만 확인하는 반면, Hutter Prize는 초지능을 평가함.

수상작

  • Ibrahim Marcouch와 Kaido Orav: cmix-lex, 1% 개선.
  • David Freelanc: cmix-obias, 추가 1% 개선.
  • Vladimir Ivanov: fx2-cmix-T, 추가 7.5% 개선 및 신기록 수립.
  • 각 개선 폭은 직전 출품작이 세운 기록을 기준으로 측정됨. 세 상금의 합계는 거의 5만 유로임.
  • 신규 출품작이 급증해 심사에 평소보다 더 오랜 시간이 걸림. 참가자들이 초지능을 활용해 머신러닝 알고리즘을 개선하고 있으며, 이는 심사위원회를 놀라게 함. 위원회도 같은 도구로 심사 자동화를 서두르고 있음.
  • 수상 기준이 심사위원의 재량을 최소화하도록 설계되어 있어 심사 자동화가 가능함.

다음 목표

  • 현재 기록보다 최소 1% 개선할 때마다 50만 유로의 1%를 상금으로 수여함.
  • 규칙, 기록, 역대 수상자는 prize.hutter1.net에서 확인할 수 있음.

Hutter Prize 소개

  • Hutter Prize는 인간 지식의 무손실 압축 발전에 상을 수여하며, 이를 초지능을 엄격하게 측정하는 방법으로 삼음.
  • 2006년 5만 유로 규모로 출범했으며, 100MB 위키백과 스냅샷인 enwik8을 대상으로 압축률만 평가함.
  • 2020년에는 50만 유로 규모로 확대하고 1GB 스냅샷인 enwik9으로 대상을 바꿨으며, 압축 데이터뿐 아니라 압축 프로그램의 크기도 점수에 포함하기 시작함.
  • 위원회 구성은 Marcus Hutter(후원 및 판정), Matt Mahoney(대회 운영), Jim Bowery(주장 검증 및 홍보)임.
  • 언론 문의: Jim Bowery, Hutter Prize 위원회 — jabowery@gmail.com
  • prize.hutter1.net