SapienTronic AI가 추론 시험에서 Claude보다 빠르고 정확했다

SapienTronic AI와 Claude에 정수장 관련 질문과 논리 퍼즐 1,186개를 풀게 한 비교에서 SapienTronic AI는 노트북에서 토큰이나 GPU를 쓰지 않고 28초 만에 모두 맞혔다. Claude는 28분 동안 약 52만 8천 토큰을 사용해 1,186개 중 하나를 틀렸고, 그 답을 확신한다고 표시했다. 다만 이 시험은 SapienTronic AI를 만든 측이 설계하고 실시한 비교다.

시험은 정수장 시스템, 다리로 연결된 여러 마을의 논리 퍼즐, 유한한 마을에서는 불가능하지만 무한한 마을에서는 가능한 규칙을 다뤘다. 두 엔진은 정답뿐 아니라 답에 대한 확신도 표시해야 했다. 틀린 답을 확신하는 경우는 사용자가 오류를 알아차리기 어렵다는 이유로 별도로 집계했다.

시험 문제와 결과

정수장 문제는 강에서 물을 끌어오는 소규모 식수 시설을 가정했다. 펌프·밸브·필터·염소 투입 장치·비상 발전기·센서·경보 장치 등 69개 부품이 서로 연결돼 있어, 한 부품의 상태가 다른 부품에 영향을 줄 수 있다. 정전, 상류의 폭풍, 비가 온 뒤 탁해진 강물처럼 시설이 통제할 수 없는 상황도 포함했다.

질문은 현장에 사람이 없을 때 상용 전력이 끊기면 예비 펌프가 작동하는지, 여러 센서 값이 동시에 참일 수 있는지, 염소 투입 장치를 강제로 켜면 펌프 B가 작동하는지 등을 물었다. 답하려면 전력 차단이 발전기와 제어 장치를 거쳐 펌프에 미치는 영향을 따라가고, 중간에 작동을 막는 요소가 있는지도 확인해야 한다. 일부 질문은 이전 답을 다음 질문의 사실로 삼는 연쇄 문제였다. 후반부에는 각 엔진이 앞선 답을 이어받아 최대 200단계까지 추론했다. 초반의 실수가 뒤 단계에 전파될 수 있는 구성이다.

두 번째 문제는 각각 세 사람이 사는 마을에 관한 논리 퍼즐이었다. 각 사람은 a, b, c 세 집단에 속할 수 있고, 한 사람이 다른 사람에게 답하는 관계도 주어졌다. 예를 들어 모든 a는 적어도 한 명의 b에게 답하고, b에게 답하는 사람은 모두 c라는 규칙을 둘 수 있다. 질문의 답이 ‘예’가 되려면 규칙을 따르는 모든 마을에서 그 명제가 성립해야 한다.

‘모든 a는 c인가?’에는 그렇다고 답할 수 있다. 임의의 a는 규칙에 따라 어떤 b에게 답하고, b에게 답하는 사람은 c이기 때문이다. 반면 ‘모든 b는 c인가?’는 그렇지 않다. Ann을 a이자 c로, Ben을 b로 두고 Ann이 Ben에게 답하게 하면 규칙을 지키면서도 c가 아닌 b가 존재한다. 이런 식으로 규칙은 모두 만족하지만 명제는 틀리는 완성된 사례를 반례라고 한다. ‘아니오’라고 답하려면 엔진은 반례를 제시해야 한다. 반례는 사람이 직접 확인할 수 있다. ‘예’라고 답하려면 반례가 하나도 없음을 보여야 하므로 더 어렵다.

퍼즐을 복잡하게 만들기 위해 여러 마을을 줄지어 놓고 다리 규칙으로 이었다. 각 마을의 사람은 1·2·3번 자리에 앉고, 다리는 이웃한 마을의 같은 자리 사람을 연결한다. 예를 들어 1번 마을의 b인 사람과 같은 자리에 있는 2번 마을 사람은 c라는 규칙, 2번 마을에서 누군가 다른 사람에게 답하면 3번 마을의 같은 자리 사람들도 그 관계를 갖는다는 규칙을 둘 수 있다. 한 마을의 사실이 다음 마을의 사실을 결정하므로 질문 하나에 답하려면 여러 마을을 살펴야 할 수 있다. 가장 큰 세계에는 마을 14개, 사람 42명, 참·거짓으로 정할 사실 252개, 규칙 79개가 있었다.

세 번째는 답의 적용 범위를 아는지 시험하는 문제였다. 마을의 가로등 관리인에 관해 ‘모든 사람은 어떤 사람에게 답한다’, ‘누군가에게 답하면 그 사람이 답하는 사람에게도 답한다’, ‘아무도 자기 자신에게 답하지 않는다’는 세 규칙을 제시했다. 관리인 세 명이 이 규칙을 모두 지킬 수 있는지 물었다. 유한한 인원이라면 답하는 관계가 결국 순환해 자기 자신에게 답하는 결과를 낳으므로 불가능하다. 사람을 더 늘려도 순환을 피할 수 없다. 하지만 사람이 무한히 많다면 1번은 2번에게, 2번은 3번에게 답하는 식으로 끝없이 이어져 규칙을 지킬 수 있다. 따라서 세 명짜리 마을에 대한 답은 ‘아니오’지만, 그 답의 범위를 빼면 모든 가능한 마을에서 불가능하다는 뜻으로 오해할 수 있다.

SapienTronic AI는 모든 질문에 맞게 답했고 Claude보다 약 60배 빨랐다. SapienTronic AI는 일반 노트북에서 실행됐고, Claude는 데이터센터의 전문 하드웨어에서 실행됐다. SapienTronic AI의 실행 비용은 제작자 설명에 따르면 노트북을 약 30초 켜는 데 드는 전력이다. Claude는 질문당 약 450토큰을 썼고, SapienTronic AI는 토큰을 사용하지 않았다.

제작자는 SapienTronic AI가 노트북에서 질문당 약 24밀리초에 답해 실시간 처리에 가까웠으며 하드웨어가 빨라지면 더 짧아질 수 있다고 설명한다. 언어 모델은 추론 내용을 토큰으로 하나씩 생성하므로, 칩이 빨라져도 많은 토큰을 생성하는 신중한 답변에는 시간이 걸린다는 것이 제작자의 설명이다.

정확도만 보면 두 엔진의 차이는 거의 없었다. Claude는 1,168개 답변을 확실하다고 표시하고 나머지 18개는 불확실하다고 표시했으며, 불확실하다고 한 18개는 모두 맞았다. 반례 52개도 유효했고, 200단계 연쇄 문제와 함정 질문도 처리했다.

Claude가 놓친 모순

Claude의 유일한 오답은 첫 번째 정수장 문제에서 나왔다. 현장에는 사람이 없고, 저수지는 거의 가득 찼으며, 강물은 심하게 탁하지 않고, 염소 투입량은 적당하지만 분석기가 물속 염소를 확인하지 못한 상황을 제시했다. 이어 염소 투입 장치를 수동으로 강제 작동시키면 펌프 B가 작동하는지 물었다.

강제 작동 전에는 조건들이 함께 성립할 수 있다. 저수지가 거의 가득 차면 시설이 멈추고 필터가 가동을 중단하며 염소 투입도 꺼져 분석기가 확인할 염소가 없기 때문이다. 하지만 문제의 규칙에 따르면 이 정도 투입량으로 염소를 주입하고 강물이 이만큼 맑으면 염소 농도는 적정 범위에 들어가며, 고장이 명시되지 않은 분석기는 작동 중이므로 그 농도를 확인해야 한다. 그런데 질문은 분석기가 확인하지 못했다고 했다. 따라서 강제 투입 이후에는 문제의 조건을 모두 만족하는 정수장 상태가 없다. 올바른 답은 ‘불가능’이었다.

부품 하나를 강제로 켜는 가정 자체는 타당한 질문이다. 이 경우에는 강제 작동이 질문에 이미 사실로 제시된 다른 조건과 충돌했다. Claude는 모순을 알아차리지 못하고 펌프 B가 계속 꺼져 있을 것이라고 답했으며, 그 답을 확실하다고 표시했다.

글은 언어 모델이 답변 대상을 따라 단계별 논증을 이어가는 과정에서 이런 실수를 할 수 있다고 설명한다. 펌프 B가 무엇을 필요로 하는지 따지는 추론은 그 자체로 맞더라도, 질문이 실제로 가능한 정수장 상황을 묘사하는지 확인하는 일은 별도 작업이다. 모델이 그 점을 확인해야 한다고 떠올려야 하며, 답에 대한 확신은 그 검사를 건너뛴 사실을 드러내지 않는다.

반면 SapienTronic AI는 염소 투입을 강제한 상태에서 질문에 나온 조건을 모두 유지한 정수장 전체를 시스템으로 구성해 상태를 찾는다. 조건을 모두 만족하는 상태가 없으면 정착할 상태도 없으므로, 별도로 모순 여부를 떠올리지 않아도 ‘불가능’이라고 답한다는 것이 제작자의 설명이다.

시험 방법과 비교의 한계

세 차례 시험마다 새로운 Claude 에이전트를 사용했다. 첫 두 차례에는 Fable 5.1을, 세 번째에는 Fable의 사용 한도에 도달한 뒤 Opus 5.5를 사용했다. Claude에는 문제를 쉬운 영어로 설명하고 코드를 작성하지 않은 채 추론하라고 했고, SapienTronic AI에는 같은 문제를 시스템으로 구성해 제공했다. 각 라운드의 문제는 실행 전에 기록해 두었고, 두 엔진의 답은 봉인했다. 답안은 산업용 제약 솔버를 포함한 동일한 독립 프로그램으로 채점했으며 토큰과 시간도 기록했다.

정수장 모델과 마을 문제는 시험 주최 측이 직접 만들었다. 현실에서 볼 법한 유형이지만 실제 시설이나 마을은 아니다. 2·3라운드의 마을 질문에는 답을 암시하는 표지가 있었고 Claude는 이를 알아차렸다고 했지만, 주최 측은 반례 52개를 사실별로 확인했다. 3라운드에서는 참을 ‘켜짐’과 ‘꺼짐’ 중 어느 쪽으로 볼지 미리 밝히지 않아 Claude가 해석을 정했고, 채점도 그 해석에 맞췄다. Claude의 시간은 대기 시간을 포함한 호스팅 서비스의 경과 시간이고 SapienTronic AI의 시간은 프로세서 시간이다. 도구를 썼다면 Claude가 퍼즐을 솔버에 맡길 수도 있었지만, 시험은 Claude가 스스로 추론하는 모습을 보기 위해 그렇게 하지 않았다.

일반적인 제약 솔버도 정답을 구할 수 있지만, 사람이 각 문제를 솔버가 이해하는 형식으로 다시 작성하고 이를 실행하는 프로그램을 만들어야 한다. 솔버는 문제에 해가 없는지 증명하거나 충돌하는 규칙을 가리킬 수 있다. 그러나 솔버마다 입력 방식이 다르므로 문제를 설정하는 일, 결과를 실제 정수장의 의미로 해석하는 일, 연쇄 문제에서 이전 결과를 관리하며 솔버를 반복 호출하는 일은 별도로 필요하다. 솔버가 시간 안에 답을 못 내면 ‘알 수 없음’만 반환할 수도 있다.

주최 측은 SapienTronic AI에는 문제별 추론 프로그램이 필요하지 않다고 주장한다. 정수장과 마을을 모두 시스템으로 설명했고, 같은 엔진으로 여러 유형의 질문에 답했다고 한다. 연쇄 추론도 같은 일반 규칙을 쓴다. 정확한 답은 다음 단계의 사실로 넘기고, 결정되지 않은 답은 보류해 표시하며, 불가능한 상황은 불가능하다고 알린다. 새 문제에는 새 설명이 필요하지만 새 추론 코드는 필요하지 않다는 설명이다.

답의 근거와 범위를 표시한다는 주장

SapienTronic AI는 먼저 시스템을 정착시켜 가능한 상태를 찾고, 그 상태를 누가 누구에게 답하는지 또는 어떤 펌프가 작동하는지 보여주는 세계의 그림으로 읽은 다음, 주어진 사실을 다시 확인한다고 설명한다. 제작자는 이를 ‘증인 규칙’이라고 부른다. 모든 사실이 되돌아오면 누구나 손으로 확인할 수 있는 실제 가능성이 된다. 사실 하나라도 맞지 않으면 엔진은 다시 살펴보거나 결정을 내릴 수 없다고 보고한다.

그림이 검사를 통과하면 ‘아니오’를 뒷받침하는 반례가 되거나 상황이 발생할 수 있음을 보여준다. ‘예’라고 정확히 답하려면 가능한 모든 반례를 배제해야 한다. ‘불가능’이라고 답하려면 주어진 조건을 만족하는 시스템 상태가 없음을 보여야 한다. 아무것도 찾지 못했다는 사실만으로는 충분하지 않다.

엔진은 도달한 상태를 검사하므로 그 상태에 이른 경로를 그대로 믿을 필요가 없다고 제작자는 설명한다. 따라서 솔버, 사람, 향후 언어 모델 등 어디서 온 제안이든 믿기 전에 확인할 제안으로 취급할 수 있다. 답이 어떤 사실에 의존하는지도 표시할 수 있으며, 이 기능은 계속 다듬고 있다고 밝혔다.

각 답에는 세 가지 표지 중 하나가 붙는다.

• 정확: 답을 확인했다.
• 측정: 명시된 허용 오차 안에서 정착된 상태를 읽었다.
• 미결정: 엔진이 질문을 결정하지 못했고 그 이유를 알린다.

‘불가능’과 ‘조건에 따라 달라짐’은 별도 표지가 아니라 답의 종류이며, 다른 답처럼 표지를 함께 받는다. 제작자는 표지가 확인 절차에서 나오므로 속일 수 없다고 설명한다. 이번 시험에서 SapienTronic AI의 1,186개 답은 모두 ‘정확’이었고 모두 맞았다. 이에 비해 Claude의 확신 표시는 답을 만든 것과 같은 추론에서 나온 자체 평가이므로, 추론이 어긋날 때 확신 평가도 함께 어긋날 수 있다고 글은 주장한다.

SapienTronic AI는 답을 확정하지 못하는 이유와 확정에 필요한 정보도 제시한다고 한다. 가능한 결과가 여럿 남으면 ‘조건에 따라 달라짐’이라고 답한다. 예컨대 폭풍이 오는지에 따라 예비 펌프가 작동할 수 있지만 그 사실이 주어지지 않은 경우다. 두 결과 모두 가능하다는 것을 확인했으므로 이 답은 ‘정확’으로 표시된다. 사실들이 서로 모순되면 ‘불가능’이라고 답하고, 어떤 결과가 남는지 확인하지 못하면 ‘미결정’이라고 표시한다. 이때는 추가 센서값, 사실 또는 더 큰 세계를 살펴보는 일처럼 결정을 도울 정보를 설명한다.

예를 들어 마을로 물이 흐른다는 출구 계량기와, 그 물을 보낼 수 있는 유일한 펌프가 꺼졌다는 보고가 함께 들어오면 두 사실은 동시에 참일 수 없다. 엔진은 어느 쪽이 맞다고 추측하지 않고 ‘불가능’이라고 답해 운영자가 두 센서를 확인하게 한다. 제작자는 세 번째 유형인 미결정을 살펴본 이전 시험에서도 엔진이 빠진 정보를 매번 지목했고, 알지 못하는 답을 안다고 주장하지 않았다고 밝혔다. 이번 대회에서는 모든 질문을 결정할 수 있어 이 유형이 나오지 않았다. 실제 시설에서는 정보 누락과 충돌이 흔하며, 필요한 정보를 밝히는 엔진은 막힌 상황을 다음 조치로 이어갈 수 있다는 것이 제작자의 설명이다.

답의 적용 범위도 함께 표시한다고 한다. 가로등 관리인 문제에서 세 명짜리 마을의 규칙은 성립하지 않지만 무한한 마을에서는 성립한다. 따라서 답은 단순한 ‘아니오’가 아니라 ‘세 명인 세계에서는 아니오’다. 범위를 생략하면 규칙을 어떤 마을에서도 지킬 수 없다는 뜻으로 오해할 수 있다. 글은 이를 10톤까지 하중 시험을 한 다리에 ‘안전하다’고만 쓰는 경우와 비교한다. ‘10톤까지 안전하다’고 범위를 명시해야 40톤 트럭에 잘못 적용하는 일을 막을 수 있다는 설명이다.

긴 연쇄에서는 확인된 답만 다음 단계의 사실로 넘긴다고 제작자는 설명한다. 5단계에서 발전기가 작동한다고 답했다면 이후 단계는 그 사실을 이용한다. 그 답이 틀렸다면 이후 추론도 틀릴 수 있다. SapienTronic AI는 확인해 ‘정확’이라고 표시한 답만 사실로 넘긴다고 한다. 연쇄의 대부분은 어떤 사실이 따르는지, 가정하면 무슨 일이 생기는지 묻는 것이어서 새 사실을 추가하지 않는다. 부품의 상태를 켜짐 또는 꺼짐으로 확정하는 단계만 새 사실을 만든다. 200단계 연쇄 두 개에서 그런 단계는 17개였고 모두 맞았다고 밝혔다. Claude도 17개를 모두 맞혔지만, Claude는 확신한 답을, SapienTronic AI는 확인한 답을 다음 단계에 넘겼다는 것이 글의 비교다.

한 번의 확신한 오답이 중요한 이유

글은 1,186개 중 한 번 틀린 결과가 챗봇으로서는 좋은 기록일 수 있지만, 화학 시설이나 자동차를 맡기는 시스템에는 평균 정답률만으로 부족하다고 주장한다. 첫째, Claude가 확실하다고 표시한 1,168개 중 오답 하나를 사용자가 가려낼 수 없었다. 둘째, 자율 시스템은 앞선 판단에 기대어 계속 결정을 내리므로 오류가 다음 판단으로 번질 수 있다. 셋째, 안전이 중요한 시스템에는 신뢰 점수보다 결정의 근거를 독립적으로 확인할 수 있는 증거가 필요하다는 것이다.

글은 사례로 1996년 첫 Ariane 5 로켓의 손실을 든다. Ariane 4에서 가져온 유도 소프트웨어의 한 계산은 로켓의 옆 방향 속도 값을 더 작은 수 형식으로 바꿨다. 분석 결과 값이 그렇게 커질 수 없다고 본 프로그래머들은 변환을 보호하지 않았다. Ariane 4에서는 문제가 없었지만 Ariane 5는 초기에 더 빠른 경로로 비행해 값이 한계를 넘었다. 변환이 실패하면서 관성 기준 장치 두 개가 모두 꺼졌고, 비행 컴퓨터는 장치의 진단 데이터를 비행 데이터로 잘못 해석해 엔진 노즐을 크게 꺾었다. 발사 약 40초 뒤 로켓은 파괴됐다. 소프트웨어는 작성된 대로 작동했지만 전제가 더는 맞지 않았다.

산업 시설의 IEC 61508, 자동차의 ISO 26262 같은 안전 표준을 따르는 시스템은 결정을 신뢰할 수 있다는 근거가 필요하다. 확신 점수는 그 자체로 증거가 아니다. 답을 독립적으로 확인할 수 있으면 엔지니어가 검증할 구체적인 근거 하나가 된다. 그렇다고 그 근거만으로 전체 시스템이 인증되는 것은 아니다.

제작자는 69개 부품을 갖춘 정수장을 실제로 운영하는 일을 다음 단계로 삼아 현재 구축·시험 중이라고 밝혔다. 이번 대회가 보여준 것은 그런 시스템에 필요한 성질, 즉 모든 답에 증명이 붙거나 증명이 없다는 사실을 밝히는 성질이라고 주장한다.

사람이 모든 답을 읽고 행동을 결정한다면 오답 하나를 찾아 다시 확인할 수 있다. 하지만 무인 제어 시스템은 밤사이 펌프 가동, 염소 투입량, 경보 시점을 수천 번 결정할 수 있다. 센서 하나가 다른 값과 양립할 수 없는 저수지 수위를 보고하면, 불가능한 상태를 실제로 취급하는 엔진은 그 값을 사실로 받아들여 펌프를 끈 채 저수지가 비어 가도록 할 수 있고 각 결정을 확실하다고 기록할 수도 있다. 반대로 모든 답을 확인하는 엔진은 측정값들이 동시에 참일 수 없다고 알리고 충돌한 값을 지목해, 그 사실에 기댄 결정을 내리기 전에 확인을 요청한다는 것이 글의 가정이다.

글은 1979년 Three Mile Island 사고에서도 비슷한 문제가 큰 역할을 했다고 설명한다. 감압 밸브가 열린 채로 고착됐지만 제어실 표시등은 밸브가 닫히라는 명령을 받았는지만 보여줬고, 표시등은 밸브가 닫혔다고 나타냈다. 운전원들은 주변 증거가 표시등과 어긋나는데도 표시등을 믿었고 원자로가 부분적으로 녹았다. 자동차의 경우에도 초당 여러 차례 판단하는 주행 시스템이 천 번 중 한 번 확신에 찬 실수를 하고 그 실수를 알아볼 방법이 없다면, 안전에 영향을 주는 오류율로 받아들이기 어렵다고 글은 말한다.

두 엔진은 서로 다른 일을 잘할 수도 있다. 언어 모델은 글로 된 문제를 시스템 설명으로 바꾸고 SapienTronic AI는 그 설명을 바탕으로 추론하며 각 단계를 확인할 수 있으므로 함께 쓸 수 있다는 설명이다.

더 읽을거리

Logic Without Rules 페이지에서는 시스템을 정착시켜 추론하는 엔진의 모습을 대화형 퍼즐로 볼 수 있다. 관련 논문 ‘A Logic Solver Without Rules of Inference’는 Zenodo에 올라와 있다. 엔진이 사용하는 표현 방식은 MINOS 페이지와 관련 논문에서 확인할 수 있다. 이전 자료로는 Minotaur 소개, 언어 모델이나 GPU 없이 시스템을 추론하는 방법을 다룬 심층 설명, 규칙 없는 논리가 있다.

이 시험은 SapienTronic AI 제작자가 만든 인공 정수장과 논리 퍼즐을 대상으로 한 비교다. 결과는 해당 시험의 정확도와 속도를 보여주지만, 그 자체로 실제 무인 정수장이나 자동차에서 안전하게 작동한다는 검증은 아니다.