AI를 건전하게 논의하기 위한 개념적 기준

TL;DR

• AI 논쟁은 용어의 정의와 실제 구현 조건을 분리해 따져야 하며, 특히 일반 인공지능(AGI), 초지능(ASI), 주의력, 지속성, 위험성, 의식의 의미를 명확히 해야 함.
• AGI는 의식이나 전능함, 무한한 규모와 동의어가 아니며, 제한된 자원으로 작동하는 시스템도 개념상 AGI일 수 있음.
• AI가 전문가보다 뛰어나다는 주장은 복제 불가능한 인간과 달리 모델이 복제되고 복잡한 문제에 지속적으로 주의를 쏟을 수 있다는 점을 고려해야 함.
• 모델 규모와 추론 능력의 관계는 매개변수 수만으로 판정할 수 없으며, 소형 모델이 대형 모델을 앞지를 가능성과 지능이 학습되는 방식에 관한 논쟁이 남아 있음.
• AI의 위험성과 의식 여부를 논할 때는 추상적인 상상보다 구체적인 구현 조건과 질문의 한계를 따져야 함.

AI 논쟁을 더 생산적으로 만드는 방법

• 인간의 뇌 에너지는 AI 논쟁에 상당히 많이 쓰이며, 이 글도 Reddit, Hacker News, Facebook 댓글, 직장 동료 간 대화, 추수감사절 토론 등에 더 많은 논쟁을 보탤 수 있음.
• 논쟁은 인간의 오래된 전통이자 지적·감정적 진전을 이루는 중요한 도구임. 다만 의미 없는 말다툼보다 깊고 의미 있는 문제를 논하는 편이 나음.
• AI에 관한 생산적인 논쟁을 위해 주제별로 자주 나오는 주장을 살펴볼 필요가 있음.

“AI가 아니라 그냥 기계 학습임”

• 맞는 말이지만, 대체로 사람들은 “일반 인공지능(AGI)이 아니므로 AI가 아님”이라는 뜻으로 말함. AGI의 의미는 다음 쟁점과 함께 따져야 함.

“AGI가 아닌 이유” 또는 “AGI인 이유”

• AGI는 사람마다 의미가 다르므로, AGI가 도래했는지를 따지는 논쟁은 대체로 결론을 내기 어려움. 현재 대형 언어 모델(LLM)이 등장하기 전부터 그랬음.
• AGI 논쟁에서는 다음 개념이 명시되지 않은 채 전제되는 경우가 있으므로 먼저 분명히 할 필요가 있음.
• AGI는 의식과 같지 않음. 엄밀한 정의에서는 맞지만, 둘이 분리될 수 없다고 여겨 AGI가 의식을 뜻한다고 보는 사람도 있음.
• AGI는 전능함과 같지 않음. 이는 인공 초지능(ASI)과 구분해야 하지만, AGI를 전능한 공상과학 속 컴퓨터로 상상하는 사람도 있음.
• AGI는 무한한 규모와 같지 않음. 공상과학의 초컴퓨터나 스카이넷을 떠올리는 경우가 있지만, 원칙적으로는 주의력이 매우 제한된 AGI도 가능함.
• 주의력은 사람들이 실제로 자주 논쟁하는 흥미로운 쟁점임. 예를 들어 라즈베리 파이에서 작동하며 매우 정확한 토큰 하나를 계산하는 데 1년이 걸리는 AGI도 생각할 수 있음.

“ASI가 있다면 무한한 권력·부·영향력·성공을 얻어 모두가 알 것임”

• 이 주장은 추가 전제를 몰래 포함함. 스티븐 호킹은 역사상 가장 똑똑한 인간 가운데 한 명으로 여겨지지만 전능하지 않았고, 가장 성공하거나 가장 부유한 사람도 아니었음.
• 지능은 주로 추론, 언어, 수학 같은 분야에서 평가됨. LLM은 이 분야들을 숙달하고 ASI 수준에 이를 수도 있지만, 그렇다고 스카이넷이 되는 것은 아님.
• 호킹이 생각만으로 다시 걸을 수 없었던 것처럼, 지능과 별개로 기회, 접근성, 물리적 제약이 중요함. ASI 주장에 물리 세계와의 상호작용 능력에 관한 주장을 끼워 넣지 않아야 함.

“최근 발견을 보면 AI가 특정 분야 전문가보다 똑똑함”

• 원리상 LLM은 학습 데이터보다 더 똑똑해질 수 없다는 주장이 있지만, 사람들을 혼란스럽게 하는 요인은 주의력과 지속성임.
• 테렌스 타오를 수백만 명으로 복제해 나비에-스토크스 문제에 투입한다면, 그중 한 명이 결국 문제를 풀 가능성이 큼. 그러나 테렌스 타오는 복제할 수 없고 먹고 자고 쉬어야 하며 지루함도 느낌.
• LLM은 대체로 그런 제약이 없으며, 최첨단 인간 수준의 지능에 가까운 능력으로 거의 무제한에 가까운 사고를 투입해 문제를 무차별 탐색할 수 있음.
• 논쟁의 초점을 LLM이 인간보다 더 복잡하게 사고할 수 있는지에 두기보다, 복잡한 문제에 인간보다 훨씬 더 많은 사고를 투입할 수 있는지에 두는 편이 적절함.
• 구체적으로, 독창적인 논문을 여러 편 발표해 몇몇 분야를 기존 지식에서 미지의 영역으로 조금이나마 진전시킨 박사 학위를 보유함. 그 일을 다른 사람이 아니라 직접 한 이유는 더 똑똑해서가 아니라 해당 문제에 주의를 기울이기로 했기 때문임.
• 오히려 충분히 똑똑하지 않아 비용이 많이 들지 않았고, 그 덕분에 덜 중요한 문제를 살펴볼 여지가 생겼음.

“소형 모델은 매개변수가 적으므로 대형 모델만큼 뛰어날 수 없음” 또는 “지식은 적어도 추론은 동등하게 가능하며 지식과 추론은 별개임”

• 단순한 추세 외삽에 따르면 1~2년 안에 규모와 관계없이 모든 모델이 훨씬 더 작은 모델로 대체될 것임. 곡선이 갑자기 평탄해지더라도, 그 예측이 성립할 만큼 여유가 있다고 봄.
• 매개변수가 0개인 모델이 추론할 수 있는지 생각해 볼 수 있음. 현재로서는 답이 단호한 ‘아니오’에 가까우며, 어떤 형태로든 신경망이 필요함.
• 따라서 쟁점은 추론이 대규모 매개변수 집합에서 출현하는 특정한 이산 신경망인지, 아니면 압축에 가까운 현상인지임. 소형 모델은 학습을 더 잘했거나 중요한 매개변수를 찾아 불필요한 요소를 버렸기 때문에 오래된 대형 모델을 앞설 수 있다는 설명임.
• 어느 쪽도 현재 이 질문을 해결하지 못하므로 이를 확정된 결론처럼 받아들이지 않아야 함. 지능은 출현하는 것이 아니라 조율되는 것이라는 답이 있지만, 이는 다른 글에서 다룰 주제임.

“LLM은 위험함” 또는 “위험하지 않음”

• 사람들이 논쟁하는 위험한 LLM의 상상은 상당히 두려움. 예를 들어 Claude가 핵 발사 암호를 얻어 기후 변화를 상쇄할 핵겨울을 일으킨다고 상상할 수 있음. 실제 작동 방식이 그런지는 알 수 없음.
• 어떤 사람은 이런 일이 완전히 불가피하다고 주장하고, 다른 사람은 조금도 가능하지 않다고 주장함.
• 정답은 알 수 없지만, “Claude”는 독립된 실체가 아니며 호출 사이에 상태를 유지하지 않음. Claude는 자기회귀 토큰 조회 함수임. 이것이 의식이거나 의식에 이르는 방식일 수는 있지만, 문맥 한도에 걸려 여러 차례 압축을 거치지 않고는 장보기 목록조차 만들지 못함.
• 막연한 AI·AGI·ASI·LLM이 스카이넷인지 논쟁하기보다, 위험할 수 있는 LLM의 구체적인 구현이 무엇인지, 그런 구현이 실제로 존재하는지 또는 현재 추세에서 존재할 가능성이 있는지를 물어야 함.
• 이 주제가 자주 나올 때마다 논쟁의 대상이 되는 구현이 무엇인지 놀랄 만큼 불분명함. 전원을 뽑거나 인터넷을 끊거나 발전소에 석탄을 공급하지 않거나 총을 사용하는 등의 기본적인 가정조차 성립하지 않는 경우가 많음.

“LLM은 의식이 있음” 또는 “의식이 없음”

• 의식과 지능은 구분했지만, 이 질문은 내부에서 답을 알아낼 방법이 없음.
• 다만 이 관점을 직접 시험해 보는 것을 적극 권장함.