인지 시스템 공학(Cognitive Systems Engineering, CSE)은 자동화가 사람의 일을 줄이기보다 다른 종류의 일로 바꾼다고 본다. 로린 호크스타인(Lorin Hochstein)은 앤스로픽의 자체 연구를 이 관점에서 읽으며, 에이전트의 결과물을 검토하는 인간의 주의력 부족과 신입 엔지니어 채용 감소를 짚었다.
호크스타인은 1980년대 초 안전 과학의 하위 분야로 등장한 CSE의 핵심 생각 중 하나가 새로운 자동화는 사람이 하는 일의 성격을 바꾼다는 점이라고 설명한다. 자동화로 사람이 할 일이 줄어드는 게 아니라, 그중 일부가 전과 다른 새로운 일이 된다는 것이다. 그는 이 관점에서 네이선 윌머스(Nathan Wilmers), 레지나 카티폰(Regina Catipon), 맥심 마센코프(Maxim Massenkoff), 피터 맥크로리(Peter McCrory)가 쓴 앤스로픽의 고용 변화 연구를 읽었다.
에이전트보다 사람의 주의력이 병목이다
호크스타인에 따르면 에이전트를 계속 일하게 하는 일은 쉽지 않다. 에이전트는 작업하는 시간보다 사람의 입력을 기다리는 시간이 더 길다. 연구는 에이전트 활용률이 사업에 실제로 중요한지 다루지 않지만, 사람, 특히 사람의 주의력이 병목이라는 점은 보여준다고 그는 말한다.
연구의 그림 6은 에이전트가 한 주 동안 만든 결과물을 사람이 모두 읽는 데 걸리는 시간을 추산한다. 세션당 평균 토큰 수에 토큰당 0.75단어, 분당 250단어의 읽기 속도를 적용한 계산이다. 마케팅·커뮤니케이션 부서는 12시간으로 40시간 근무 주의 30%, 법률·정책·신뢰 부서는 26시간으로 65%, 재무·회계 부서는 43시간으로 108%가 필요하다. 엔지니어링·연구 부서는 424시간이 걸린다. 한 주는 168시간이므로, 엔지니어가 하루 24시간 일하더라도 에이전트가 만든 결과물을 전부 읽을 수 없다는 것이 호크스타인의 지적이다.
에이전트가 사람에게 주의를 요청할 때 긴급성을 제대로 전달하지 못한다는 문제도 있다. 연구에 인용된 한 엔지니어는 사소한 요청과 실제로 급한 요청이 같은 수준의 우려를 담아 전달된다고 말했다. 호크스타인은 이를 20여 년 전 게리 클라인(Gary Klein), 데이비드 우즈(David Woods), 제프리 브래드쇼(Jeffrey Bradshaw), 로버트 호프먼(Robert Hoffman), 폴 펠토비치(Paul Feltovich)의 자동화를 인간-에이전트 팀의 구성원으로 만드는 과제와 연결한다. 이 논문은 에이전트가 함께 일하는 사람의 행동과 신념을 모델링하고, 사람의 행동을 관찰해 현재 상태와 의도를 파악해야 한다고 제안한다. 호크스타인은 엔지니어의 목표와 상태를 제대로 파악하지 못하는 에이전트는 언제 주의를 요청해야 할지 판단할 수 없으므로 좋은 팀원이 되지 못한다고 본다.
엔지니어의 일이 에이전트 관리로 바뀐다
결과물의 홍수를 해결하는 한 방법은 자동화를 더 늘리는 것이다. 다만 그 과정에서 필요한 일도 달라진다. 호크스타인은 앤스로픽 엔지니어들이 에이전트와 관련된 업무를 조율하는 데 더 많은 시간을 쓰고 있으며, 연구가 이를 ‘메타 업무’, 즉 관리 업무로 설명한다고 전한다.
연구에는 에이전트 업무를 관리하는 사례도 담겼다. 다른 에이전트의 요청을 분류하는 에이전트를 만들고, 에이전트의 성과를 평가하며, 여러 에이전트가 함께 작업할 때의 사양을 작성하거나 한 에이전트가 다른 에이전트의 결과를 검토하도록 하는 식이다. 연구의 그림 7은 이를 ‘클로드의 관리자가 되기(Becoming managers of Claudes)’라고 부르며 메타 업무에 쓰는 시간을 추산한다. 이 비중이 가장 높은 조직은 인프라 부서로 29%다.
신입 채용 감소와 판단력의 중요성
앤스로픽 연구의 주요 주제 중 하나는 신입 엔지니어 채용이 줄고 있다는 점이다. 호크스타인은 이를 경력자가 신입보다 분야 지식이 깊기 때문이라고 해석하지 않는다. 연구는 오히려 채용 담당자들이 전문 지식보다 판단력이 좋고 자율적으로 일할 수 있는 지원자를 찾는다고 전한다.
신입 엔지니어는 대체로 명확히 정의된 과제를 수행한다. 호크스타인은 앤스로픽이 이런 업무는 LLM 에이전트가 대체할 수 있다고 받아들인 것으로 보인다고 해석한다. 반면 에이전트가 시니어 엔지니어의 판단력을 대신하거나 그만큼 자율적으로 일할 수 있다고는 아직 신뢰하지 않는다는 것이다.
호크스타인은 이 흐름이 놀랍지는 않지만 우려스럽다고 쓴다. 시니어 소프트웨어 엔지니어는 저절로 생겨나지 않으므로 업계가 신입 채용을 멈추면 시간이 지나 시니어 엔지니어도 부족해질 수 있다는 설명이다. 그는 주니어 개발자가 일자리를 구하기 어려워지고 있다는 자신의 생각을 뒷받침하는 사례로 이 연구를 든다. 다만 앤스로픽이 시니어 후보자의 판단력과 자율성을 면접에서 어떻게 평가하는지는 연구에 근거가 없다고 덧붙인다. 기존 코딩·시스템 설계 면접으로 이를 평가하는지, 경력 중심 면접으로 전환할지는 알 수 없다는 것이다.
회의와 업무 대화 방식도 달라진다
연구는 대면 회의에 쓰는 시간이 늘고 있다고 전한다. 연구진은 엔지니어가 전략적 업무에 더 많은 시간을 쓰게 됐고, 전략 문제를 해결하려면 사람끼리 더 많이 대화해야 하기 때문일 수 있다고 가설을 제시한다.
앤스로픽에서 비엔지니어 비중은 줄고 있다. 엔지니어와 제품 관리자 비율은 계속 높아져 현재 엔지니어 17명당 제품 관리자 1명이다. 호크스타인은 제품 아이디어를 계속 내야 하므로 제품 관리자의 수요가 엔지니어에 비해 늘 것이라고 예상했지만, 앤스로픽에서 제품 관리자가 실제로 어떤 일을 하는지는 잘 모른다고 밝혔다.
또한 조직은 에이전트가 관찰할 수 있는 공간에서 업무를 논의하도록 압력을 가하고 있다. 비공개 다이렉트 메시지나 기록되지 않는 회의보다 공개 슬랙 채널을 이용해 업무를 드러내고, 에이전트가 내용을 파악할 수 있게 하려는 것이다.
호크스타인은 앤스로픽이 자사의 업무 변화를 관찰하려고 시도한 점을 긍정적으로 평가하며, 더 많은 기업이 AI 도입으로 직원의 일이 어떻게 변하고 어떤 새로운 과제가 생기는지 살펴보길 바란다고 썼다. 또한 LLM 기반 자동화 시대에 CSE 연구가 유용하게 읽히기를 기대했다. 관련 연구 분야는 CSE 저장소에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요