TL;DR

  • Symisc Systems가 20명이 넘는 우수 대학 출신 공학 학생들을 관찰한 결과, 일부 학생은 챗봇의 반복적인 안내 없이는 기본적인 함수 구현에 어려움을 겪는 모습임.
  • 관찰 대상 학생들이 사용한 도구는 ChatGPT 또는 Z.ai의 GLM 모델이었으며, Anthropic의 Claude 사용자는 보이지 않았고 이는 공식 설문 결과가 아님.
  • Think-Act Desktop Agent의 대시보드 과제에서 학생은 Redis에 저장된 JSON 통계를 백엔드에서 가져와 순수 JavaScript로 화면에 표시해야 했음.
  • 과제 완수뿐 아니라 입력을 살펴보고 구현 방식을 결정하는 연습이 중요하며, 챗봇이 모든 단계를 제공하면 학생이 실제로 얼마나 학습하는지 파악하기 어려움.
  • 챗봇 사용을 금지하기보다 먼저 독립적으로 시도하게 하고, 코드 리뷰에서 구현을 설명하거나 작은 변경을 수행하게 해 경험이 쌓일수록 필요한 안내가 줄어드는지 확인해야 함.

관찰된 패턴

  • PixLab의 모회사인 Symisc Systems는 선별된 학교의 우수 공학 학생들을 원격 또는 현장 방식으로 받아 학부 마지막 학년 프로젝트(final-year project)를 진행함.
  • 일부 학생은 C/C++ 임베디드 소프트웨어를, 다른 학생은 순수 JavaScript(vanilla JavaScript) 웹 개발을 담당함.
  • 두드러진 관찰 결과는 똑똑한 학생조차 챗봇에 도움을 다시 요청하지 않고서는 완성도 있는 작동 함수를 작성하는 데 어려움을 겪는 경우가 잦다는 점임.
  • 관찰한 학생은 20명이 넘으며, 사용 도구는 ChatGPT 또는 Z.ai의 GLM 모델이었고 Anthropic의 Claude를 쓰는 학생은 보이지 않았음.
  • 이는 함께 일하면서 관찰한 내용일 뿐, 공식 설문조사 결과는 아님.

소규모 대시보드 과제

  • 우려를 잘 보여주는 사례는 Think-Act Desktop Agent의 내부 사용량 대시보드용 분석 함수를 작성하는 과제임.
  • 주니어 개발자는 백엔드를 통해 Redis에 JSON 형식으로 저장된 통계를 가져온 뒤, 순수 JavaScript로 페이지에 표시해야 했음.
  • 해당 학생은 석사 학위를 보유했고 적극적으로 구직 중이었음.
  • 구현 과정에서 HTML 요소를 ID로 가져오는 방법 등 기초적인 질문을 챗봇에 반복해서 요청했으며, 이 과정에는 document.getElementById() 사용법을 묻는 것도 포함됨.
  • 메서드 이름을 잊어버리는 일 자체는 문제가 아니며, 문서를 찾아보거나 챗봇을 이용하는 것도 충분히 합리적임.
  • 주목한 점은 구현의 다음 단계를 챗봇에 얼마나 많이 의존했는지였음.
  • 코드베이스에 대한 도움은 예상했지만, JSON 응답을 살펴보고 요소를 선택해 내용을 업데이트하는 일은 독립적으로 진전시킬 만큼 익숙한 작업이어야 한다고 봄.

과제 완수는 일부에 불과함

  • 학생은 생성된 구현을 따라가며 각 줄의 설명을 이해할 수 있지만, 비슷한 함수를 처음부터 작성하는 일은 여전히 어려울 수 있음.
  • 첫 시도에서는 스스로 결정을 내리고, 입력을 살펴 무엇을 할지 정하며, 무엇을 잘못 이해했는지 확인해야 함.
  • 작은 함수라도 직접 작성하는 연습은 다음 함수를 더 쉽게 작성하는 데 도움이 됨.
  • 챗봇이 모든 단계를 제공하면 이러한 연습이 실제로 얼마나 이뤄지는지 파악하기 어려워짐.
  • AI 제품을 직접 만들고 있어 도구의 유용성을 알고 있으며, 인턴십에서 챗봇 사용을 금지할 이유는 없다는 입장임.
  • 다만 업무를 끝내는 것만으로 성공적인 인턴십을 판단할 수는 없으며, 학생은 시작했을 때보다 더 역량을 갖추고 떠나야 함.

합리적인 기대 수준

  • 이런 과제에서는 생성된 해결책을 요청하기 전에 주니어가 먼저 시도해보도록 요구하는 것이 합리적이라고 봄.
  • 문서를 읽고, 응답을 살펴보고, 구현을 시도한 뒤 구체적인 어려움을 해결하는 데 챗봇을 활용하는 방식임.
  • 코드 리뷰에는 작업에 관한 대화가 포함돼야 함.
  • 조건문의 의미를 설명하거나, 빈 응답을 처리하거나, 작은 변경을 해보도록 요청할 수 있으며 기억력 시험이나 심문이 필요한 것은 아님.
  • 석사 학위가 모든 것을 안다는 뜻은 아니며, 주니어가 도움 없이 일하기를 기대하는 것도 아님.
  • 그러나 대시보드 함수 하나를 구현한 뒤에는 다음 함수를 작성할 준비가 더 잘돼 있어야 함.
  • 바라는 것은 챗봇 사용을 중단하는지가 아니라 경험을 쌓으면서 필요한 안내가 줄어드는지임.

프런트엔드 개발 방식

  • PixLab은 프런트엔드 개발에 순수 JavaScript만 사용하며 React나 Vue는 사용하지 않음.
  • 같은 방식은 수천 명의 고객이 이용하는 고객 대시보드에도 적용되며, 백엔드는 실시간 API 사용 기록 수백만 건을 수집함.
  • 과제를 어렵게 만들려고 프레임워크를 제거한 것이 아니라, 실제 운영 환경에서 사용하는 도구로 작업하게 한 것임.
  • 고객은 배경 제거 API 같은 서비스의 사용량을 확인하기 위해 대시보드에 의존함.
  • 요청 수를 표시하든 내부적으로 Think-Act 활동을 검토하든, 데이터가 화면에 도달하는 경로와 숫자가 잘못 표시될 수 있는 이유를 이해해야 함.
  • 과제의 유용한 부분은 데이터를 따라가고, 함수를 작성하며, 동작을 확인하는 과정임.
  • 이는 기본적인 브라우저 개발에 익숙해질 기회이기도 함.