TL;DR

  • Safeworld는 예측하기 어려운 생성형 AI 로봇을 실제 환경에 배치하기 전에 시뮬레이션으로 안전성을 평가하고, 이를 위해 1,200만 달러 이상의 시드 투자를 유치함.
  • Carnegie Mellon University의 Safe AI 연구소를 이끄는 Ding Zhao, 스타트업 임원 Kyle Wong, 머신러닝 엔지니어 Simo Rachidi가 회사를 설립함.
  • Safeworld는 Genesis나 MuJoCo 같은 모델에 현실적인 사람과 로봇을 구현하고, 수천 가지 시나리오에서 로봇 제어 시스템을 시험함.
  • 로봇이 구조화되지 않은 환경에서 작동하고 시설마다 안전 기준이 다르므로, 사람의 다양한 외모와 행동을 고려한 경험적 검증이 필요함.
  • Shine Capital과 a16z Speedrun이 투자를 주도했으며, Gritt Robotics는 태양광 패널 설치 로봇의 안전 시뮬레이션을 위해 Safeworld와 협력함.

생성형 AI 로봇의 안전 문제

  • 로봇 업계의 큰 흐름은 생성형 AI 모델에 제어권을 넘기는 것이지만, 이 아키텍처는 기존 알고리즘만큼 동작을 예측하기 어려움.
  • Carnegie Mellon University의 Safe AI 연구소를 이끄는 Dr. Ding Zhao는 경력 대부분을 이 문제에 매달려 왔으며, 베테랑 스타트업 임원 Kyle Wong, 머신러닝 엔지니어 Simo Rachidi와 함께 Safeworld를 설립함.
  • Zhao는 로봇을 배치하려면 확률적 시스템의 위험을 평가하는 고도화된 생성형 AI 평가와 신뢰라는 두 과제를 함께 해결해야 한다고 설명함.

Safeworld의 시뮬레이션 평가 방식

  • Safeworld는 현실적인 사람 모델이 들어 있는 시뮬레이션에서 로봇 제어 시스템을 평가하는 데 특화함.
  • 이 접근은 Tesla나 Wayve가 차량이 도로에서 마주칠 수 있는 다양한 돌발 상황에 적절히 대응하는지 확인하는 과제와 유사함. 다만 Zhao는 로봇이 구조화되지 않은 환경에서 작동하고 시설마다 안전 기준이 달라 더 어려운 문제라고 설명함.
  • 공장의 사각 코너에서는 로봇이 사람과 충돌하지 않도록 속도와 제동 거리를 평가해야 하며, 사람이 상자를 들고 있을 때 로봇이 이를 감지하는지도 확인해야 함.
  • Safeworld는 Genesis나 MuJoCo 같은 모델에 해당 코너의 디지털 버전을 만들고, 평가 대상 로봇의 실제 소프트웨어를 연결한 뒤 사람 모델과 로봇이 마주치는 수천 가지 시나리오를 실행함.
  • 사람이 예측하기 어렵기 때문에 시뮬레이션에서 시험하는 과정도 쉽지 않음. Wong은 사람이 넘어지는 상황을 시험하려면 실제로 사람이 반복해서 넘어져야 하는 어려움이 있다고 설명함.

제3자 안전 검증의 필요성

  • Safeworld가 구축하는 플랫폼은 로봇 제작사가 내부적으로 사용하는 도구와 비슷한 점이 있음. 창업진은 로봇 기업들이 전문성뿐 아니라 제3자 검증을 원할 것이며, 경쟁사끼리도 안전 사례 정보를 공유할 수 있다고 봄.
  • Zhao는 시연 환경의 로봇보다, 이전에 로봇을 다뤄본 적 없는 사람들과 함께 대규모로 배치된 로봇에서 해결하기 어려운 예외 상황이 더 많이 드러날 것이라고 지적함.
  • Safeworld는 Shine Capital과 a16z Speedrun이 주도하고 Box Group, Carnegie Mellon University Endowment, Innovation Endeavors, SV Angel이 추가로 참여한 1,200만 달러 이상의 시드 투자를 유치하며 스텔스에서 벗어남.
  • a16z Speedrun의 파트너 Jonathan Lai는 로봇이 가정에 배치되어 아이들과 부딪치거나 안전 사고를 일으키기 전에 업계 안전 기준을 마련해야 한다고 말함.

Gritt Robotics의 협력 사례

  • Gritt Robotics의 최고기술책임자(CTO) Vishal Dugar는 산업 규모 태양광 발전소에서 작업자의 태양광 패널 설치를 돕는 로봇의 AI 두뇌를 개발하고 있으며, 더 복잡한 건설 작업으로 확장하려 함.
  • Gritt Robotics는 안전 시뮬레이션을 개발하는 과정에서 Safeworld와 협력함.
  • Dugar는 수학적 증명이나 방정식만으로 시스템의 안전성을 공식적으로 입증하기 어려운 경우가 많아 경험적 검증이 필수라고 설명함.
  • 로봇 팔이 작업자를 치지 않도록 검증하려면 사람의 여러 외모와 자세를 고려해야 함. 사람은 무릎을 꿇거나 서거나, 넘어지거나, 웅크리거나, 달릴 수 있으며 옷, 크기, 체형, 키, 피부색도 다양함.

초기 사업 모델과 전망

  • Safeworld와 로봇 분야 생성형 AI 모두 아직 초기 단계이며, Safeworld는 외부 사용자를 위한 플랫폼과 서비스 기반 접근 방식 가운데 자사 제품에 적합한 모델을 검토 중임.
  • Zhao는 로봇을 배치하려는 기업은 상황 대응을 위해 Safeworld에 비용을 지불해야 하므로 이 분야에서 첫 수익성 기업이 될 가능성이 있다고 전망함.