TL;DR

  • Gemini Live의 Guided Vision이 호환되는 Android 기기에서 시각장애인, 저시력자 및 직관적인 시각 지원을 원하는 사람에게 실시간 대화형 시각 해석을 제공함.
  • 카메라 화면을 공유하면 주변 환경을 음성으로 설명하고, 후속 질문에 답하며, 원하는 대상을 화면에 담도록 자연스러운 음성 안내를 제공함.
  • 시각장애인 및 저시력 커뮤니티와 긴밀히 협력해 기능을 개발했으며, Aira와 함께 수만 시간 규모의 시각 데이터 해석 작업을 수행하고 1,000명 이상의 테스터가 모델을 시험하고 개선함.
  • 작은 글씨 읽기, 물건 찾기, 색상과 무늬 확인, 낯선 공간 탐색 등 일상 작업을 지원하며 여러 언어로 대화할 수 있음.
  • Android 9 이상에서 Gemini Live가 지원되는 지역과 언어로 이용할 수 있지만, 의료기기·이동 보조기구·흰 지팡이의 대체재나 길 안내 및 장애물 감지 수단은 아님.

실시간 시각 지원, 세상을 경험하는 방식에 맞춰 설계

  • Guided Vision은 시각장애인 및 저시력 커뮤니티와 함께 개발된 Gemini Live의 대화형 실시간 시각 지원 기능임.
  • 오늘부터 호환되는 Android 기기에서 제공되며, 음성 중심의 실시간 시각 해석을 통해 시각장애인, 저시력자 또는 직관적인 시각 지원을 원하는 사람을 지원함.
  • 카메라를 공유하면 주변에 대한 명확한 설명을 듣고, 구체적인 후속 질문을 하며, 살펴보고 싶은 대상에 화면을 맞추도록 선제적인 음성 안내를 받을 수 있음.
  • Gemini Live가 카메라 방향이 너무 높거나 가까운 경우, 또는 대상에서 약간 벗어난 경우에는 오른쪽으로 천천히 화면을 움직이거나 아래로 기울이고 뒤로 물러나 달라고 안내해 질문에 답하는 데 필요한 시각 정보를 확보함.
  • 모든 사람에게 세상을 더 열어 주는 기술의 중요성을 바탕으로, Gemini를 대화형 시각 파트너로 만드는 기능임.
  • 이달 초에는 Android의 디지털 및 물리적 접근성을 확대하는 다른 도구와 함께 기능을 미리 공개함.
  • Gemini Live가 현실 세계의 맥락을 대화형으로 이해하도록 Aira와 협력해 수만 시간 규모의 시각 데이터 해석 작업을 진행함.
  • Aira의 Trusted Tester 네트워크 회원 1,000명 이상이 일상적인 상황에서 모델을 시험하고 개선했으며, Aira 전문가들은 주제 전문가로 팀과 직접 협력해 안전장치를 수립하고 평가함.

일상적인 순간을 간편하게

  • Guided Vision은 빠른 시각 확인이 특히 중요한 일상 작업을 지원함.
  • 작은 글씨와 복잡한 글 읽기: 식품 포장의 작은 영양 성분 표시, 가전제품의 다이얼과 세탁기 코스, 조명이 어두운 식당의 인쇄 메뉴를 읽는 데 활용 가능함.
  • 물건 찾기와 위치 확인: 주변에서 바닥에 떨어진 이어버드나 여러 향신료가 든 수납장에서 검은 후추 같은 일상용품을 찾는 데 활용 가능함.
  • 물건 설명과 세부 정보 비교: 색상·무늬·모양을 물어볼 수 있으며, 줄무늬 셔츠와 바지가 어울리는지 확인하거나 특정 재킷의 색을 알아볼 수 있음.
  • 주변 환경 탐색: 낯선 공간, 방의 배치, 탁자 위 여러 물건에 관한 설명을 들을 수 있음.
  • 선호 언어로 자연스럽게 대화: 여러 언어로 대화할 수 있으며, 인도·브라질·싱가포르·인도네시아·일본 등 여러 지역의 시각장애인 및 저시력 커뮤니티의 시험과 피드백을 반영해 설명, 화면 조정 안내, 답변을 자연스럽고 유용하게 제공하도록 다듬음.
  • 시각 접근성 혁신 기능인 Guided Vision은 고령자, 문해력이 낮은 사람, 조명이 어두운 곳에서 작은 글씨를 읽으려는 사람에게도 실용적인 시각 지원을 제공함.

Android에서 간편하게 실행

  • Guided Vision은 일상에 최소한의 번거로움으로 적용되도록 설계됨.
  • Gemini 앱: Gemini 모바일 앱에서 프로필 설정을 열고 ‘Live에서 Guided Vision 사용’을 켠 뒤, Gemini Live를 실행해 카메라 공유를 선택함.
  • 접근성 바로가기: Android 설정의 접근성 > 시각 지원 > Guided Vision에서 접근성 바로가기를 설정할 수 있음. 실행 방식은 화면에 표시되는 접근성 버튼, 두 손가락 쓸기 동작, 두 볼륨 버튼 동시 누르기임.
  • TalkBack 통합: Google TalkBack 사용자는 세 손가락으로 탭해 TalkBack 메뉴를 열고 Guided Vision을 바로 선택할 수 있음.
  • 생성형 AI 기술과 마찬가지로 Guided Vision은 보조 도구이며 실수할 수 있음. 의료기기, 이동 보조기구 또는 흰 지팡이의 대체재가 아니며, 길 안내·안전한 이동 지침·장애물 감지를 목적으로 하지 않음.
  • 물리적 환경에서는 기존 이동 보조기구와 안전한 이동 관행을 계속 이용해야 함.

이용 가능 여부

  • Guided Vision은 Android 9 이상을 실행하는 Android 기기에서 Gemini Live가 지원되는 지역과 언어로 이용 가능함.
  • 이용을 시작하려면 Gemini 앱과 Android 시스템 소프트웨어를 최신 버전으로 업데이트해야 함.