TL;DR

  • Apple이 Apple Watch Series 12와 Apple Watch Ultra 4에 Audio Intelligence를 도입하고, 네 가지 오디오 기능을 선택 동의 방식과 기기 내·클라우드 인공지능(AI) 모델로 제공하면서 개인정보 보호를 적용함.
  • Sound Recognition, Shazam 기반 자동 음악 인식, Live Rewind, Siri Recap이 Audio Intelligence의 초기 기능으로 포함됨.
  • Live Rewind는 Digital Crown을 의도적으로 두 번 누를 때만 활성화되고, 최근 15초 음성만 화면에 표시하며 백그라운드 전사나 자동 저장을 수행하지 않음.
  • Siri Recap은 사용자가 선택한 시간·위치 조건 또는 수동 조작에 따라 실행되며, 유해할 수 있는 콘텐츠와 민감한 정보를 제외하도록 설계됨.
  • Live Rewind와 Siri Recap의 오디오는 S11 칩의 Secure Exclave 내부 보호 버퍼에서 처리되고, 원시 오디오와 대화 데이터가 사용자·운영체제·앱·Apple에 접근되지 않도록 격리됨.

Apple Watch에 적용되는 네 가지 Audio Intelligence 기능

  • Apple이 Apple Watch Series 12와 Apple Watch Ultra 4부터 Audio Intelligence라는 새로운 기능군을 선보임.
  • Audio Intelligence는 Apple Watch의 마이크, Apple silicon의 처리 능력, 기기 내 및 클라우드 기반 인공지능(AI) 모델을 활용해 소리를 감지하고 음악을 식별하며 현재 상황에 집중하도록 지원함.
  • 초기 제공 기능은 다음 네 가지임.
  • Sound Recognition
  • Shazam을 활용한 자동 음악 인식
  • Live Rewind
  • Siri Recap
  • Live Rewind와 Siri Recap은 올해 말 영어 지원 베타 버전으로 제공될 예정이며, Apple이 출시 시점에 추가 세부 정보를 공개할 예정임.
  • 모든 Audio Intelligence 기능은 선택 동의 방식으로 제공됨.
  • Live Rewind와 Siri Recap은 필요에 따라 쉽게 활성화하거나 비활성화할 수 있음.

Live Rewind 작동 방식

  • Live Rewind는 Digital Crown을 의도적으로 두 번 누를 때만 활성화됨.
  • 디스플레이에 최근 15초 동안의 음성을 텍스트 조각으로 표시함.
  • 백그라운드에서 계속 전사하지 않으며, 사용자가 해당 내용을 Siri에 질문하거나 Siri 앱에 저장하도록 선택하지 않는 한 텍스트를 저장하지 않음.
  • iPhone의 Watch 앱에서 다음 경로로 활성화할 수 있음.
  • Watch 앱 열기
  • Siri 선택
  • Live Rewind 선택
  • “Double Click Digital Crown” 켜기

Siri Recap 작동 방식

  • Siri Recap은 사용자가 선택할 때만 실행됨.
  • iPhone의 Watch 앱에서 Siri Recap을 켤 수 있음.
  • 활성화 시 시간 또는 위치를 기준으로 일정을 설정할 수 있음.
  • “직장에서만”과 같은 위치 조건
  • “밤에는 사용하지 않음”과 같은 시간 조건
  • 일정을 설정하지 않고 수동으로 켜고 끌 수도 있음.
  • 모든 설정 방식에서 제어 센터를 통해 언제든지 기능을 켜거나 끌 수 있음.
  • Audio Intelligence는 음성을 발화자별로 구분하지 않음.
  • Siri Recap은 잠재적으로 유해한 콘텐츠와 민감한 정보를 제외하도록 설계됨.
  • Live Rewind는 가청 알림음과 시각적 표시를 통해 주변 사람에게 기능이 작동 중임을 알림.

개인정보 보호를 고려한 Audio Intelligence 설계

  • Apple이 새로운 기능의 개인정보 보호 방식을 설명하는 11쪽 분량의 개인정보 보호 논문을 공개함.
  • Live Rewind의 처리 방식은 다음과 같음.

마이크에서 들어온 오디오는 S11 칩의 Secure Exclave 내부 오디오 버퍼로 흐름. 오래된 오디오는 새로운 오디오로 계속 대체되므로 오디오가 축적되지 않으며, 원시 오디오는 이 보호 버퍼 외부에서 접근할 수 없음.

  • Siri Recap은 S11 칩의 경량 인공지능 모델을 사용해 주변에서 음성이 발생하는지만 판단함.
  • 이 모델은 아무것도 전사하거나 녹음하지 않음.
  • 대화가 시작됐는지만 감지함.
  • 대화가 감지되면 오디오가 S11 칩의 Secure Exclave 내부 보호 버퍼로 흐름.
  • 해당 버퍼는 하드웨어 수준에서 격리되어 사용자, 운영체제, 앱, 심지어 Apple도 접근할 수 없음.
  • Apple이 Audio Intelligence의 개인정보 보호 세부 내용을 전체 11쪽 논문에서 추가로 설명함.