AI 비디오 스크레이핑 데이터 추출과 분석의 진화

 

계산이나 집계가 필요한 결제 정보와 날짜들이 수십 개의 이메일에 흩어져 있는 상황에서,

이를 일일이 수작업으로 계산하는 것은 상당한 번거로움이 있습니다.

그러나 윌리슨이라는 ai연구가는 '비디오 스크레이핑'이라는 기술을 활용하여 이 문제를 해결했다고 합니다.

이 기술은 화면 녹화 영상을 AI 모델에 입력하여 필요한 데이터를 추출하는 방식입니다.

사이먼 윌리슨은 자신의 블로그를 통해 구체적인 실험 과정을 공유했습니다.

그는 관련 이메일을 보여주는 35초 길이의 영상을 녹화한 뒤, 이를 구글의 AI 스튜디오 도구에 입력했습니다.
이 도구는 구글의 젬마이니 1.5 프로와 젬마이니 1.5 플래시 AI 모델과 같은 여러 AI 모델을 실험할 수 있는 플랫폼입니다.

AI는 영상에서 데이터를 추출하여 JSON(자바스크립트 객체 표기법) 형태로 정리했고, 윌리슨은 이를 CSV(쉼표로 구분된 값) 형식의 스프레드시트로 전환했습니다.

이 과정을 통해 데이터의 정확성을 높이고, 비디오 분석 비용이 예상보다 훨씬 저렴한 것에 대해 놀랐습니다.

실제로, 구글 AI 스튜디오는 현재 일부 사용 유형에 대해 무료로 서비스를 제공하고 있기 때문에 윌리슨은 추가 비용 없이 실험을 완료할 수 있었습니다.

비디오 스크레이핑은 멀티모달 모델이 가능해지면서 새롭게 가능해진 기술 중 하나입니다.

 

다음은 핵심 요약을 정리한 표입니다.

주요 내용	설명
비디오 스크레이핑 기술 소개	화면 녹화 영상을 AI에 입력하여 데이터 추출
사이먼 윌리슨의 데이터 추출 실험	구글의 AI 스튜디오와 젬마이니 모델을 사용하여 이메일에서 비용 데이터 추출
비디오 스크레이핑 기술의 장점과 비용 효율성	구조화된 데이터로의 변환, 저렴한 비용으로의 처리 가능
데이터 보안과 프라이버시 이슈	강력한 데이터 수집 기능이 잘못 사용될 경우 개인정보 침해 가능
비디오 스크레이핑의 미래 전망과 윤리적 고려사항	기술 발전에 따른 새로운 형태의 AI 응용 방식과 그에 따른 윤리적 책임 강조

이러한 AI 모델은 비디오, 오디오, 이미지 및 텍스트 등 다양한 형태의 입력을 받아들여, 이를 데이터 조각(토큰)으로 변환하고 다음에 올 토큰을 예측합니다.

이 기술의 장점은 매우 큽니다. 예를 들어, 자신의 책장에 있는 책들을 짧은 영상으로 촬영한 후, AI가 비디오에서 책 제목을 추출하여 구조화된 목록을 생성하도록 할수도 있습니다.

이처럼 비구조화된 데이터를 간단한 영상촬영만으로 구조화된 데이터로 쉽게 변환할 수 있기 때문에

데이터 저널리스트들에게 큰 도움이 됩니다.

AI 기술과 데이터 분석이 진행 중인 모습을 보여주는 깔끔하고 현대적인 회의실

그러나 이 기술이 가져올 수 있는 잠재적 위험도 존재합니다.

예를 들어, AI가 사용자의 컴퓨터 화면을 볼 수 있게 되면, 개인 정보 침해나 자동으로 컴퓨터 사용자를 감시하는 데 사용될 가능성도 있습니다.
비디오 스크레이핑은 현재 많은 AI 연구실에서 주목하고 있으며, '비디오 이해'나 '비전' 등으로 불리고 있습니다.

AI 기술의 이러한 발전은 향후 사용자들이 AI와 상호 작용하는 방식을 근본적으로 변화시킬 수 있습니다.

 

사용자가 직접 데이터를 입력할 필요 없이 AI가 화면에서 정보를 직접 읽어 처리할 수 있기 때문입니다.
예를 들어, 웹사이트의 복잡한 인터페이스를 탐색할 때 AI가 필요한 조작을 대신 수행해 줄 수 있습니다.

이러한 기술은 편리함을 제공하지만, 동시에 새로운 유형의 보안 위험과 프라이버시 문제를 야기할 수 있습니다.
따라서 이 기술을 사용할 때는 신중한 접근이 필요하며, 기술의 윤리적 사용에 대한 지속적인 논의가 요구됩니다.

윌리슨은 자신의 방법이 화면에서 볼 수 있는 모든 내용에 대해 작동한다고 설명하며, 이 기술이 어떠한 웹사이트 인증이나 방지 기술도 무시하고 비디오를 녹화할 수 있다는 점을 강조했습니다.

이는 매우 유용할 수 있지만, 동시에 강력한 데이터 수집 기능이 잘못 사용될 경우 심각한 프라이버시 침해로 이어질 수 있습니다.

예를 들어, 최근에는 Mac과 Windows 11에 구현될 예정인 '리와인드 AI' 및 '리콜'과 같은 앱이 화제가 되고 있습니다.

 

이러한 앱들은 화면에 표시되는 모든 것을 AI 모델에 입력하여 데이터를 데이터베이스에 저장하고 나중에 AI가 그 데이터를 회상하도록 합니다.

이런 방식은 모든 화면 활동을 기록하므로 추후 해킹될 경우 심각한 보안 문제를 일으킬 수 있습니다.

그러나 윌리슨은 자신의 데이터 비디오를 구글에 업로드하더라도 언제 어떻게 AI 모델이 데이터를 볼 수 있는지를 스스로 결정할 수 있다는 점에서 큰 만족감을 표현했습니다.

이는 비디오 스크레이핑 기술이 제공하는 주요 장점 중 하나입니다. 사용자가 AI 모델에 노출시키는 정보를 완벽하게 통제할 수 있다는 것이죠.

향후에는 클라우드 연결 없이도 동일한 비디오 분석 방법을 수행할 수 있는 지역적으로 실행되는 오픈 웨이트 AI 모델이 등장할 가능성이 있습니다.

윌리슨은 필요할 때 선택적으로 비디오 데이터를 AI 모델에 제공하는 이 기술을 앞으로 더 많이 사용할 것으로 기대하고 있습니다.

끝으로 비디오 스크레이핑과 같은 기술이 가져올 혜택을 최대화하고 잠재적 위험을 관리하기 위해서는 계속해서 기술의 윤리적 사용과 관련된 논의가 필요합니다.

AI를 활용할 미래는 밝지만, 그 기술을 현명하게 사용하는 것은 계속해서 노력해나가야 한다고 생각됩니다.