[AI] 동영상 요약 모델 - DSNet

배경

나만무에서 "AI 기반 동영상 자동 편집 플랫폼"을 기획 중 관련 AI 모델을 찾아보았다. 긴 동영상을 주면 하이라이트만을 뽑아서 편집까지 알아서 해주는 여러 해외 플랫폼에서 사용하는 AI 모델을 원했다. 그러나 편집까지 자동으로 해주는 오픈소스 모델은 없었고 동영상 하이라이트 요약 모델은 여럿 발견했다. 그 중에서 DSNet이라는 모델의 사용 후기를 적어보고자 한다.

Video Summarization

paperswithcode: Video Summarization

Papers with Code - Video Summarization

이 분야는 영어로 Video Summarization이라고 한다. 오픈소스 모델이 있을 줄은 몰랐는데 찾아보니 여러가지가 존재했다.

 

DSNet

https://github.com/li-plus/DSNet

GitHub - li-plus/DSNet: DSNet: A Flexible Detect-to-Summarize Network for Video Summarization

사용하기 쉽도록 README.md가 작성되어 있다. 구글 Colab에서 리드미를 그대로 따라하면 작동되지만, 패키지 버전을 맞추기가 조금 힘들다. 또한, 요약본에서는 음성이 삭제된다. 비디오 요약의 성능은 나쁘지 않지만 음성이 아예 없어지면 사용하기 힘들다. 날밤을 새면서 파이썬 패키지 버전을 맞추고 학습을 돌려봤는데 성능이 시원치않다..