Shot detection for video indexing

Abstract

Son yıllarda depolama ve iletişim teknolojilerindeki hızlı gelişmeler video veritabanlanmn yaygınlaşmasını sağlamıştır. Videoların doğası gereği doğrusal akışı veriye hızlı erişime olanak sağlamamaktadır. Video indekslemede amaç, videoları, veriye hızlı erişimi sağlayacak şekilde yeniden düzenlemektir. Video dizilerindeki sahne geçişlerinin saptanması, video indekslemenin ilk adımım oluşturmaktadır. Video dizisi sahnelere bölünerek, her bir sahne bölütüne ait çerçevelerden, o sahneyi temsil eden bir yada daha fazla sayıda çerçeve, anahtar çerçeve olarak seçilir. Böylelikle sahneler arasında, anahtar çerçeveler üzerinden, basit ve hızlı bir şekilde tarama yapmak mümkün olur. Sahneler arasındaki geçiş tek bir çerçevede oluşabileceği gibi yavaşça da oluşabilir. Birinci tür geçişlere kesim adı verilmektedir. İkinci tür geçişler ise genellikle video kurgulama uygulamaları tarafından oluşturulmaktadır. Örneğin sönümleme (fade- out) türündeki kurgulamada bu geçiş, ilk sahneye ait son çerçevenin benek değerleri sabit bir değere dönüştürülerek, girişim (fade-in) türündeki kurgulamada ise benek değerleri zamanla sabit bir değerden, sahnenin ilk çerçevesinin benek değerlerine dönüştürülerek gerçekleştirilir. Çözülme (dissolve) efektinde ise önce sönümleme ve ardından da girişim efektleri uygulanır. Sahne geçişlerinin saptanması ve sımflandınlması için önerilen yöntemler genellikle çerçeveler arasındaki bir benzerlik ölçütündeki değişimin izlenmesine dayanmaktadır. Sahneler arası geçişleri saptamanın en basit yolu çerçeveler arasındaki benek değerlerindeki değişimin sayılmasıdır. Ancak benek değerlerindeki değişim kamera hareketlerine oldukça duyarlıdır. Bu duyarlılığı azaltmak için video çerçevelerinin bölgelere ayrılması ve her bir bölgedeki ortalama ve standart sapma gibi istatistiksel özelliklerdeki değişimin izlenilmesi önerilmiştir. Sahne geçişlerinin xısaptanmasında en sık kullanılan benzerlik ölçütü histogramdır. Bu yöntemde, birbirini izleyen çerçevelere ait histogramlar arasındaki fark oluşturulur. Bu farkın belirli bir eşik değerinin üzerinde olduğu çerçevelerin kesim olduğu varsayılır. Bu çalışmada hareketli görüntülerdeki sahneler arasındaki kesim, sönüm, girişim gibi kurgulama efekti türündeki geçişleri, renkli histograma dayalı olarak saptayan bir yöntem geliştirilmiştir. Yöntemin başarımı film, haber, belgesel, spor gibi farklı türdeki video küpleri üzerinde yapılan deneylerle test edilmiştir. Deneysel sonuçlar Tablo-3.5'de verilmiştir. Geliştirilen yöntem yüksek doğrulukta sahne geçişlerini yakalamaktadır. Özellikle çok sayıda yerel hareketin olduğu hareketli videolarda sahne geçişlerini yüksek doğrulukta saptayabilmektedir.

Recent advances in storage and communication technologies cause databases become pervasive. Inherent nature of video does not allow one to search the data of interest very quickly. The main purpose of video indexing is to reorganize them in such a way that they permit efficient and fast access. The first step toward video indexing is to detect shot boundaries in videos. A keyframe or several frames representing the scene considered are selected among the frames of the video segmented into distinct scenes. Thus one can perform simple and fast searches based on the keyframes over the scenes. The transitions between scenes may occur suddenly in a frame or gradually in several contiguous frames. First kind of transition is called cut. The latter is usually constructed by video editing applications. For example, the transition in fade-out type of editing effect is obtained by gradually changing pixels at the last frame of current scene to a constant frame, while the transition in fade-in type of editing effect is obtained by gradually changing pixels of a constant frame to the first frame of the next scene. While dissolve effect is produced by first applying fade-out then fade-in effects properly to the corresponding scenes. Algorithms proposed for the detection and classification of shot boundaries are usually based on tracking the changes in the similarity norm. One simple approach for the detection of scene changes is to count the number of pixels where a great amount of changes has been occurred. Unfortunately the amount of change at pixels heavily relies on the camera motion. In order to alleviate the problem, it has been proposed to divide the plane into rectangular grids and track the statistical measures such as the mean and standard deviation at these grids. The most frequently used measure is histogram for the shot boundary detection. In this method, first IXdifferences at the consecutive histograms are obtained. Then it is assumed that frames where the difference is greater than a predetermined value are shot boundaries. In this study, a method is devised for the detection of scene changes such as cut, fade- in, or fade-out at moving images using the color histograms of frames. The performance of the proposed algorithm has been tested on different videos having distinct features such as movie, news, sports, nature, commercials. The results are given in Table-3.5. The algorithm has successfully detects the shot boundaries especially in videos where significant amount of local motions exist.