Planogram uyumluluğunun görüntü işleme teknikleri ile analizi

Abstract

Planogramlar perakende mağazalarında ürünlerin ideal raf dizilimlerini ve yerleşim planını belirleyen modellerdir. Ürünlerin planograma uygun olarak dizilmesi perakende mağazasının karlılığına ve gelirine pozitif etki yapmaktadır. Bu planogramlar, pek çok analist ve stratejistin kullanıcı deneyimleri, insan psikolojisi, tüketici alışkanlıkları, satış istatistikleri ve buna benzer pek çok faktörü değerlendirmesi sonucunda oluşturulmaktadır. Örneğin bir mağazada şekerleme reyonunun kasaya yakın tutulması, promosyonlu ürünlerin dikkat çekici afişlerle vurgulanması bu planogram çalışmasının bir parçasıdır. Pek çok mağaza bir planograma bağlı olarak raf yerleşimlerini yapmaktadır. Fakat mağazalarda planograma uygun olarak dizilen ve yerleştirilen ürünlerin zaman içinde dizilimi bozulmakta ve ürünler düzen dışına çıkmaktadır. Buna müşterilerin inceledikleri ürünü aldıkları yere geri bırakmaması, ürünün stoğunun bitmesi veya raftaki ürünlerin düşmesi ya da yönünün değişmesi gibi pek çok faktör sebep olabilmektedir. Tüm bu sebeplerden kaynaklı planogram bozulmasının takibini çoğunlukla mağaza personeli yapmaktadır. Bu oldukça maliyetli bir iştir. Çoğu mağazada, mağaza personelinin müşterilere ve mağazanın işlerine ayırdığı zamanın dışında ek olarak bu sorumluluğu üstlenmesi gerekmektedir. Personeller önce tüm raflara ait planogramları bulduktan sonra bu planogramları referans alarak mağazadaki rafları tek tek tarayıp uyumsuzluk olup olmadığını tespit etmeye çalışmaktadır. Mağazadaki raf ve ürün sayısı göz önünde bulundurulduğunda ne denli zahmetli ve hataya açık bir iş olduğu aşikardır. Günümüzde görüntü elde etme imkanları oldukça yaygınlaşmış ve pek çok cihazın içine kamera ya da fotoğraf makinesi yerleştirilebilir hale gelmiştir. Ayrıca artık neredeyse herkesin cebinde fotoğraf çekebilme ve video kaydedebilme özellikli akıllı telefonlar bulunmaktadır. Raf görüntülerinin belirli periyotlarla bu cihazlar aracılığı ile alınıp kaydedildiği ve bu görüntüler üzerinde görüntü işleme teknikleri ile raflardaki ürünlerin ve konumlarının tespit edilebildiği bir sistem planogram uyumluluğunun insan gücü olmaksızın teknoloji odaklı tespit edilmesini sağlayacaktır. Görüntü işleme teknikleri ve makine öğrenmesi algoritmalarının iç içe kullanıldığı bilgisayarlı görüntü analizlerinde yüksek başarı oranı ile nesne tanıma çalışmaları yapılabilmektedir. Bu çalışmada, mağazadan elde edilen referans planogram, mağazada anlık gözlemlenen raf görüntüleri ve rafta yer alan ürünlerin tekli referans görüntüleri kullanılarak, görüntü işleme teknikleri yardımıyla planogram uyumluluğunun tespiti üzerine bir sistem geliştirilmeye çalışılmıştır. Planogramdaki ve gözlenen raflardakiürünler görüntü işleme teknikleri yardımıyla, SIFT ve SURF öznitelik eşleştirme yöntemleri ile tespit edilerek ve bu tespit edilen ürünlerin birbirleri ile oluşturdukları komşuluk matrisleri kullanılarak planogram uyumluluğu tespit edilmeye çalışılmıştır. Planogram uyumluluğunun teknoloji odaklı bir yöntemle tespit edilmesiyle perakende mağazalarında verimlilik artışı sağlanması hedeflenmektedir. Mağaza personellerinin asıl sorumluluğunun yanında takip etmeye çalıştığı planogram uyumluluğu teknoloji yardımıyla tespit edildiğinde, personeller müşterilere daha fazla vakit ayırıp asıl sorumluluklarına odaklanabileceklerdir. Bunun yanında planogram uyumluluğu da insan takibine kıyasla daha yüksek bir doğruluk oranıyla ve düşük maliyetle takip edilebilecektir.

Planograms are models that determine the ideal shelf arrangement and layout of products in retail stores. Arrangement of products in accordance with the planogram has a positive effect on the profitability and income of the retail store. These planograms are created as a result of many analysts and strategists evaluating user experiences, human psychology, consumer habits, sales statistics and many other factors. For example, keeping the candy aisle close to the counter in a store and emphasizing promotional products with remarkable posters are part of this planogram study. Many retailer make shelf layouts depending on a planogram. However, the products arranged and placed in stores in accordance with the planogram are disordered over time and the products go out of order. This can be caused by a number of factors, such as customers failure to return the product they are examining to, where the product has run out of stock, or if products on the shelf have fallen or changed direction. All these reasons are mostly monitored by store personnel. This is quite costly. In most stores, store personnel are additionally required to take on this responsibility beyond the time they devote to customers and the work of the store. First of all, the personnel find the planograms of the shelves and then try to find out if there is any inconsistency by scanning these shelves one by one. Considering the number of shelves and products in the store, it is obvious how troublesome and errorprone this job is. Nowadays, the possibilities of image acquisition have become widespread and camera can be placed in many devices. In addition, smartphones are now available in almost everyone's pocket for taking photos and recording videos. Thus, a system that is able to take and record shelf images by such devices at certain periods and process these images by image processing techniques to detect products and their positions on the shelves will allow automatic planogram compliance checking without manpower. In computer vision systems where image processing techniques and machine learning algorithms are nested, object recognition studies can be performed with high success rate. In this study, a system is being developed to determine the planogram compliance. The system, involving image processing techniques, uses reference planograms, shelf images observed in the store and single reference images of the products on the shelf. With the help of image processing techniques, the products in the planogram and the observed shelves were determined by SIFT and SURF attribute matching methods and the planogram compatibility was tried to be determined by using adjacent matrices created by these determined products. By determining the compatibility of planogram with a technology-oriented method, it is aimed to increase productivity in retail stores. When the planogram compatibility that the store staff tries to follow besides its main responsibility is determined with the help of technology, the staff will be able to devote more time to the customers and focus on their main responsibilities. In addition, planogram compatibility can be followed with higher accuracy and lower costs compared to human tracking. In this study, a system capable of determining planogram compatibility for the shelves in retail stores has been developed by making use of only reference planogram, observed shelf image and a model image information for each product. It is an important achievement that such a study can be done with the image processing techniques used in the system without requiring a large amount of data. In studies using deep learning techniques such as CNN used in object recognition systems, although the high success rate is generally achieved, the amount of data needed to start the study is very large and this large data set requires the tagging effort to include the test classes that are intended to be classified, so that it can be wider to use this method. it requires time and more effort. The thesis study consists of five sections. In the introduction section, which is the first part of the thesis, a detailed definition of the problem that is the subject of the thesis study has been made. The purpose of the study is mentioned and the feasibility and cost of the solution that can be developed for the problem are mentioned. In the literature research section, which is the second part of the thesis, the concept of planogram is examined and its purpose and gains and planogram compatibility are discussed. In other words, the importance and components of planogram compatibility are mentioned and what problems can be contributed to the solution of retail stores. In addition, the difficulties in the implementation of the planogram are explained and the suggestions about the solutions that can be developed are mentioned. The methods and algorithms used in image processing and computer imaging techniques are mentioned in detail. Object recognition algorithms used in image processing are expected to give different results depending on factors such as the quality of the images, the light of the environment, and the differences in perspective of the images to be compared. In order to reduce the error detection scenarios related to these factors, the algorithm that works best with the conditions of the situation should be selected. By using normalization processes such as filtering of noises other than the products sought in the images used as inputs, it may positively affect the stability and success rate of the system. In the third part of the thesis, the methods used for product recognition on store shelves are mentioned. The algorithm details of each method are mentioned. The methods were compared with each other and the pros and cons were evaluated. In the fourth section of the thesis proposed method, the solution tried to be developed in order to ensure planogram compatibility is mentioned. The steps of the designed method are explained in detail, and a flow diagram summarizing the system's operation is presented. In the experimental study and results section, which is the fifth section of the thesis, the details and results of the application designed using the method detailed in the third section are mentioned. In the experimental study, planogram and shelf compatibility were tried to be determined by using image processing techniques. The location of the products was determined on the images taken under appropriate conditions and neighborhood matrices were calculated. By comparing the neighbor matrices of the rack and planogram, planogram compliance or incompliance was determined. In the last section of study, further researches and possible improvement has been mentioned. The determination of planogram compliance with the help of technology will have direct effects such as more efficient use of human resources and cost savings in stores and markets that work with the rack layout. By maintaining planogram compliance, its indirect effect on sales will be better measurable.