LEE- Bilgisayar Bilimleri-Yüksek Lisans

Bu koleksiyon için kalıcı URI

http://hdl.handle.net/11527/19204

Gözat

Yazar "Töreyin, Behçet Uğur" ile LEE- Bilgisayar Bilimleri-Yüksek Lisans'a göz atma
  • Öge
    CNN-based server state monitoring and fault diagnosis using infrared thermography
    (Graduate School, 2022) Wiysobunri, Beltus Nkwawir ; Erden, Hamza Salih ; Töreyin, Behçet Uğur ; 714446 ; Computer Sciences Programme
    Over the last few decades, data centers (DCs) have rapidly evolved to become the backbone of some of the world's most critical and prominent institutions such as banking, health, information and communication technology (ICT) industries. This exponential growth is triggered by the dramatic increase in the number of internet users and the high demand for diverse cloud-based applications such as Big Data, artificial intelligence (AI), internet of things (IoT), etc. As a consequence, there has been a simultaneous rise in the number of DCs and the amount of electricity consumption of DCs. This increase introduced new complex challenges in the DC facility such as thermal management, system reliability sustenance and server failure minimalization. To tackle these challenges, computational fluid dynamic (CFD) models have been proposed in the literature. The CFD models are capable of accurately describing the DC thermal dynamics and temperature distributions although they are computationally expensive. The availability of huge data and computational power has introduced machine learning (ML) data-driven approach as a promising method. Data-driven techniques have the ability to find complex patterns and relationships in data between system parameters without explicit knowledge of the physical behaviour of the system. However, their performance is limited by several factors including the type of data, feature extraction methods, and choice of algorithm. A hybrid approach that integrates CFD models with data-driven models provides an attractive alternative solution. However, it suffers from the drawbacks of both CFD and ML data-driven methods. In this study, we evaluate for the first time in the literature, seven state-of-the-art deep pretrained convolutional neural network (CNN)-based architectures and two shallow CNN-based architectures applied on server surface infrared thermography (IRT) images for the automatic diagnosis of five server operation conditions. These conditions include partial processor (CPU) load, maximum CPU load, main fan failure, CPU fan failure, and server entrance blockage. Our approach is a supervised learning approach based on the concept of transfer learning which involves two main stages. First, a CNN model classifier pretrained on the large ImageNet dataset is used to extract lower level features. Second, the IRT images are used to fine-tune the higher levels of the CNN model classifier. A stratified five-fold cross-validation resampling method is used to evaluate the effectiveness and generalization of the shallow and deep model architectures for five data sample split ratios. Results suggest that the CNN architectures achieve high prediction performance accuracies, with the majority having above 98% test accuracies across multiple split ratios. These results are significantly higher than those obtained using a traditional support vector machine classifier trained on handcrafted features. The effectiveness and robustness of the CNN-based algorithms can provide DC operators with an alternative approach to improve thermal management, energy efficiency, and system reliability of servers in DCs.
  • Öge
    Comparative analysis of deep learning components on compressed domain action recogniton framework
    (Graduate School, 2022) Yağar, Hüseyin Onur ; Töreyin, Behçet Uğur ; 704191023 ; Computer Science Programme
    Size of digital information have been increasing with developing technologies in last two decades. Today, the size of data that people obtain by using digital tools is quite high. This data can be categorized to different branches: Text, sound, image etc. Although it was quite difficult to process the obtained data manually at the past, it becomes almost impossible at the moment. For these reasons, it is necessary to use automated systems during the processing of data. Artificial intelligence systems are important automated tools for processing data and extracting meaning from it. Extraction of the information in images by performing different operations on images is called image processing. Processing can be done on a single image or on video images. Video images contain time information in addition to single image. Based on the time information, it is possible to have knowledge about the motion information of the objects in the images. Understanding of a movement, motion in images by using some image processing operators is called activity recognition in computer vision field. The operators used during activity recognition differ according to the methods used. In addition to traditional feature extraction methods, Convolutional Neural Networks are frequently used recently. Convolutional Neural Networks are very effective for solving problems such as classification of images, tracking objects and activity recognition in computer vision. No manual operation is performed during the feature extraction process. The whole process is automated by the CNN. However, the number of operations performed during the process of CNN is quite high. In addition, the training required for these systems to give proper results requires a high number of labeled data. Data processing can be performed on raw data as well as on compressed data. The most successful examples of data compression methods can be found in video compression techniques. As a result of video compression processes, it is ensured that the repetitive information in the videos is extracted and removed from the video. Thus, as a result of the compression process, only necessary and simple information is obtained. Raw videos and compressed videos can be used for the activity recognition problem. Activity recognition on data obtained from compressed videos is faster and more effective. In the light of the information and methods mentioned above, a study was carried out on the comparison of activation functions and neural network types on the compressed domain activity recognition system. According to this study, a low cost but effective neural network was sought instead of the backbone neural network used on the system. Trainings were carried out with different neural networks. When the results were examined, the advantages and weaknesses of the neural networks relative to each other were seen. ResNeXt neural network's number of parameter - training success data was sufficient according to the backbone neural network ResNet. A different study was carried out by expanding the analysis studies on activation functions. During the analysis, trainings were conducted with 5 different activation functions and the results were reported. Among the activation functions, those belonging to the ReLU family of functions showed a more successful result.
  • Öge
    Tek sahneli sıkıştırılmış videoda anomali tespiti
    (Lisansüstü Eğitim Enstitüsü, 2022-02-14) Çavaş, Sümeyye ; Töreyin, Behçet Uğur ; 704181019 ; Bilgisayar Bilimleri
    Sürekli olarak gelişen dünyamız sağladığı birçok kolaylık ile birlikte bunların bir sonucu olarak ortaya çözülmesi gereken yeni problemler çıkarmaktadır. Bu durum, teknolojinin sürekli olarak gelişmesi ihtiyacını doğurmuştur. Bu teknolojik gelişmenin bir parçası olarak, günden güne gelişen, yeni özelliklere sahip olan, giderek daha küçük bir boyuta sığdırılan ve erişebilirliği tüm dünyayı kapsamış olan kameraları gözümüzü çevirdiğimiz her tarafta görebilmekteyiz. Bu kadar etrafımızda olan kameralardan her bir gün veri kaydının gerçekleştirildiğini düşündüğümüzde, kaydolan bu veri miktarının muazzam seviyelere ulaşabileceğini çok rahat bir şekilde söyleyebiliriz. Ortaya çıkan bu verilerin insanlar tarafından sürekli olarak takip edilip kontrol altına alınması mümkün değildir. Bu noktada, çözüm olarak birçok sektörde insandan bağımsız akıllı sistemler geliştirilmiştir ve halen geliştirilmeye devam edilmektedir. Örnek olarak, pazarlama sektöründe bir ürüne olan talebin daha çok nasıl artırılabileceği gibi yada sağlık sektöründe bir hastalık için daha doğru karar veren sistemlerin nasıl geliştirilebileceği gibi yada savunma sektöründe daha güvenli sistemlerin nasıl oluşturulabileceği ve yolunda gitmeyen birşeyler olduğunda nasıl farkedilebileceği gibi çeşitli sorulara akıllı cevaplar sunan sistemler düşünülebilir. Bu tezde, kameralardan toplanan veriler üzerinde akıllı bir çıkarım yapma çalışması gerçekleştirilmiştir. Bu çıkarım, kameradan alınan bir video verisinin, normal seyrinde hareket edip etmediğini veya anormal herhangi bir durum içerip içermediğini tespit etmek şeklindedir. Bu çalışma, bir videonun çerçeve bazlı düzenlilik değerini grafik üzerinde gösterme ve tüm test videolarını kapsayacak şekilde modelin performansını değerlendirme şeklinde oluşturulmuştur. Videoda anomali tespiti üzerine şuana kadar birçok çalışma gerçekleştirilmiştir. Bu çalışmayı diğerlerin ayıran en önemli özellik, çalışmanın sıkıştırılmış video alanında ortaya çıkan hareket vektörleri kullanılarak gerçekleştirilmiş olmasıdır. Video sıkıştırma üzerine birçok standart geliştirilmiştir. Bu çalışmada, günümüzde yaygın olarak kullılan video sıkıştırma standartlarından biri olan H.265 standardına göre sıkıştırılmış olan videolar kullanılmıştır. Çalışma boyunca veri kümesi olarak, UCSD Pedestrian veri kümesi kullanılmıştır. Bu veri kümesinde, yaya yolu üzerindeki iki ayrı kameradan elde edilen videolar çerçeveler halinde sunulmuştur. Bu çerçeveler üzerindeki hareket vektörlerini çıkarabilmek için çeşitli işlemler gerçekleştirilmiştir. İlk olarak, bu çerçeveler bir araya getirilerek videolar oluşturulmuştur. Daha sonra her bir videonun sıkıştırılması amaçlanmıştır. Bunun için International Telecommunication Union (ITU) tarafından paylaşılan açık kaynak kod kullanılmıştır. Bu kaynak kodun derlenmesi sonucunda ortaya çıkan çalıştırılabilir dosya kullanılarak videolar üzerinde sıkıştırma işlemi gerçekleştirilmiştir. Sıkıştırma işleminden sonra, H.265 standardında, diğer bir ismi ile High Efficiency Video Coding (HEVC) standardında oluşmuş, .hevc uzantılı video verileri elde edilmiştir. Sıkıştırılan .hevc uzantılı videolar yine açık kaynak kodlu, GitlHevcAnalyzer analiz aracı kullanılarak incelenmiştir. Bu analiz aracı sıkıştırılmış videoya ait çeşitli bilgileri videonun çerçeveleri üzerinde göstermektedir. Ayrıca bu çerçeveleri üzerinde yer alan bilgiler ile indirmeye olanak sağlamaktadır. Bu araç sayesinde, sıkıştırılmış video üzerindeki hareket vektörleri videonun çerçeveleri üzerinde gösterilip, hareket vektörlerinin yer aldığı çerçeveler indirilerek kullanılmak üzere dışarıdaki bir ortama aktarılabilmektedir. Ayrıca bu araç açık kaynak kodlu olduğu için geliştirilip özelleştirilebilir hale getirilebilmesi de mümkündür. Örnek olarak, araç tarafından her bir çerçevenin tek tek indirilmesi mümkündür. Bizim çalışmamızda kullandığımız veri kümesinde ise 9210 tane çerçeve yer almaktadır. Bunların hepsinin araç üzerinden tek tek indirilmesi oldukça zahmetli ve uzun süren bir iş olacaktır. Bu süreci kolaylaştırmak amacıyla, bir videonun tüm çerçevelerini üzerindeki bilgiler ile birlikte tek seferde indirip dış ortama aktaracak kod geliştirilmiştir. GitlHevcAnalyzer aracı bu şekilde özelleştirilerek veri çıkarma sürecinin kolaylaşması sağlanmıştır. Hareket vektörlerini içeren çerçeveler model tarafından kullanılabilir hale gelmesi için çeşitli önişleme adımladından geçirilmiştir. İlk olarak sıkıştırma sonucunda hareket vektörlerinin asıl ortaya çıktığı 8 ve 8'in katı olan çerçeveler seçilmiştir. Diğer çerçeveler elenerek veri kümesine dahil edilmemiştir. Sonrasında, çerçeveler üzerindeki hareket vektörlerinin daha net bir şekilde görünmesi için, çerçevelerin yükseklik ve genişliği 480x720 olacak şekilde artırılmıştır. Daha sonra, hareket vektörleri dışındaki pikseller beyaz olacak şekilde tüm çerçeveler düzenlenmiştir. Böylece, çerçeveler üzerinde sadece hareket vektörleri bilgisinin yer alması sağlanmıştır. Son olarakta görüntüler grayscale formatına getirilmiştir. Bu işlem ile birlikte çerçeveler üzerindeki önişlemeler tamamlanarak model tarafından kullanılabilir hale getirilmiştir. Videoda anomali tespiti gerçekleştirmek için varyasyonel otomatik kodlayıcı tabanlı model kullanılmıştır. Bu varyasyonel otomatik kodlayıcıya, hareket vektörlerini içeren çerçeveler üçerli gruplar halinde verilmiştir. Böylece modelin geçmiş çerçevelerden de öğrenebilmesi sağlanmıştır. Varyasyonel otomatik kodlayıcının ilk katmanlarını konvolüsyonel katmanlar oluşmaktadır. Bu sayede, video çerçevelerindeki uzamsal bilgilerin öğrenilmesi amaçlanmıştır. Sonraki katmanlarını ise konvolüsyonel LSTM katmanlarından oluşmaktadır. Bu sayede ise, video çerçeveleri arasındaki zamansal bilgilerin öğrenilmesi amaçlanmıştır. Böylece, videodaki anomalinin, uzam-zamansal bir öğrenme gerçekleştiren varyasyonel otomatik kodlayıcının temelinde yer alan yeniden oluşturma hatasına dayalı olarak tespit edilmesi amaçlanmıştır. İlk olarak, tamamen normal videolardan oluşan eğitim kümesi ile model eğitilmiştir. Sonrasında, gerçekleştirilen eğitim sonucunda oluşan yeniden oluşturulma hatasının dağılımından yararlanılarak eşik değer seçimi yapılmıştır. Çerçeve bazlı anomali tespiti yaparken bu eşik değer kullanılmıştır. Model performansını değerlendirmek için iki farklı yöntem kullanılmıştır. İlk olarak, her bir test videosu için çerçeve bazlı düzenlilik skoru grafiği çıkarılmıştır. Bu grafik sayesinde videonun hangi çerçevesinden itibaren anormal bir durum gerçekleştiği, hangi çerçevelerden itibaren normale dönüldüğü gözlemlenebilmektedir. Test veri kümesinde normal ve anormal olacak şekilde çerçeve bazlı bir etiketleme mevcuttur. Bu çalışmada da, test veri kümesinde yer alan her bir videonun çerçeveleri için seçilen eşik değere göre tahminleme yapılmıştır. Böylece, ikinci olarak da, model tarafından yapılan tahminleme ile gerçek veri etiketleri kullanılarak modelin çerçeve bazlı tahminleme performansı değerlendirilmiştir. Oluşturulan düzenlilik skoru grafikleri incelendiğinde video akışına göre genel olarak tutarlı sonuçlar gösterdiği gözlemlenmiştir. Çerçeve bazlı etiketlemenin sonuçaları incelendiğinde ise, UCSD Ped1 veri kümesinde anormal çerçevelerin %60'lık kısmının, UCSD Ped2 veri kümesinde ise anormal çerçevelerin %78'lik kısmının tespit edilebilidiği görülmüştür. Sonuç olarak, bir videonun çerçevelerindeki tüm bilgileri kullanmak yerine, sadece bu çerçevelerdeki hareket vektörleri kullanılarak yapılmış olan bu çalışmanın etkin sonuçlar çıkardığı görülmüştür.