Hyper-heuristics İn Dynamic Environments

Abstract

Son zamanlarda önerilen metotlar daha çok statik eniyileme problemleri için geliştirilmişlerdir. Fakat gerçek hayatta karşılaşılan eniyileme problemlerinin pek çoğu dinamik bir yapı göstermektedir. Dinamik bir ortamda, eniyileme yönteminin üzerinde çalışmaya başladığı ortamda zaman içinde değişimler olabilir. Ancak bu problemlerin çözümünde genelde bu dinamiklik göz ardı edilerek klasik eniyileme yaklaşımları uygulanmaktadır. Halbuki bu dinamikliği de göz önüne alarak çalışan bir eniyileme yaklaşımı, ortamdaki değişimleri hızlı bir şekilde izleyebilmeli ve bunlara uyum sağlayabilmek için adaptif olmalıdır. Eniyileme algoritması açısından bakıldığında problem ortamı, problemin tanımlı değerleri, eniyilemede kullanılan amaç fonksiyonları ve kısıtlardan oluşur. Ortamdaki dinamiklik, problem ortamını oluşturan bu parçalardan herhangi birisinde veya birkaçında meydana gelen tekil ya da eş zamanlı değişimlerden kaynaklanabilir. Farklı problemlerde bu değişimler de farklı özellikler göstermektedir. Bu özellikler genelde değişimlerin şiddetine, sıklığına, periyodik olup olmamasına göre sınıflandırılırlar. Ortamdaki dinamizmin özelliklerine göre farklı durumlarda farklı yaklaşımlar başarılı olmaktadır. Bu ise eniyileme yaklaşımını seçerken ortamdaki değişimlerin özelliklerinin bilinmesi anlamına gelir. Halbuki gerçek hayatta bu her zaman mümkün olmayabilir. Ayrıca ortamın gösterdiği değişimin özellikleri de zaman içinde değişebilir. Bu durumda başta seçilen yaklaşım, eniyilemenin ilerleyen aşamalarında başarılı olmayabilir. Üst-sezgiseller problem uzayında problem ile etkileşim halinde olan ve aday çözümü güncelleyen alt seviyedeki sezgiseller aracılığı ile arama yapar. Alt seviyede kullanılan, probleme özel sezgiseller ise problemin çözüm uzayında arama yaparlar. Bu nedenle alt seviyedeki sezgiseller, üst-sezgiseller ile problemin çözüm uzayı arasında bir ara katman olarak düşünülebilir. Böylece problem uzayında aramayı alt sezgiseller yapmış olur. Bu özellik sayesinde bir üst-sezgisel, uygun alt sezgisellerin kullanılmasıyla, değiştirilmeden çeşitli problemlere uygulanabilir. Sezgisel seçen üst-sezgiseller konusunda yapılan araştırmaların temel hedefi, eniyilemenin genelleştirme seviyesini yükselterek pek çok farklı problem domeninde ve farklı özellikler gösteren ortamlarda uygulanabilir bir yaklaşım geliştirmektir. Bu nedenle üst-sezgiseller, doğaları gereği adaptif yapıdadırlar. Bu özellikleri sayesinde dinamik ortamlardaki değişimlere, herhangi bir dış müdahale gerektirmeden hızla uyum gösterip, etkin çözümler üretebilirler. Bu tezde öncelikle literatürde var olan üst-sezgisellerin dinamik ortamlar için uygunluğu üzerinde çalışılmıştır. Elde edilen bilgiler ışığında dinamik ortamlarda başarılı çözümler üretecek yeni üst-sezgisel yaklaşım geliştirilmiş ve başarımı ölçülmüştür. Tezin ilk aşamasında, otuz beş tek çözüm üreten sezgisel seçen üst-sezgisellerin başarımını, farklı değişim dinamikleri sergileyen sürekli dinamik eniyileme problemleri için değerlendirdik. Deneylerde üzerinde çalışmak için yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılmıştır. Ayrık eniyileme problemleri için sezgisel seçen üst-sezgisellerin birçok başarılı uygulamaları olmasına rağmen, bilgimiz dahilinde, bu çalışma reel değerli (sürekli) eniyileme problemleri için sezgisel seçen üst-sezgisellerin ilk uygulamalarından biridir. Bunun yanı sıra bu çalışma, bu teknikleri kullanarak dinamik eniyileme problemlerini ele alan çok az çalışma arasında yer almaktadır. Deneysel sonuçlar göstermiştir ki; uygun bileşenli öğrenme tabanlı üst-sezgiseller ortamdaki farklı tipteki değişimlere hızlı bir şekilde tepki gösterebilmekte ve onları takip edebilmektedir. Bu çalışma üst-sezgisellerin dinamik eniyileme problemlerini çözmek için uygun olduğunu göstermektedir. İkinci aşamada, karınca kolonisi algoritmasından esinlenerek yeni öğrenme tabanlı üst-sezgisel yaklaşım, karınca tabanlı seçim, geliştirilmiştir. Önerilen üst-sezgisel düşük seviyeli bütün sezgisel çiftleri arasındaki feromon yoğunluklarının bir matrisini tutar. Her adımda bir sezgisel, önceden çağırılan sezgisel ile düşük seviyeli sezgisel kümesinden her bir eleman arasındaki feromon değerlerine göre seçilir. Bu çalışmada iyileştiren ve eşit hareket kabul yöntemi kullanılmıştır. Önerdiğimiz üst-sezgisel yönteminin başarımı yapay oluşturulmuş test problemi (Moving Peaks Benchmark) kullanılarak değerlendirilmiştir. Test sonuçlarına göre, önerilen yaklaşım daha önceden dinamik ortamlar için en iyi olarak belirlenen sezgisel seçme yöntemleri ile benzer sonuçlar vermiştir. Önerilen yaklaşım ortam değiştiğinde herhangi bir özel eyleme gerek duymamaktadır. Fakat hareket kabul yönteminin doğası gereği, her bir değişimden sonra üretilen ilk çözüm adayı niteliğine bakılmaksızın kabul edilmektedir. Bundan dolayı hareket kabul yöntemi ortamdaki değişikliği algılamak zorundadır. Bu çalışmada ortamdaki değişimleri algılamak için basit bir yöntem kullanılmıştır. Bu yöntemde şu anki çözümün başarım değeri her adımda tekrardan hesaplanmaktadır. Eğer şu anki çözümün başarım değerinde bir değişiklik varsa ortam değişmiş demektir. Sezgisel seçme yöntemi olarak seçin fonksiyonu, destekli öğrenme ve karınca tabanlı seçim kullanılmıştır. Test sonuçlarına göre yeniden değerlendirme yöntemi bütün yaklaşımların başarımını azaltmıştır. Bu çalışmada ayrıca önerilen yaklaşımın kapsamlı bir analizi yapılmıştır. Bu amaçla önerilen yaklaşımın adaptasyon yeteneği ve algoritmaların parametrelerinin başarıma etkisi incelenmiştir. Deneysel sonuçlara göre, önerilen yaklaşım hızlı bir şekilde değişimlere uyum sağlayabilmektedir. Önerilen yaklaşım parametre atamalarından çok fazla etkilenmemekte ve geniş aralıklı parametre değerleri için benzer sonuçlar vermektedir. Tezin son aşamasında, önerilen yaklaşımın başarımı üç farklı uygulamada değerlendirilmiştir. Öncelikle, sezgisel seçen üst-sezgiseller çok popülasyonlu hibrid bir çerçeve içinde kullanılmışlardır. Bu çerçeve çevrimiçi ve çevrimdışı öğrenme mekanizmalarına dayanan üst-sezgiseller ile dağılım tahmini algoritmasının hibridleştirilmesine olanak sağlamaktadır. İyi çözümler üretmek için olasılık vektörlerinin listesi ilk aşamada çevrimdışı olarak öğrenilir. İkinci aşamada iki ayrı popülasyon ve her popülasyonun kendi olasılık vektörleri vardır. Bir alt popülasyon dağılım tahmini algoritması kullanarak örneklendirilirken, diğer alt popülasyon çevrimiçi olarak uygun olasılık vektörünü çevrimiçi aşamada öğrenilen olasılık vektörleri listesinden örneklemek için üst-sezgiselleri kullanır. Önerilen hidrid yöntemin başarımı farklı sezgisel seçme yöntemleri kullanılarak denenmiştir ve Rastgele Permütasyon metodunun daha başarılı olduğu gözlemlenmiştir. Ayrıca bu hibrid yapı literatürde iyi bilinen benzer yaklaşımlarla karşılaştırılmış ve bunlara göre daha iyi sonuç verdiği gözlemlenmiştir. Önerilen yöntem dinamik ortamlar için önerilmiştir. Bununla birlikte, yöntemin statik ortamlardaki başarımını gözlemlemek için, ikinci uygulama olarak, önerilen metot HyFlex arayüzü üzerinde uygulanmıştır. HyFlex'in Java uygulaması CHeSC2011 yarışmasında kullanılmıştır. Bu uygulama altı statik problem domeni sağlamaktadır. Önerilen yaklaşımın başarımı yarışmadaki katılımcılarla karşılaştırılmıştır. Son uygulama olarak önerilen yaklaşımın başarısı gerçek dünya problemi kullanılarak değerlendirilmiştir. Yapay oluşturulmuş test problemleri problem örneklerini yaratmak için kullanılan önemli araştırma araçları olup verilen domende bu örneklerin özelliklerini kontrol etmemizi sağlar. Bu problem örnekleri farklı algoritmaların başarımını karşılaştırmak için çoğunlukla kullanılmaktadırlar. Öte yandan, gerçek dünya problemleri yapay olarak oluşturulan örneklerden farklı olabilir. Yapay örnekleri kullanarak yapılan algoritmaların test edilmesi verilen algoritmanın gerçek dünya problemi üzerindeki asıl performansını yansıtmayabilir. Dolayısıyla, bu çalışmada, Dinamik Gezgin Satıcı Problemi olarak bilinen gerçek dünya problemi ele alınmış ve önerilen yaklaşımın başarımı değerlendirilmiştir. Dinamik Gezgin Satıcı Problemi örneklerini oluşturmak için literatürde çokça kullanılan Gezgin Satıcı Problemi' nin örneklerine trafik faktörü eklenmiştir. Genel olarak, test edilen problemler üzerinde önerilen metodun iyi sonuç verdiği gözlemlenmiştir. En son yapılan testler üst-sezgisellerin genel bir yapı olduğunu vurgulamıştır. Üst-sezgiseller hiçbir değişikliğe ya da parametre ayarlarına gerek duymadan bu çalışmada kullanılan tüm eniyileme problemlerine uygulanmıştır.

Current state-of-the-art methodologies are mostly developed for stationary optimization problems. However, many real world problems are dynamic in nature. To handle the complexity of dealing with the changes in the environment, an optimization algorithm needs to be adaptive and hence capable of following the change dynamics. From the point of view of an optimization algorithm, the problem environment consists of the instance, the objectives and the constraints. The dynamism may arise due to a change in any of the components of the problem environment. Existing search methodologies have been modified suitably with respect to the change properties, in order to tackle dynamic environment problems. Population based approaches, such as evolutionary algorithms are frequently used for solving dynamic environment problem. Hyper-heuristics are high-level methodologies that perform search over the space of heuristics rather than solutions for solving computationally difficult problems. They operate at a higher level, communicating with the problem domain through a domain barrier. Any type of problem specific information is filtered through the domain barrier. Due to this feature, a hyper-heuristic can be directly employed in various problem domains without requiring any change, of course, through the use of appropriate domain specific low-level heuristics. Selection hyper-heuristics are highly adaptive search methodologies that aim to raise the level of generality by providing solutions to a diverse set of problems having different characteristics. In this thesis, we investigate single point search based selection hyper-heuristics in dynamic environments. We first work on the applicability of selection hyper-heuristics proposed in literature for dynamic environments. Then, we propose a novel learning hyper-heuristic for dynamic environments and investigate the performance of the proposed hyper-heuristic and its variants. In the first phase, the performances of thirty-five single point search based selection hyper-heuristics are investigated on continuous dynamic environments exhibiting various change dynamics, produced by the Moving Peaks Benchmark generator. Even though there are many successful applications of selection hyper-heuristics to discrete optimization problems, to the best of our knowledge, this study is one of the initial applications of selection hyper-heuristics to real-valued optimization as well as being among the very few which address dynamic optimization issues using these techniques. The empirical results indicate that learning selection hyper-heuristics which incorporate compatible components can react to different types of changes in the environment and are capable of tracking them. This study shows the suitability of selection hyper-heuristics as solvers in dynamic environments. In the second phase, we propose a new learning hyper-heuristic, called the {\em Ant-based Selection} ({\em AbS}), for dynamic environments which is inspired from the ant colony optimization algorithm components. The proposed hyper-heuristic maintains a matrix of pheromone intensities (utility values) between all pairs of low-level heuristics. A heuristic is selected based on the utility values between the previously invoked heuristic and each heuristic from the set of low-level heuristics. For this study, we employ the generic Improving and Equal acceptance scheme. We explore the performance of the proposed hyper-heuristic and its variants using Moving Peaks Benchmark (MPB) generator. The empirical results indicate that the proposed heuristic selection scheme provides slightly better performance than the heuristic selection scheme that was previously reported to be the best in dynamic environments. The proposed approach does not require any special actions whenever a change occurs in the environment. However, the first candidate solution generated after each change is accepted regardless of its quality. Therefore, the move acceptance needs to detect the change. In this study, we use a simple detection mechanism in which the current solution is re-evaluated at each step. If there is a change in the fitness of the current solution, a change is considered to be detected. We consider {\em Ant-based selection}, Choice Function and Reinforcement Learning as the heuristic selection methods. The results show that the re-evaluation process slightly deteriorates the performance of approaches for especially high frequency changes, however, the approach is suitable for cases where changes cannot be made known to the optimization algorithm. We then investigate the effect of the parameters of the proposed algorithm on overall performance. The results show that the settings of the parameters are not very sensitive and similar results are obtained for a wide range of parameter values. In the third phase, we explore the performance of the proposed hyper-heuristic through three different applications. As the first application, the selection hyper-heuristics are used in a hybrid multi-population framework. We use a hybridization of the Estimation of Distribution Algorithm (EDA) with hyper-heuristics in the form of a two-phase framework. We investigate the influence of different heuristic selection methods. The empirical results show that a heuristic selection method that relies on a fixed permutation of the underlying low-level heuristics is more successful than the learning approaches across different dynamic environments produced by a well-known benchmark generator. The proposed approach also outperforms some of the top approaches in literature for dynamic environment problems. Ant-based selection is proposed for dynamic environments. However, to see its performance in a stationary environment, Ant-based Selection is applied to six stationary optimization problems provided in HyFlex as the second application. The results are compared with the results of participants in CHeSC2011 competition. Finally, we present the performance of Ant-based Selection on a real-world optimization problem referred to as the Dynamic Traveling Salesman Problem. The overall results show that the proposed approach delivers good performance on the tested optimization problems. These last set of experiments also emphasize the general nature of hyper-heuristics. For all optimization problems in this study, all hyper-heuristics are applied without requiring any modifications or parameter tuning.