Short Term Electricity Consumption Forecasting Using Long Short-term Memory Cells

Abstract

Energy is a crucial resource for the development of humankind. Economic and social progress of countries depend on their access to energy sources. Electrical power is proven a useful form of energy, which can be transmitted in distant areas and easily converted into other forms of energy. However, it is not possible to store energy in large quantities, which would meet the demand in a worldwide scale as of today. Thus, at any given time electricity supply needs to meet its demand. This challenging nature of electricity requires the system operators to have reliable predictions of electricity consumption for the future. In deregulated energy markets of today, system operators are not the only parties who are interested in having a reliable and efficient electricity load forecast. All market participants aim to have efficient models of market in order to predict future prices. Load forecasting is a vital element in their bidding strategies. Turkish Power Market is no different in this regard following the privatization effort after 2000s. Having a countrywide load forecast model is essential for all market participants including the TSO. Turkey is a geographically large country with different climate conditions during the same period. As input parameters, historical hourly temperature data of five cities in different regions of Turkey were selected. Istanbul, Ankara, Adana, Antalya and Diyarbakır were selected due to their geographical and economical importance. Historical hourly electricity consumption data is acquired from EXIST's transparency platform. In this study, a model is proposed for forecasting Turkey's electricity consumption in different time horizons. Recursive neural networks (RNN) are applicable in times series prediction efforts due to their ability to follow sequential behavior by changing temporal information. The long-short term memory (LSTM) cells are proposed to avoid RNN's vanishing gradient problem. LSTMs with different topologies are investigated to figure out the best performing LSTM topology. Model is developed in Python. TensorFlow and Keras libraries are utilized in training the model. There are three LSTM layers in all proposed topologies. Hard sigmoid and hyperbolic tangent activation functions are used in LSTM layers. Effectivenes of linear and sigmoid activation function at different learning rates are compared for the output layer. Early stopping and dropout methods are used to prevent over-fitting of the model on the training dataset. rMAE and rRMSE measurements are used to measure the accuracy of models and results of different topologies and input parameter sets are presented in 1-hour, 6-hours and 24-hours time horizons. In conclusion, results of the best performing model of this study are benchmarked against Turkish Transmission System Operator TEIAS' day-ahead load forecast of Turkey.

İnsanlığın gelişimi için enerji olmazsa olmaz bir kaynaktır. Ülkelerin ekonomik ve sosyal gelişimi, enerji kaynaklarına erişimlerine bağlıdır. Elektrik enerjisinin uzun mesafelerde iletilebilen ve kolayca diğer enerji biçimlerine dönüştürülebilen kullanışlı bir enerji formu olması, kullanım alanlarını arttırmaktadır. Ancak, bugün itibariyle dünya çapındaki talebi karşılayacak enerjiyi büyük miktarlarda depolamak mümkün değildir. Bu nedenle, herhangi bir anda şebekedeki elektrik arzının talebi karşılaması gerekir. Elektriğin bu zorlu niteliği, sistem operatörlerinin gelecek için elektrik yükü talebi konusunda güvenilir tahminlerde bulunmalarını gerektirmektedir. Günümüzün serbestleştirilmiş enerji piyasalarında, sistem operatörleri dışındaki diğer piyasa aktörleri de rekabetçi olabilmek adına güvenilir ve verimli bir elektrik yük tahminine sahip olmak durumundadırlar. Tüm piyasa katılımcıları, gelecekteki fiyatları tahmin edebilmek için etkili piyasa modellerine sahip olmayı hedeflemektedir. Yük tahmini, teklif stratejilerinde hayati bir unsurdur. 2000'li yılların sonundaki özelleştirme çabalarının ardından ortaya çıkan Türkiye enerji piyasası da bu konuda farklı değildir. Ülke çapında bir yük tahmin modeline sahip olmak, sistem operatörü dahil olmak üzere tüm piyasa katılımcıları için esastır. Elektriğe olan talep, ekonomik büyüme, sınai emek, günün saatleri, haftanın günleri, hafta sonları, ay, mevsim, tatiller ve hava koşulları gibi birçok faktöre bağlıdır. Enerji piyasalarının özelleştirilmesi, her katılımcının rakipler üzerinde bir çeşit avantaj sağlamak için daha iyi analiz ve tahmin modelleri için çaba gösterdiği rekabetçi pazarlara yol açmıştır. Elektrik talebi tahmini piyasa katılımcıları için çözümün önemli bir parçasıdır. Talep tahmini piyasa oyuncuları için ekonomik fayda sağlayabildiği gibi system işletmecisi için de system güvenliğini sağlayabilmek adına önemli bir araçtır. Talep tahmin modelleri üzerine çalışmalar piyasa katılımcıları ile sınırlı kalmamakta ve akademi dünyasının da ilgisini çekmektedir. Yük tahmini modellerinde çeşitli özellikler göz önünde bulundurulmalıdır. Bunlar iklim, demografik ve kültürün etkilerini yansıtmalıdır. Bu çalışmada, Türkiye'deki önemli şehirlerin sıcaklık verileri, banka tatilleri, gün tipleri ve İslami tatillerin yanı sıra dikkate alınmaktadır. Türkiye, aynı dönemde farklı iklim koşulları gözlenebilen, coğrafi olarak büyük bir ülkedir. Bu sebeple bu çalışmada sunulan modelin girdi parametreleri olarak, Türkiye'nin farklı bölgelerindeki 5 ilin tarihsel sıcaklık verileri seçilmiştir. Coğrafi ve ekonomik önemi nedeniyle İstanbul, Ankara, Adana, Antalya ve Diyarbakır illerinde geçmiş yıllarda gözlenen sıcaklık verileri kullanılmıştır. Belirli bir veri setindeki kalıpları aramak, uzun zamandır insanoğlunun arayışı olmuştur. Tarih boyunca insanlar çoğunlukla bu kalıpları bulmakta başarılı olmuşlardır. 20. yüzyılın ikinci yarısından itibaren insanlar, daha büyük veri setlerini daha yüksek doğrulukla işleyebilecek bilgisayarları, modelleri patern tanıma çabalarında kullanmaya başladılar. İlk makinelerden bazıları ön işlemci teknolojisine dayanıyordu. Ancak, bilgisayar programlarını geliştirirken hala yapılacak çok iş vardı. 1960'larda inşa edilmiş birçok yapay sinir ağı vardı ve bunlar genellikle 'kara kutu' olarak adlandırılıyordu. Yapay sinir ağları (YSA), geçtiğimiz on yılda makine öğrenmesi alanında kullanılan en popüler araç haline gelmiştir. Adına uygun olarak, yapay sinir ağı kavramı, insanın bilişsel sürecini taklit etmek için insanın sinir hücrelerinden ilham almıştır. Yapay sinir ağları, bu yapay nöronların birbirine bağlanmasıyla oluşur ve bu nöronların hesaplama gücü aslında ağ olarak modellendiğinde ortaya çıkar. Yıllar süren araştırmalar, bu nöronları rastgele birbirine bağlamak yerine bazı standartlaşmış topolojilerde birbirine bağlamanın modellerin hesaplama kabiliyetini geliştirmemize yardımcı olduğunu gösterdi. Farklı tür problemler için farklı topolojiler daha iyi sonuçlar verir ve bireysel problemin özel ihtiyaçlarına göre ayarlanması gerekir. Ağ, genellikle aralarında gizli bir katman bulunan girdi ve çıktı katmanlarından oluşur ve farklı girdilerin son çıktı üzerindeki etkisi ağırlıktadır. YSA'lar, insan beyninin anlayamayacağı kadar karmaşık veya veri yoğun olan patern tanıma görevlerinde uzmanlaşmıştır. Yapay sinir ağları, son on yılda makine öğrenmesi alanında kullanılan en popüler araç haline gelmiştir. Adına uygun olarak, yapay sinir ağı kavramı, insanın bilişsel sürecini taklit etmek için insanın sinir hücrelerinden esinlenmiştir. Ağ genellikle aralarında gizli bir katman bulunan girdi ve çıktı katmanlarından oluşur ve farklı girdilerin son çıktı üzerindeki etkisi ağırlıktadır. YSA'lar, insan beyninin anlayamayacağı kadar karmaşık veya veri yoğun olan örüntü tanıma görevlerinde uzmanlaşmıştır. Bu çalışmada, Türkiye' nin elektrik talebini farklı zaman dilimlerinde tahmin edecek bir model ileri sürülmüştür. Yapay sinir ağları (YSA) yöntemi kullanılarak hazırlanan modeler tanıtılmıştır. YSA'lar makine öğrenmesi uygulamalarında hızlı büyüyen bir alandır. Her biri belirli görevler için uygun çok sayıda YSA türü vardır. Tekrarlayan sinir ağları (recurrent neural network), modelin zaman serisi tahmin uygulamalarında daha iyi performans göstermesini sağlayan sıralı ve özyinelemeli özelliklere sahip YSA tipleridir. Tekrarlayan sinir ağlarının zincir benzeri yapısı silsile halindeki dizilerle ilişkilendirilebilir olmasını sağlamaktadır. Tekrarlayan sinir ağlarının dizi halindeki dataları üzerinde eğitilmesindeki başarı, vektör serileri üzerinde işlemler yapılailmesine olanak sağlamalarından dolayıdır. Uzun kısa süreli hafıza (LSTM) hücreleri, tekrarlayan sinir ağları modellerinde bulunan kaybolan gradyan problemini çözmektedir. LSTM'ler daha uzun sıralı verileri bellekte tutabilimekte ve bu da zaman serisi davranışını daha iyi tahmin etmelerini sağlamaktadır. Tekrarlayan sinir ağları (RNN), zamansal bilgileri değiştirerek sıralı davranışı takip etme yeteneklerinden dolayı zaman serisi öngörme çalışmalarında sıklıkla kullanılmaktadır. RNN'nin kaybolan gradyan sorununu önlemek için uzun kısa süreli hafıza (LSTM) hücreleri önerilmektedir. Model Python'da geliştirilmiştir ve makine öğrenmesinin icrasında TensorFlow ve Keras kütüphaneleri kullanılmıştır. Önerilen tüm topolojilerde üç LSTM katmanı vardır. LSTM katmanlarında sert sigmoid ve hiperbolik tanjant aktivasyon fonksiyonları, çıkış katmanı için ise lineer ve sigmoid aktivasyon fonksiyonları farklı öğrenme adımlarında karşılaştırılmıştır. Eğitimin veri setine modelin aşırı uyum göstermesini (over-fitting) önlemek için erken durdurma ve eğitimden düşürme (dropout) yöntemleri kullanılmıştır. Model, 3 farklı zaman diliminde tahminler verecek şekilde tasarlanmıştır. Modelin ilk çıkışı, bir sonraki saatin elektrik yükünü tahmin etmektedir. İkinci çıktı, sonraki 6 saati ve son çıktı ise önümüzdeki 24 saat için tahmin yapmaktadır. Bu zaman ufku, Gün Öncesi Piyasası ve Gün İçi Piyasası'ndaki günlük operasyonlara dayanarak seçilmiştir. En iyi performans gösteren LSTM topolojisini bulmak için farklı topolojilere sahip LSTM'lerin başarıları kıyaslanmıştır. Farklı topolojilere ve girdi setlerine sahip modellerin başarılarının kıyaslanmasında rMAE ve rRMSE ölçütleri kullanılmıştır. Ayrıca çıkış katmanında kullanılan aktivasyon fonksiyonunun sonuç üzerine etkilerini inceleyebilmek adına lineer ve sigmoid aktivasyon fonksiyonları farklı öğrenme adımlarında koşturularak, sonuçlar karşılaştırılmış ve en düşük hatayı veren model seçilmiştir. Son olarak olarak, bu çalışmanın en iyi performans gösteren modelinin sonuçları, Türkiye İletim Sistemi İşletmecisi TEİAS'ın gün öncesinde yayınladığı yük tahmin verileriyle karşılaştırılmıştır.