Yerleşik sensör kullanılarak NVIDIA Jetson gömülü GPU'ların güç ve enerji tüketiminin ölçülmesi

Abstract

Günümüzde GPU'lar iyi bir geliştirme seçeneği haline gelmiştir. Çünkü daha yüksek performans ve daha iyi enerji verimliliği sağlayabildikleri görülmüştür. Artan hesaplama gücüyle birlikte ısınma, pil ömrü ve enerji tüketimi önemli hale gelmiştir. GPU üzerinde çalıştırılacak uygulamaların enerji optimizasyonu yolunda ilk olarak işlemci seviyesinde doğru güç ölçümlerine ihtiyaç vardır. Ancak güç tüketiminin doğru şekilde ölçülmesi kolay bir işlem değildir. Çünkü GPU'ların yazılım ve donanım mimarileri karmaşıktır ve geliştiricileri tarafından detaylı şekilde raporlanmamaktadır. Güç ölçümü için doğrudan ölçüm ve dolaylı ölçüm olmak üzere iki yöntem bulunmaktadır. Doğrudan ölçüm tekniklerinde harici veya dahili güç ölçerler kullanılmaktadır. Dolaylı ölçüm tekniklerinde ise bir model kullanılarak güç tüketimi tahmin edilmektedir. NVIDIA Jetson ailesi, yapay zekâ uygulamaları için düşük güç tüketimi ile yüksek performans sunan uç cihazlardır. Bant genişliği ve gecikmenin önemli olduğu yüksek performans gerektiren uygulamalar için uygundur. Geçmişten günümüze değin birçok işlemcinin güç ve enerji tüketimi araştırılmıştır. Bu çalışmada NVIDIA Jetson TX2 modülünde bulunan yerleşik güç sensörü kullanılarak GPU'nun güç ölçümleri alırken gözlemlenen bulgular anlatılmaktadır. Güç profili zamana karşı güç tüketimini gösteren grafiktir. Bu grafiğin altında kalan alan enerji tüketimine karşılık gelir. Yerleşik sensörün örnekleme hızı kısıtlıdır ancak ek donanıma ihtiyaç olmadan kolay şekilde güç profili çıkarılmasına olanak sağlar. Yerleşik sensörden elde edilen güç verileri ile ilgili tutarsız davranışlar gözlemlenmiştir. Örneğin, bir GPU çekirdek programı arka arkaya iki kez çalıştırıldığında, güç tüketimi ilk yürütmede boşta seviyeden başlarken ikinci yürütmede daha yüksek seviyeden başlamaktadır. Sonuç olarak, aynı programın enerji tüketimi ikinci yürütmede daha fazla hesaplanmaktadır. Bu çalışmada, NVIDIA Jetson gömülü GPU'larda koşan uygulamaların güç ve enerji tüketimini doğru şekilde ölçmek için bir yöntem sunulmaktadır. Önerilen yöntem kullanılarak popüler birkaç evrişimsel sinir ağının çıkarım yaparken tükettiği güç ve enerji değerleri hesaplanmıştır. NVIDIA TensorRT optimizasyon seçeneklerinin ve NVIDIA Jetson TX2'de sunulan güç modlarının güç ve enerji tüketimi üzerindeki etkisi incelenmiştir.