A semi-automatic façade generation methodology of architectural heritage from laser point clouds: A case study on Architect Sinan

Abstract

Tangible cultural assets from different periods and civilizations reinforce historical and cultural memories that are passed from generation to generation. However, due to natural events, lack of proper maintenance, or wars, the heritage structures can be damaged or destroyed over time. To preserve tangible cultural assets for the future, it is crucial to ensure that these buildings' maintenance, repair, and restoration are of high quality. Hence, the preliminary phase in any architectural heritage project is to obtain metric measurements and documentation of the building and its individual elements. In this direction, the acquired data and derived models are used for various purposes in the fields of engineering and architectural applications, digital modeling and reconstructions, virtual or augmented reality applications. However, conventional measurement techniques require tremendous resources and lengthy project completion time for architectural surveys and 3D model production. With technological advances, laser scanning systems became a preferred technology as a geospatial data acquisition technique in the heritage documentation process. Without any doubt, these systems provide many advantages over conventional measurement techniques since the data acquisition is carried out effectively and in a relatively short time. On the other hand, obtaining final products from point clouds is generally time-consuming and requires data manipulation expertise. To achieve this, the operator, who has the knowledge about the structure, must interpret the point cloud, select the key points representing the underlying geometry and perform the vectorizing process over these points. In addition, point data contains systematic and random errors. The noisy point cloud data and ambiguities make this process tedious and prone to human error. The purpose of this thesis is to reduce the user's manual work cycle burden in obtaining 3D models and products from point cloud data: A semi-automatic user-guided methodology with few interventions is developed to easily interpret the geometry of architectural elements and establish fundamental semantic relationships from complex, noisy point clouds. First, the conventional workflow and methodologies in cultural heritage documentation were researched, and the bottlenecks of the current workflow were examined. Then, existing methodologies used in point cloud-based 3D digital building reconstruction were assessed. From this, semi-automatic methods are evaluated for a more suitable approach to 3D digital reconstruction of cultural heritage assets, which are more complex than modern buildings. Recently, Building Information Modeling (BIM) process applications have gained momentum. BIM systems make many contributions to project management, from the design to the operation of new modern buildings. Research on the applications for existing buildings in BIM has increased. Particularly, such applications and research in cultural heritage are gathered under the term of Heritage/Historic-Building Information Modeling (HBIM). In HBIM, dedicated architectural style libraries are generated, and geometric models are produced by associating the geometries of architectural elements with point clouds. Such applications generally come for Western architectural elements, in which construction techniques and geometrical relations of architectural rules and orders have been documented with sketches and drawings for centuries. Detailed descriptions and fine sketches pertaining to the rules and style studies of Ottoman architecture are limited. Having been the capital of many civilizations, historic Istanbul is crowned with the many mosques of Architect Sinan, dating from the 16th century, the golden era of the Ottoman Empire. For his innovative structures, Architect Sinan is considered an architectural and engineering genius. Unfortunately, Sinan did not leave enough written or visual documentation of his works, and although many aspects of Sinan's works have been researched, few have worked on the geometry of the facade elements. Previous architectural research examines the ratios and compares the general architectural elements of Sinan's works (comparing the dimensions and location of the elements). Building on this and our observations of Sinan's mosques, we designed an object-oriented library of parametric objects for selected architectural facade elements. In addition, some fundamental semantic relations of the prepared object library elements were introduced. A case study for procedural modeling was then carried out. In the next stage, we evaluated that an algorithmic approach can be used to obtain parametric architectural elements from noisy point cloud data. We benefited from the Random Sample Consensus (RANSAC) algorithm, which has a wide range of applications in computer vision and robotics. The algorithm is based on the purpose of obtaining the parameters of a given mathematical model; it is a non-deterministic method based on selecting the required number of random data from the data set to create the model and measuring the extent to which the hypothesis produced is compatible with the entire data set by evaluating the model. The basics of this method work with a certain number of iterations and return outputs of the most suitable model parameters, the dataset that makes up the model, and the incompatible data. In addition, model-specific criteria and rules based on architectural knowledge were added to the developed methodology to reduce the number of iterations. All algorithmic codes were produced in Python language. In addition, we used libraries such as NumPy and for arrays and mathematical operations. For visualization studies, the open graphics library (Open Graphics Library, OpenGL) was carried out using the Visualization Tool Kit (VTK) on the graphics application development interface. In addition, python modules of VTK C++ source libraries were compiled using CMake software and Microsoft Visual Studio. As the application area of the study, one of the most important mosques of Istanbul Şehzade Mosque, which is Mimar Sinan's first selatin complex, was chosen. Point cloud data acquired with a terrestrial laser scanner for the documentation studies of the mosque was obtained for this study. Different case areas were determined from the point cloud datasets. Windows on the Qibla direction façade and the domes from the roof covering of the mosque were used, respectively. While making this choice, we considered the variety of window elements and Sinan's use of the dome influenced. In the case applications, the point cloud selected from the window areas was segmented semi-automatically using proposed method recursively at different window levels from the inside to the outside. In the other case study, the algorithm performed the segmentation of the main dome. As a result of this segmentation, point groups that are not included in the model are evaluated once more time using the Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm from Python's scikit-learn and presented to the user as a guiding output in the determination of architectural elements and deformations. Using the above-mentioned Sinan architectural dome typology relations with the main dome of the mosque, it was ensured that point clusters were formed in the modeling of other dome structures in the mosque. Finally, as an example, the parametric dome model was converted to Industry Foundation Class (IFC) format using open source CAD software. Integrity and accuracy comparisons were made using the outputs of the presented methodology and the CAD drawings produced by the restoration architects using the same data. The results were within acceptable limits for general-scale studies. Additionally, the presented method contributed to the interpretation of the data by saving time for expert users. In summary, a method has been developed for the semi-automatic extraction of architectural parametric models working directly on the 3D point cloud, specific to the Ottoman Classical Era Mosque, particularly Architect Sinan's works, using a data and model-oriented hybrid 3D building reconstruction approach.

Farklı çağ ve uygarlıklara ait taşınmaz kültür varlıkları inşaa edildikleri dönemlerin beşeri hafızasının nesiller boyunca aktarımında önemli görevler üstlenir. Doğa olayları, yetersiz bakım veya savaşlar gibi nedenler ile eserler zaman içerisinde yıpranarak tahrip olmakta veya tamemen yok olabilmektedir. Bu nedenle, günümüze kadar süregelen eserlerin yaşatılması, bakım ve onarımlarının gerçekleştirilmesi için nesnel belgelendirme çalışmalarına ihtiyaç duyulmaktadır. Bu doğrultuda eserlerin dijital kopya ve modelleri, mühendislik ve mimarlık uygulamaları, dijital modelleme ve rekonstrüsiyonlar, sanal veya arttırılmış gerçeklik uygulamaları gibi birçok alanda farklı amaçlarla kullanılmaktadır. Lazer tarayıcı sistemler, ölçme çalışmalarının etkin ve saha çalışmalarının kısa sürede gerçekleştirilmesinden dolayı yukarıda belirtilen amaçlarla yürütülen jeomekansal veri üretimi ve değerlendirme çalışmalarında sıklıkla tercih edilen bir teknolojidir. Öte yandan veri üretimi çalışmaları sonucu elde edilen nokta bulutlarından nihai ürünlerin elde edilmesi, uzun çalışma süreleri gerektirebilmektedir. Eser hakkında bilgisi olan uzman operatör noktalar kümesini yorumlayarak altında yatan geometriyi temsil eden noktaları seçmeli ve bu noktalar üzeriden çizim işlemini gerçekleştirmelidir. Bu işlemler oldukça meşakkatli ve insan hatasına açıktır. Ayrıca, nokta verileri sistematik ve rastgele hatalar da barındırmaktadır. Yürütülen bu tez çalışmasında nokta bulutu verilerinden 3D model ve ürünlerinin elde edilmesinde kullanıcıya bağlı manuel iş döngüsü yükünü azaltmak hedefiyle, mimari elemanların geometrisinin karmaşık nokta bulutu kümelerinden geliştirilen metodoloji ile kolay yorumlanması ve anlamsal ilişkilerinin kurulabilmesi için, kullanıcı rehberliğinde bir strateji uygulamak ve az müdahale ile otomasyonu arttırmak amaçlanmıştır. Öncelikle kültürel mirasın belgelendirilmesinde takip edilen konvansiyonel iş akışı ve metodolojileri incelenmiş, bu çalışmalarda dikkat edilmesi gereken temel hususlar ve mevcut iş akışındaki darboğaz noktaları irdelenmiştir. Literatür taramasında nokta bulutu tabanlı 3D dijital bina rekonstrüksiyonunda kullanılan metodolojiler incelenmiştir. Modern binalara kıyasla daha karmaşık eserler olan kültür mirası varlıklarının 3D dijital rekonstrüksiyonunda yarı otomatik yöntemlerin daha uygun olduğu görülmüş ve araştırma çalışması bu doğrultuda ilerletilmiştir. Ayrıca son yıllarda Yapı Bilgi Modelleme (Building Information Modeling, BIM) süreç çalışmaları hız kazanmıştır. Modern binaların tasarımından işletilmesine kadar olan sürecin proje yönetiminde birçok katkı sunan bu sistemin mevcut yapılarda uygulanması, taşınmaz kültür varlıklarının da bu sistemlere entegre edilmesi araştırma çalışmaları da ivme kazanmıştır. Eski eserlere yönelik gerçekleştirilen uygulamalar Miras-Yapı Bilgi Modelleri (Historic Building Information Modeling, H-BIM) başlığı altında toplanmaktadır. Bu yöntemde farklı mimari akım ve kültürlere ait mimari kütüphaneler oluşturulmakta ve mimari elemanların geometrileri nokta bulutları ile ilişkilendirilerek temel modeller hazırlanmaktadır. Bu türden uygulamalar ağırlıkla mimari kural ve elemanlara ait, yapım teknikleri ve geometrik ilişkilerinin eskiz ve çizimlerle yüzyıllardır belgelendirildiği Batı mimarisi çalışmalarıdır. Buna karşılık, Osmanlı mimarisine ilişkin kurallar ve üslup çalışmaları hakkında ayrıntılı betimlemeler ve detaylı eskizler yeterli değildir. Farklı uygarlıklara başkentlik yapmış İstanbul, Osmanlı İmparatorluğu'nun altın dönemi olan 16.yy'da, bu topraklarda yetişmiş, mimari ve mühendislik dehası kabul edilen Mimar Sinan'ın camileri ile adeta süslenmiştir. Ancak, Sinan bu konuda yazılı ve görsel yeterli bilgi bırakmamıştır. Literatürde Sinan eserlerinin birçok farklı yönü araştırılmış olmasına rağmen, cephe elemanlarının geometrisine yönelik sınırlı araştırma yapıldığı görülmektedir. Bahsedilen bu nedenlerle, araştırmalarda Sinan'a ait eserler üzerinden çeşitli oran ve kıyaslara gidilerek inceleme ve kabuller yapılmıştır. Bu oranlar ve yapılan uygulamalara ek olarak yapıların genel tasarımında görülen diğer oran ve ilişkiler de ele alınarak, örnek mimari cephe elemanlarına yönelik parametrik objeler olarak hazırlanmış, nesne yönelimli bir obje kütüphanesi tasarlanmıştır. Ayrıca, Sinan'ın cami eserlerinde yer alan farklı uygulamalarının ortak belirleyici özellikleri de göz önüne alınarak, hazırlanan obje kütüphanesi elemanlarına ait bazı temel semantik ilişkiler de tanıtılmıştır. Böylece işleve dayalı (procedural) modellemeye yönelik altlık bir çalışma da gerçekleştirilmiştir. Sonraki aşamada parametrik mimari elemanların nokta bulutu verilerinden elde edilmesinde kullanılan çeşitli algoritmlardan yararlanılabileceği değerlendirilmiş, bu doğrultuda bilgisayarlı görü ve robotik alanlarında geniş bir kullanım alanı bulunan Rastgele Örnek Uzlaşımı (Random Sample Consensus, RANSAC) algoritmasından yararlanılmıştır. Algoritma, temelinde matematiksel bir modelin parametrelerinin elde edilmesi amacıyla; veri kümesinden modeli oluşturmak için gereken sayıda rastgele verilerin seçilmesi ve üretilen hipotez modelin tüm veri kümesi ile değerlendirilerek ne oranda uyumlu olduğunun ölçülmesine dayanan deterministik olmayan bir yöntemdir. Belli bir sayıda yenileme ile çalışan metod en uygun model parametrelerini, modeli oluşturan veri kümesini ve uyuşumsuz veri kümesini çıktı olarak vermektedir. Ayrıca, iterasyon sayısını azaltmak üzere veri kümesinden seçilecek noktaların modele özel ön seçim kriterleri de geliştirilen metodolojiye eklenmiştir. Hazırlanan tüm algoritma yardımcı programlar Python dilinde kodlanmış, dizi ve matematiksel işlemler gibi çalışmalarda numpy gibi temel kütüphanelerinden yararlanılmıştır. Görselleştirme çalışmaları için açık grafik kütüphanesi (Open Graphics Library, OpenGL), grafik uygulama geliştirme arabirimi üzerinde Visualisation Tool Kit (VTK), kullanılarak gerçekleştirilmiştir. VTK C++ kaynak kütüphaneleri CMake yazılımı ve Microsoft Visual Studio kullanılarak derlenen Python modülleri kullanılmıştır. Çalışmanın uygulama alanı olarak İstanbul'un önemli camilerinden, Mimar Sinan'ın ilk selatin külliye eseri olan, Şehzade Camisi seçilmiştir. Caminin belgelendirme çalışmaları amacıyla yersel lazer tarayıcı ile elde edilmiş nokta bulutu verisi temin edilmiştir. Daha sonra nokta bulutu üzerinden farklı test alanları belirlenmiştir. Bunlar sırasıyla Kıble cephesi yönündeki pencere alanları ve cami çatı örtüsünü oluşturan kubbe alanlarıdır. Bu seçim yapılırken Sinan'ın kullandığı pencere elemanlarının çeşitliliği ve Sinan'ın kubbeyi kullanımı etkili olmuştur. Gerçekleştirilen ilk uygulama çalışmasında, pencere alanlarına ait seçilen nokta bulutları algoritmanın pencere iç ve dış farklı seviyelerinde özyinelemeli çalıştırılmasıyla, yarı-otomatik olarak segmente edilmiştir. Diğer örnek çalışmada, kullanılan algoritma ile ana ve farklı kubbelerin segmentasyonu gerçekleştirmiştir. Bu segmentasyon sonucunda modele dahil olmayan nokta grupları scikit-learn modülünde yer alan Gürültülü Uygulamaların Yoğunluğa Dayalı Mekansal Kümelenmesi (Density Based Spatial Clustering of Applications with Noise, DBSCAN) algoritması kullanılarak elde edilen nokta kümeleri, kullanıcıya mimari elemanların ve deformasyonların tespitinde yol gösterici bir çıktı olarak da sunulmuştur. Elde edilen cami ana kubbesi ile yukarıda bahsedilen Sinan mimari kubbe tipoloji ilişkilerinden yararlanılarak camide yer alan diğer kubbe yapılarının modellenmesinde nokta kümelerinin oluşturulması sağlanmıştır. Sonuçta örnek olarak parametrik kubbe modeli açık kaynaklı CAD yazılımı kullanılarak Endüstri Temelli Sınıf (Industry Foundation Class, IFC) formatına dönüştürülmüştür. Yürütülen çalışmalar ile restoratör mimar uzmanların aynı verileri kullanarak hazırlamış olduğu CAD çizimleri arasında bütünlük ve doğruluk kıyaslamaları yapılmış ve sonuçların genel ölçekli çalışmalar için kabul edilebilir sınırlar içerisinde olduğu görülmüştür. Ayrıca, verilerin yorumlanmasında uzman kullanıcılara zaman kazandırarak katkı sağlanmıştır. Özetle, veri ve model odaklı hibrit bir 3D yapı rekonstrüksiyon yaklaşımı kullanılarak, doğrudan 3D nokta bulutu verileri üzerinde çalışan mimari parametrik modellerin yarı-otomatik çıkarımına yönelik Osmanlı Klasik Dönem Camii Mimar Sinan yapıtları özelinde bir metod geliştirilmiştir.