İklim değişikliklerini tespit edebilmek için, uzun yıllar boyunca yapılan gözlemler sonucunda elde edilen veriler günümüzde büyük veri sınıfında olmaktadır. Bu veri yığınlarının analizi geleneksel yöntemlerle mümkün olmadığından yeni modeller geliştirilmiştir. Map-reduce kütüphanesi de Google tarafından bilişim dünyasına kazandırılan dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan bu programlama modellerinden biridir. Mapreduce programlama modeli, büyük miktardaki verileri işlemek için yüksek maliyetli süper bilgisayarlar ve veri tabanı sunucuları yerine sıradan bilgisayarlardan oluşan bir ağ kullanır. Ağ üzerindeki bilgisayarlar üzerinde map ve reduce fonksiyonları paralel olarak çalıştırılır. Mapreduce mimarisi ağ üzerinde veriyi taşımak yerine verinin bulunduğu makinelere ilgili map veya reduce fonksiyonunu gönderir. Böylece ağ üzerinde oluşacak bant genişliği problemini ortadan kaldırır. Madreduce modeli farklı alanlarda kullanılabilmektedir. Bu çalışmada, Mapreduce modeli günlük meteorolojik verilerden anlamlı sonuçlar üretebilmek için kullanıldı. Tüm dünyanın en belirgin sorunu olan iklim değişiklikleri ülkemiz için de büyük bir problemdir. Çünkü iklim değişikliklerinin etkisi ile kullanılabilir tatlı su kaynaklarının azalacağı, ortalama sıcaklıklarının artacağı, az ılıman alanlarda uzun kuraklıklara ve çöller oluşturmaya sebep olabileceği düşünülmektedir. Yapılan tez çalışmasında Karadeniz Bölgesine ait meteorolojik veriler analiz edilerek söz konusu iklim değişikliklerin olup olmadığı saptanılmaya çalışılmıştır. Meteoroloji 10. Bölge Müdürlüğünden günlük yağış, sıcaklık, rüzgâr, nem, basınç, 20 cm toprak altı sıcaklığı, 50 cm toprak altı sıcaklığı, açık yüzey buharlaşma miktarı, güneşlenme süresi ve güneş şiddeti bilgileri alındı. Alınan bu verilerin yıllık ortalamaları tam dağıtık modda çalıştırılan Hadoop/Mapreduce yöntemi kullanılarak hesaplandı. Elde edilin verilerin trend analizleri için parametrik olmayan Mann-Kendall testi ve Spearman’ın Rho testi uygulandı. Çalışma sonunda günlük ortalama sıcaklık, günlük ortalama toprak altı sıcaklığı (50 cm için), günlük ortalama nem ve günlük ortalama açık yüzey buharlaşma verilerinin artan yönde bir trende sahip olduğu görülmüştür. Anahtar Kelimeler: HADOOP, Spearman’ın Rho, Mann-Kendall.
In order to detect climate changes, the data obtained as a result of observations made over many years are in the large data class nowadays. Since the analysis of these data stacks is not possible with conventional methods, new models have been developed. The Mapreduce library is one of those programming models that allows very large data to be easily analyzed on the distributed architecture that is gained to the world of informatics by Google. The Mapreduce programming model uses a network of ordinary computers instead of high-cost supercomputers and database servers to handle large amounts of data. The map and reduce functions are executed in parallel on the computers on the network. Mapreduce architecture sends relevant map or reduce function to the machines where the data is stored instead of moving the data over the network. This situation eliminates the problem of bandwidth on the network. Madreduce model can be used in different areas. In this study, Mapreduce model was used to produce meaningful results from daily meteorological data. Climate change, which is the most obvious problem of the whole world, is a major problem in our country, too. It is thought that because of the effects of climate change, available freshwater resources can be reduced, mean temperatures will increase, long term droughts in less temperate areas and deserts. In the thesis study, meteorological data belonging to the Black Sea Region were analyzed and it was tried to determine whether there are climate changes. Daily precipitation, temperature, wind, humidity, pressure, 20 cm soil temperature, 50 cm soil temperature, open surface evaporation amount, sunshine duration and solar intensity information were obtained from the Meteorology 10th Regional Directorate. This data is calculated using the Hadoop / Map-reduce method, which runs in full distributed mode. For the trend analysis of the obtained data, Mann-Kendall test and Spearman's Rho test, which are non-parametric,were applied. At the end of the study, daily mean temperature, daily average mean soil temperature (for 50 cm), daily mean moisture and daily mean open surface evaporation data were found to have a increased trend. Keywords: HADOOP, Spearman’ın Rho, Mann-Kendall.
Tez (Yüksek Lisans) - Süleyman Demirel Üniversitesi, Fen Bilimleri Enstitüsü, Elektronik ve Bilgisayar Eğitimi Anabilim Dalı, 2018.
Kaynakça var.
İklim değişikliklerini tespit edebilmek için, uzun yıllar boyunca yapılan gözlemler sonucunda elde edilen veriler günümüzde büyük veri sınıfında olmaktadır. Bu veri yığınlarının analizi geleneksel yöntemlerle mümkün olmadığından yeni modeller geliştirilmiştir. Map-reduce kütüphanesi de Google tarafından bilişim dünyasına kazandırılan dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan bu programlama modellerinden biridir. Mapreduce programlama modeli, büyük miktardaki verileri işlemek için yüksek maliyetli süper bilgisayarlar ve veri tabanı sunucuları yerine sıradan bilgisayarlardan oluşan bir ağ kullanır. Ağ üzerindeki bilgisayarlar üzerinde map ve reduce fonksiyonları paralel olarak çalıştırılır. Mapreduce mimarisi ağ üzerinde veriyi taşımak yerine verinin bulunduğu makinelere ilgili map veya reduce fonksiyonunu gönderir. Böylece ağ üzerinde oluşacak bant genişliği problemini ortadan kaldırır. Madreduce modeli farklı alanlarda kullanılabilmektedir. Bu çalışmada, Mapreduce modeli günlük meteorolojik verilerden anlamlı sonuçlar üretebilmek için kullanıldı. Tüm dünyanın en belirgin sorunu olan iklim değişiklikleri ülkemiz için de büyük bir problemdir. Çünkü iklim değişikliklerinin etkisi ile kullanılabilir tatlı su kaynaklarının azalacağı, ortalama sıcaklıklarının artacağı, az ılıman alanlarda uzun kuraklıklara ve çöller oluşturmaya sebep olabileceği düşünülmektedir. Yapılan tez çalışmasında Karadeniz Bölgesine ait meteorolojik veriler analiz edilerek söz konusu iklim değişikliklerin olup olmadığı saptanılmaya çalışılmıştır. Meteoroloji 10. Bölge Müdürlüğünden günlük yağış, sıcaklık, rüzgâr, nem, basınç, 20 cm toprak altı sıcaklığı, 50 cm toprak altı sıcaklığı, açık yüzey buharlaşma miktarı, güneşlenme süresi ve güneş şiddeti bilgileri alındı. Alınan bu verilerin yıllık ortalamaları tam dağıtık modda çalıştırılan Hadoop/Mapreduce yöntemi kullanılarak hesaplandı. Elde edilin verilerin trend analizleri için parametrik olmayan Mann-Kendall testi ve Spearman’ın Rho testi uygulandı. Çalışma sonunda günlük ortalama sıcaklık, günlük ortalama toprak altı sıcaklığı (50 cm için), günlük ortalama nem ve günlük ortalama açık yüzey buharlaşma verilerinin artan yönde bir trende sahip olduğu görülmüştür. Anahtar Kelimeler: HADOOP, Spearman’ın Rho, Mann-Kendall.
In order to detect climate changes, the data obtained as a result of observations made over many years are in the large data class nowadays. Since the analysis of these data stacks is not possible with conventional methods, new models have been developed. The Mapreduce library is one of those programming models that allows very large data to be easily analyzed on the distributed architecture that is gained to the world of informatics by Google. The Mapreduce programming model uses a network of ordinary computers instead of high-cost supercomputers and database servers to handle large amounts of data. The map and reduce functions are executed in parallel on the computers on the network. Mapreduce architecture sends relevant map or reduce function to the machines where the data is stored instead of moving the data over the network. This situation eliminates the problem of bandwidth on the network. Madreduce model can be used in different areas. In this study, Mapreduce model was used to produce meaningful results from daily meteorological data. Climate change, which is the most obvious problem of the whole world, is a major problem in our country, too. It is thought that because of the effects of climate change, available freshwater resources can be reduced, mean temperatures will increase, long term droughts in less temperate areas and deserts. In the thesis study, meteorological data belonging to the Black Sea Region were analyzed and it was tried to determine whether there are climate changes. Daily precipitation, temperature, wind, humidity, pressure, 20 cm soil temperature, 50 cm soil temperature, open surface evaporation amount, sunshine duration and solar intensity information were obtained from the Meteorology 10th Regional Directorate. This data is calculated using the Hadoop / Map-reduce method, which runs in full distributed mode. For the trend analysis of the obtained data, Mann-Kendall test and Spearman's Rho test, which are non-parametric,were applied. At the end of the study, daily mean temperature, daily average mean soil temperature (for 50 cm), daily mean moisture and daily mean open surface evaporation data were found to have a increased trend. Keywords: HADOOP, Spearman’ın Rho, Mann-Kendall.