MongoDB hakkında

MongoDB , NoSQL veritabanları arasında en popüler olanlardan. MongoDB ölçeklenebilirlik açısından güzel bir çözüm sunsa da bu sistemi yönetmek biraz zor olabilir. Veritabanın read/write performansını artırmak için shard özelliği ile yatay ölçekleyebilirsiniz. Ancak bu özelliği kullanmanız için önerilen sistemde 1 mongos proxy server, 3 config server, 2 shard(replica set herbiri  mongod server) toplam 10 server kurulumu yapmak gerekiyor. Veriler shardlar üzerinne config serverlarda bulunan ayarlara göre dağıtılır. Yani her hangi bir shard çöktüğünde verilen bütününe ulaşılamaz. Bu nedenle replica set kullanımı önerilir. Replica set 3 mongod instancedan oluşur. 1 primary, 2 secondary mongod belirlenir. Primaryde çıkan bir sorunda secondary devreye otomatik geçebilir. Başangıç projeleri için bu nedenle , shard kullanımı çok gerekli değilse   pek kullanışlı olmayabilir. Bu özellikler zaten yüksek trafiiğe sahip servisler için düşünülmüş bir yapıdır. Ayriyeten böyle bir alt yapı için çokça masraf ortaya çıkar.MongoDB'de diğer NoSQL veritabanları gibi ACID özelliklerini pek sağlamıyor. Bir server çökmesi sonucu veri kaybı yaşayabilirsiniz.Veriler diske yazılmadan hafızan bile çekilebilmesi performans açısından iyi olsa da kritik veriler için kötü sonuçlara sebep olabilir. Foursquare 2 yıl önce böyle bir durumla karşılaşmış ve 11 saat boyunca servis sağlayamamıştı.

Slide Share uygulaması

Slide share uygulaması gerçekten güzel bir uygulama. Slayt dosyalarını online olarak görüntüleyebiliyorsunuz.
Ben yararlı bulduğum bir kaç microsoft power point sunumunu yüklemiştim. Sonrasında pdf dosyası da desteklediğini gördüm. Gerçekten güzel düşünülmüş. En kötü özelliği benim için Quora hesabımı bozması oldu. Yine site içerisinde başkalarını paylaştığı diğer slaytlara da erişebiliyorsunuz. Bir konu hakkında araştırma yaparken benzer konular hakkında diğer slaytlara erişebiliyorsunuz. Bu yazımdada bir slaytı paylaşacağım bakalım sıkıntı olacak mı :)
İyi bir sorun yok gibi yazımı yazarken gözüküyor. Rest ve SOAP web servisleri hakkında bir slayt. Konuyla ilgi biraz araştırma yapmıştım. Bu sebeble slide share'e upload  etmiştim. Gerçi daha sonra bu slaytın slide sharede zaten olduğunu gördüm ama bu slaytları kendi hesabınızla takip edebiliyor musunuz bilmiyorum ?

Askere gitmek gerek

Mayısta tecil sürem doluyor ve askere gitmem gerekiyor. Tabi ki ertelemek için çeşitli yöntemlere baş vurabilirim. Açık öğretime yazılmak veya yüksek lisans yapmak bunlardan bazıları. Peki bunu yapmalı mıyım. Şirkette gerçekleştirilen projeler için bana gereksinim duyuluyor. Ama benim de bir an önce bu askerliği aradan çıkartmam gerekiyor. Peki ertelersem ne olur?  Şirket için fedakarlık etmiş olurum, biraz masraf etmiş olurum ve olur da şirketten ayrılırsam başka işe girmek için askerlik önümde engel olarak kalır. Son durumda patronun ayak üstü iş halletme politikaları yüzünden , böyle bir fedakarlığı yapmaktan vazgeçer gibiyim. Türkiye'de ne zaman kurumsal kültür oluşacak merak ediyorum. Deneme yanılma yöntemiyle işler yapılmaya çalışılıyor. Ben yaptım olacak :)  kafasında  herkes. Bundan dolayı  daha profesyonel çalışanlarla iş yapmak belkide en iyisi , tabi ki öyle yerler de varsa. Zaman duygusal kara vermekten çok mantıksal kararlar verme zamanı. En azından son durumda böyle düşünüyorum.

Crawler Sonuçlarım

Php ve MongoDB ikilisini denemek için yazdığım crawler uygulamasını deniyorum. Muhtemelen 4-5 saat sürekli çalıştı  ve çalışmaya devam ediyor. App Store için yazmıştım  bu uygulamayı. App Store için derken onu crawl etmek için yani. İçindeki linkleri ve uygulama bilgilerini parse ediyor ve MongoDB'ye kaydediyor.
Şuanda MongoDB yönetimi için MongoVue GUI yazılımını kullanıyorum ve çektiğim ürün bilgisi sayısını paylaşıyorum.

Şuandaki toplam ürün bilgisi 9221 olarak görülüyor. Bunun dışında ürün bilgisi çekilmeyenler le birlikte toplam 33000 den fazla kayıt bulunmakta. Ve artmaya devam ediyor. Ürün ile ilgili uygulama adı,üretici,resim  adresi,ücreti ve boyutu gibi özelliklerini de çekiyorum. Burda bu işlemi hızlı çalışmasını kısıtlayan faktör ne php parsing işlemleri nede veritabanına yazma ve kontrol işlemleri. Tamamen internet bağlantısı ve Appstore sistesinin yanıt hızıyla lakalı. İşlemci kullanımım%1-2 civarında olması bunu gösteriyor.

App Storeda toplam 700 000 den fazla uygulama varmış. Ben bütün veriyi çekmek istemiyorum aslında . 100 000 uygulama verisi çeksem yeter bana. Bu kadar uygulama verisi çeksem muhtemelen 200 000 den fazla ürün linkide çekmiş olurum. Eğer bir yerden sonra yeni uygulama linki bulma sıkıntısı yaşanmazsa.

Bende bu arada bu verilerle MongoDb de değişik denemeler yapmayı planlıyorum. Sorgulama diline daha hakim olmam gerekiyor. Map Reduce işlemleri nasıl işliyor tam olarak anlamam gerekiyor. Ayrıca çeşitli performance testleride yapabilirim. Ürünlerin bilgisini kullanarak belki ististiksel bilgiyede ulaşabilirim.

Crawler hakkında daha detaylı bilgi için http://www.murat-cakal.com/2013/01/03/php-crawler-programlama/ bakabilirsiniz.

Takip ettiğim bir kaç blog

Bu aralar ölçeklenebilir veritabanları ve sistemler üzerine bolca araştırma yaptığım için bir çok blog ve websitesini araştırmam gerekti. Bu bloglar arasında en populeri http://highscalability.com/. Bu blogta bir çok şirketin sistem alt yapısı hakkında ayrıntılı yazılar var. Bunlar arasında google ,facebook, twiter gibi şirketler de var. RightScale cloud sistemler için destek veren bir firma ve bu firmanın blog sayfasıdanda kaliteli bir çok makale bulunmakta. http://blog.rightscale.com/  adresinden bloğa erişebilirsiniz. Quora üstünden eklediğim
Venu Anuganti de zamanında mysql veritabanı geliştirmesinde çalışmış bir eleman. Şuanda kendi kurduğu Scalein firmasında veritabanı hakkında danışmanlık sağlıyor.http://venublog.com/ elemanın bloğu. Son olarak yine veritabanı konusunda bloğunda birçok makale yayınlayan Pinal Dave. Elemanın bloğunda 2000 den fazla yazı yayınlamış(iyi çalışmış maşallah). http://blog.sqlauthority.com/ Pinal'in bloğu. Veritabanı ve ölçeklenebilirlik hakkında kaliteli bloglar arıyorsanız incelemenizde fayda var.

Quora hesabımı bozdum

Quora bir çok konu hakkında işin profesyonellerine soru sorabileceğiniz sosyal bir platform. Ben de yeni kullanmaya başlamıştım ve bir kaç gönderide bulunmuştum. En son gönderimde slide share hesabımdaki bir slaytı paylaşmaya çalışınca ,sistem saçmaladı . Muhtemelen arka planda çalışan javascript kodları , bu değişik inputa nasıl cevap verebileceğini bilmiyor. Aslında bir iframe içinde uzaktan slide göstermekten ibaret bişeydi.
Şimdi o postum sistemde bir önyazı olarak  gözüküyor ve önizleme yapacakken saçmalıyor. Yeni post butonu yanıt vermiyor. Quora'ya bunu bildirmek istedim, biraz siteyi inceledim  destek verecek bir link aradım ama bulamadım. Baya şaşırdım açıkçası. Kocaman sosyal bir platformda böyle bir durumda bunun için bir destek olmalı, varsa da kolay ulaşılmalı bence.

Bu arada bu platformun benzerini türklerde yapmış http://www.sorula.com/ ama çok verimli olduğunu söyleyemem. Türkiyede herkes herşeyi bildiği için kim kime ne diye danışsın :) . Yinede belli bir kullanıcı sayısına ulaşırsa verimli olamaya başlayabilir. Yoksa site sahipleri bütün soruları cevaplamaya çalışırsa işleri zor :) .

Veritabanı sistemleri

Veritabanı sistemleri ile ilgili yeni bir blog tutmayı düşünüyorum. Daha resmi bir site görünümde olacak .
İnsan kendi isminde blog açınca konular bazen saçma yerlere gidebiliyor ve tam bir odaklanma sağlanamıyor. Yazım kurallarını bile tam olarak bilmeyen ben belki birazda yazım kabiliyetimi geliştiririm bu blogta. Peki nerden çıktı bu veritabanı olayı sen oyun şirketinde çalışıyorsun diyebilirsiniz ama benim bundan sonraki rolüm oyunların server taraflı teknolojileriyle ilgilenmek olacak. Blog için teme bile seçmedim en sade şekilde kullanmayı düşünüyorum. Bloğun adresi http://veritabanlari.com/ . Düzenli bir şekilde blog tutmak benim için açıkçası zor bir durum ancak insanda bir düzen duygusu uyandırıyor ve benim bu aralar ihtiyacım olan bir şey bu.