16 Mart 2016 Çarşamba

.Net WebRequest ve WebResponse Kullanımı

Uzun bir aradan sonra yine yeni bir yazı ile blogumdayım. Bu yazıda sizlere bir siteden nasıl bilgiler toplayabileceğinizi elimden geldiğince göstereceğim. Kodlara geçmeden önce yapacağımız çalışmanın ne olduğundan kısaca bahsedeyim.

Kendi blogumun ana sayfasına kod tarafından bir request göndereceğim. Bu request bana sayfanın html bilgisini döndürecek. Daha sonra bu bilgiler üzerinden sayfa üzerindeki yazı linklerini toplayacağım. Topladığım bu linkleri teker teker gezeceğim.

Peki bu bizim nerede işimize yarayabilir? Bilgi toplamak amacı ile hedef sitelerinizi analiz eder ve buradaki açık bilgileri toplayabilir, kendinize güzel bir veri yığını yapabilirsiniz. Şimdi kodlama aşamasına geçelim.


Kod tarafında ilk olarak requestimizi yapalım. Geriye dönen response'u stream olarak alalım ve StreamReader ile satır satır okuyalım. Burada yukarıda da bahsettiğim gibi sayfa linklerini alacağımız için içinde a tagli verileri alacağız ve içerisinden istenmeyen linklerin temizlenmesini yapıyoruz.

webresponse


















Sırada a taginin içinde bulanan adresleri alacağız ve bunları da ekranda göstermek listeyi güncelleyeceğiz.


webrequest








Verilerimizi ekranda button olarak listeleyeceğiz. Basılan buton gidip bizim topladığımız adrese gidecek ve bize sayfanın html'ini verecek. View'imiz şu şekilde.

view































Birde post işlemini yazdığımızda işlemimiz tamam olacak.
httppost














Ekran görüntümüzde şu şekilde olacak.

webresponse




















İşlemler bu kadar. Sizde belirlediğiniz bir siteden bu işlemler ile istediğiniz verileri toplarlayabilirsiniz. Benim amacım işlemi göstermek olduğu için veri toplama kısmına girmedim.
Bu işlemlerle izin verilen sosyal medya sitelerinde güzel bir veri yığını meydana getirir ve benimle paylaşırsanız sevinirim :)

Hiç yorum yok:

Yorum Gönder