Tarama (Crawling) Nedir?

Tarama (Crawling), arama motorlarının veya web tarayıcılarının (robot, örümcek vb. olarak da adlandırılır) internetteki web sayfalarınıotomatik olarak gezmesi ve bilgi toplaması sürecidir. Bu süreç sayesinde arama motorları internette bulunan sayısız web sayfasının içeriğini anlayıp dizine alarak arama sonuçlarında yansıtır. Aşağıda tarama kavramı ve süreci hakkında detaylı açıklamalar yer almaktadır.

Tarama Kavramı

Web Tarayıcı (Web Crawler): Tarama işlemini gerçekleştiren yazılım veya bottur. Tarayıcı, belirli bir web sitesine erişerek bağlantıları takip eder, sayfanın içeriğini toplar ve analiz eder.

Dizine Alma (Indexing): Tarama yoluyla toplanan web sayfasının içeriğinin arama motoru veritabanına kaydedilmesi sürecidir. Bu süreçte arama motoru, her bir sayfanın içeriğini, meta verilerini, anahtar kelimelerini ve bağlantı yapısını analiz eder.

Site Haritası (Sitemap): Web sitesinin yapısını ve sayfalarını açıklayan bir dosyadır. Tarayıcı, web sitesinin sayfalarını etkili bir şekilde taramak için site haritasına başvurur.

Tarama Süreci

Başlangıç Sayfası: Tarayıcı genellikle önceden bilinen bir web sitesi veya kök etki alanından başlar. Bu sayfayı temel alarak tarama işlemine başlar.

Bağlantı İzleme: Tarayıcı, web sayfasındaki bağlantıları izler ve bu bağlantıları kullanarak diğer sayfalara gider. Böylece web sayfaları arasındaki bağlantı ilişkisini takip ederek tarama devam eder.

İçerik Toplama: Tarayıcı, her bir sayfanın metin, resim, meta verilerini toplar. Bu bilgiler, arama motorunun dizinine kaydedilir ve arama sonuçlarını oluşturmak için kullanılır.

Tekrarlama: Tarayıcı, birçok sayfayı sürekli olarak tarar ve yeni bağlantılar bulur ve ek sayfalar toplar.

Tarama Örnekleri

Google Arama Motoru: Google, web'in tamamını tarayarak arama sonuçları oluşturur. Bunun için çeşitli web tarayıcıları kullanır ve taranan bilgiler, Google'ın dizine alma süreciyle arama yapılabilir verilere dönüştürülür.

Özel Alan Tarama: Belirli bir konu veya sektöre özgü tarayıcılar da vardır. Örneğin, akademik makaleleri tarayan Google Scholar (Google Akademik), gayrimenkul bilgilerini tarayan emlak web siteleri gibi.

Fiyat Karşılaştırma Web Siteleri: Tarayıcılar, çevrimiçi mağazaların fiyat bilgilerini toplayarak fiyat karşılaştırma hizmetleri sunar. Örneğin, çeşitli çevrimiçi alışveriş sitelerinin ürün bilgilerini tarayarak kullanıcıların en uygun fiyatlı ürünü bulmasına yardımcı olur.

※ Türkiye'de "Hepsiburada" veya "n11" gibi sitelerde arama yapıldığında, sadece o sitenin değil, birçok farklı alışveriş sitesinin bilgileri görüntülenebilir. Bu durum, bahsedilen örneklerle benzerlik göstermektedir.

Sosyal Medya Tarama: Sosyal medyada paylaşılan bilgileri tarayarak trend analizi, pazarlama stratejisi oluşturma gibi alanlarda kullanılabilir. Örneğin, Twitter'da belirli bir hashtag veya konuyla ilgili bilgileri toplayıp analiz eden araçlar bulunmaktadır.

Tarama, arama motorları da dahil olmak üzere çeşitli web hizmetlerini mümkün kılan temel bir teknolojidir. Ancak tarama yaparken web sitelerinin robot dışlama standardına (Robots.txt) ve kişisel veri koruma düzenlemelerine uyulması gerekir.