Çekirdek alma (Crawling), arama motorlarının veya web çekirdeklerinin (robot, örümcek vb. olarak da bilinir) internetteki web sayfalarınıotomatik olarak keşfetme ve bilgi toplama sürecidir. Bu süreç sayesinde arama motorları, internette bulunan sayısız web sayfasının içeriğini anlayabilir, dizine ekleyebilir ve arama sonuçlarına yansıtabilir. Aşağıda çekirdek almanın kavramı ve süreci hakkında ayrıntılı bir açıklama yer almaktadır.

Çekirdek Almanın Kavramı

Web Çekirdeği (Web Crawler): Çekirdek almayı gerçekleştiren yazılım veya bottur. Çekirdek, belirli bir web sitesine erişir, bağlantıları izler, sayfanın içeriğini toplar ve analiz eder.

Dizinleme (Indexing): Çekirdek alma yoluyla toplanan web sayfalarının içeriğinin arama motoru veritabanına kaydedilme sürecidir. Bu süreçte arama motoru, her sayfanın içeriğini, meta verilerini, anahtar kelimelerini ve bağlantı yapısını analiz eder.

Site Haritası (Sitemap): Web sitesinin yapısını ve sayfalarını açıklayan dosyadır. Çekirdek, web sitesinin sayfalarını verimli bir şekilde çekirdek almak için site haritasını referans alır.

Çekirdek Alma Süreci

Başlangıç Sayfası: Çekirdek genellikle önceden bilinen bir web sitesinden veya kök etki alanından başlar. Bu sayfa, çekirdek almanın başlangıç noktasıdır.

Bağlantı İzleme: Çekirdek, web sayfasındaki bağlantıları izler ve bu bağlantıları kullanarak diğer sayfalara gider. Bu şekilde web sayfaları arasındaki bağlantı ilişkisi izlenerek çekirdek alma işlemi gerçekleştirilir.

İçerik Toplama: Çekirdek, her sayfanın metinlerini, resimlerini, meta verilerini vb. toplar. Bu bilgiler, arama motorunun dizininde saklanır ve arama sonuçlarını oluşturmak için kullanılır.

Tekrarlama: Çekirdek, yeni bağlantılar bulup ek sayfalar toplayarak birden çok sayfayı sürekli olarak çekirdek alır.

Çekirdek Alma Örnekleri

Google Arama Motoru : Google, web genelinde çekirdek alma işlemi yaparak arama sonuçlarını oluşturur. Bunun için çeşitli web çekirdekleri kullanır ve çekirdek alınan bilgiler, Google'ın dizinleme işlemi aracılığıyla aranabilir verilere dönüştürülür.

Uzmanlık Alanı Çekirdek Alma : Belirli bir konu veya sektöre özgü çekirdekler de vardır. Örneğin, akademik makaleleri çekirdek alan Google Scholar, emlak bilgilerini çekirdek alan emlak web siteleri gibi.

Fiyat Karşılaştırma Web Siteleri : Çekirdekler, çevrimiçi mağazaların fiyat bilgilerini toplar ve fiyat karşılaştırma hizmetleri sunar. Örneğin, kullanıcılara en ucuz fiyatları bulmaları için çeşitli çevrimiçi alışveriş sitelerinin ürün bilgilerini çekirdek alarak sunan web siteleri vardır.

※ Güney Kore'de "Naver Alışveriş"te arama yapıldığında, "Naver"ın yanı sıra çeşitli alışveriş sitelerinin bilgilerini de gösterdiğini görebilirsiniz. "Danawa" sitesi de benzer şekilde çalışmaktadır.

Sosyal Medya Çekirdek Alma : Sosyal medyadan açıklanan bilgileri çekirdek alarak trend analizi, pazarlama stratejisi oluşturma vb. amaçlarla kullanılabilir. Örneğin, belirli bir etiket veya konuya ilişkin bilgileri Twitter'dan toplayarak analiz eden araçlar vardır.

Çekirdek alma, arama motorları dahil olmak üzere çeşitli web hizmetlerini mümkün kılan temel bir teknolojidir. Ancak çekirdek alırken web sitesinin robot dışlama standardına (Robots.txt) ve kişisel bilgi koruma düzenlemelerine uyulması gerekir.