Robots.txt ve Meta Etiketi
Robots Meta Etiketi ve Robots.txt Dosyası
Robots meta etiketi ve robots.txt dosyası, arama motoru botlarına bilgi iletmek için kullanılan iki farklı ve bağımsız mekanizmadır. Bunlar, web sitenizin hangi bölümlerinin arama motorları tarafından dizine eklenmesi gerektiğini ve hangilerinin eklenmemesi gerektiğini belirlemenize olanak tanır.
Her ikisi de güçlü araçlardır, ancak dikkatli kullanılmalıdır; küçük hatalar ciddi sonuçlar doğurabilir!
Robots.txt ve Robots Meta Etiketi Arasındaki Farklar
Robots.txt, sistem klasörlerini engellemek için kullanılır. Örneğin, Joomla'nın varsayılan kurulumunda bulunan /plugins klasörünü engellemek için kullanılır. Google botları bir dosya veya klasörü taramak istediğinde, robots.txt bu isteği reddeder ve içeriği görmez hale getirir.
Robots meta etiketi ise belirli sayfaların dizine eklenmesini engellemek için kullanılır. Örneğin, Google, iç arama sonuç sayfalarının dizine eklenmesini istemez ve bu tür sayfaların robots meta etiketi kullanılarak engellenmesi önerilir.
Özetle:
- robots.txt: "Google buraya gelme!"
- robots meta etiketi: "Google beni dizine ekleme!"
Bu iki yöntem birbirinin yerine geçmez ve aynı anda kullanılmamalıdır!
Robots.txt Dosyası
Robots.txt dosyası, Joomla yöneticisi panelinin dışında yapılandırılır ve doğrudan düzenlenmesi gerekir. Bu dosya, sitenizin hangi bölümlerinin arama motorları tarafından taranabileceğini belirtir. Varsayılan olarak, arama motorları her şeyi tarayabilir; ancak belirli bölümleri engellemek istiyorsanız bunu açıkça belirtmelisiniz.
Önemli Not:
Robots.txt dosyasındaki bir URL'yi engellemek, Google'ın o sayfayı dizine eklemesini tamamen durdurmaz! Sadece taramayı durdurur, ancak yine de sayfa dizine eklenebilir.
Joomla’nın varsayılan robots.txt dosyası genellikle çoğu site için uygundur. Ancak eski Joomla sürümlerinde /images, /media ve /templates klasörleri engelleniyordu. Bu durum, resimlerin ve CSS dosyalarının dizine eklenmesini engelleyerek SEO açısından sorun yaratıyordu. Eğer robots.txt dosyanızda aşağıdaki satırlar varsa, bunları kaldırmalısınız:
# Disallow: /images/ <-------- Kaldırın
# Disallow: /media/ <-------- Kaldırın
# Disallow: /templates/ <-------- Kaldırın
Joomla 3.3’ten itibaren bu sorun düzeltildi, ancak eski Joomla sitelerinde hala bu engellemeler olabilir.
İleri Düzey Robots.txt Kullanımı
Robots.txt dosyasında desen eşleştirme kullanarak belirli sayfaların dizine eklenmesini engelleyebilirsiniz. Örneğin, "?" içeren tüm URL'leri engelleyerek yinelenen içerikleri önleyebilirsiniz:
User-agent: *
Disallow: /*?*
Ancak, bu yöntemi dikkatli kullanmalısınız.
CSS ve JavaScript Engellenmeli mi?
Google, mobil uyumluluk açısından CSS ve JavaScript dosyalarının engellenmemesi gerektiğini belirtiyor. Bu yüzden Joomla, /templates ve /media klasörlerinin engellemesini kaldırdı. Eğer JCH-Optimize gibi bir eklenti kullanıyorsanız, aşağıdaki gibi Allow kuralları eklemeniz gerekebilir:
Allow: /plugins/system/jch_optimize/assets2/
Allow: /plugins/system/jch_optimize/assets/
Sitemap (Site Haritası) Yönlendirmesi
Robots.txt dosyanıza XML site haritası bağlantınızı ekleyerek arama motorlarına rehberlik edebilirsiniz. Örneğin:
Sitemap: index.php?option=com_osmap&view=xml&tmpl=component&id=1
Joomla Güncellemeleri ve Robots.txt Değişiklikleri
Joomla, zaman zaman robots.txt dosyasında değişiklikler yapar. Ancak, mevcut dosyanızı değiştirmek yerine robots.txt.dist adlı yeni bir dosya yayınlar. Eğer özelleştirilmiş bir robots.txt kullanıyorsanız, bu yeni dosyanın içeriğini kontrol edip gerekli değişiklikleri yapmalısınız.
Robots Meta Etiketi
Robots meta etiketi, sayfa bazında içeriklerin dizine eklenmesini engellemek için daha iyi bir yöntemdir. Ancak sistem klasörleri için kullanılamaz. Joomla’da bu etiket, Meta Veri Ayarları bölümünden yönetilebilir. Varsayılan olarak, çoğu site "Index, Follow" seçeneğiyle bırakılmalıdır. Ancak bazı özel sayfalar (örneğin, iç arama sayfaları) için aşağıdaki ayar yapılabilir:
- "Noindex, Follow": Sayfa dizine eklenmez, ancak bağlantılar takip edilir.
Bu etiketi HTML kodunda şu şekilde görebilirsiniz:
<meta name="robots" content="NOINDEX, NOFOLLOW">
Önemli Uyarı:
Eğer sitenizi geliştirme aşamasında Noindex, Nofollow ile engellediyseniz, yayına aldığınızda bunu değiştirdiğinizden emin olun! Aksi takdirde SEO performansınız ciddi şekilde zarar görebilir.
Snippet Ayarları (Öne Çıkan İçerik Ayarları)
Google, 2019 yılında robots meta etiketi için gelişmiş snippet kontrol ayarlarını tanıttı. Çoğu site için aşağıdaki kombinasyon önerilir:
<meta name="robots" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1">
Bu, sitenizin Google arama sonuçlarında en iyi şekilde görünmesini sağlar.
Sonuç
- Robots.txt, arama motorlarının belirli dosya ve klasörleri taramasını engeller.
- Robots meta etiketi, belirli sayfaların dizine eklenmesini engeller.
- Her iki yöntemi aynı anda kullanmayın!
- CSS ve JavaScript engellenmemeli!
- Sitenizi yayına alırken "Noindex, Nofollow" ayarlarını değiştirmeyi unutmayın!
- Snippet ayarlarını optimize ederek Google görünürlüğünü artırabilirsiniz.
Daha fazla bilgi için Google'ın resmi dokümantasyonuna ve SEO uzmanlarının blog yazılarına göz atabilirsiniz!