Tarama ve Crawl Budget
Arama motoru botlarının önemli sayfalarınızı mümkün olduğunca verimli biçimde keşfetmesi, gereksiz URL'lerde kaynak harcamaması ve site mimarisini doğru takip edebilmesi gerekir.
SEO Nedir? sorusunun teknik tarafı; sitenizin yalnızca kullanıcılar tarafından değil, Googlebot ve yapay zekâ tabanlı tarayıcılar tarafından da doğru biçimde erişilebilir, işlenebilir ve anlaşılabilir olmasını sağlamaktır. Bu SEO Rehberi kapsamındaki teknik SEO kılavuzunda tarama bütçesinden canonical yapısına, Core Web Vitals metriklerinden JavaScript rendering ve HTTP durum kodlarına kadar altyapının kritik katmanlarını ele alıyoruz.
Bir sayfanın sıralama potansiyeli kazanabilmesi için önce keşfedilmesi, ardından doğru URL'nin indekslenmesi ve son olarak içeriğin verimli şekilde oluşturulup sunulması gerekir.
Arama motoru botlarının önemli sayfalarınızı mümkün olduğunca verimli biçimde keşfetmesi, gereksiz URL'lerde kaynak harcamaması ve site mimarisini doğru takip edebilmesi gerekir.
Tarama sonrasında arama motoruna hangi URL'nin esas sürüm olduğunu doğru anlatmak gerekir. Canonical, noindex ve XML sitemap kurgusu indeks kalitesinin temelini oluşturur.
Tarayıcı ve botların sayfayı verimli biçimde oluşturabilmesi; JavaScript yükü, sunucu yanıtı, DOM karmaşıklığı ve Core Web Vitals performansıyla doğrudan ilişkilidir.
Tarama bütçesi, indeksleme, rendering, performans, yönlendirmeler ve yapılandırılmış veri gibi alanlar birbirinden bağımsız değildir. Sağlıklı bir teknik SEO mimarisi bu katmanların birlikte çalışmasıyla oluşur.
Tarama bütçesi, arama motoru botlarının sitenizde hangi URL'lere ne sıklıkta eriştiğini anlamak için kullanılan teknik bir çerçevedir. Özellikle çok sayıda URL üreten e-ticaret, filtreleme veya büyük yayın sitelerinde gereksiz URL'lerin bot kaynaklarını tüketmesi önemli bir verimlilik problemine dönüşebilir.
Buradaki amaç Googlebot'u zorla belirli sayfalara yönlendirmek değil; site mimarisini, iç linklemeyi, sunucu performansını ve gereksiz URL üretimini optimize ederek botların önemli sayfalara daha kolay ulaşmasını sağlamaktır.
User-agent: * Disallow: /wp-admin/ Disallow: /arama/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap.xml
Bir URL'nin taranabilmesi ile indekslenmesi aynı şey değildir. Arama motorları bir sayfayı keşfedebilir, tarayabilir ve yine de indekslememeyi tercih edebilir. Bu nedenle indeksleme yönetimi; canonical, robots meta, XML sitemap ve içerik kalitesinin birlikte ele alınmasını gerektirir.
Canonical etiketi benzer veya tekrar eden URL'ler arasında tercih edilen sürümü belirtmek için kullanılır. noindex ise ilgili sayfanın arama sonuçlarında yer almaması gerektiğini bildirir. Bu kavramlarla ilgili temel terimleri SEO Sözlüğü içerisinde inceleyebilirsiniz.
<link rel="canonical" href="https://example.com/ornek-sayfa/"> <meta name="robots" content="index,follow">
Core Web Vitals, kullanıcıların sayfa yüklenmesini, etkileşim hızını ve görsel kararlılığı nasıl deneyimlediğini ölçmeye yardımcı olan performans metrikleridir. Teknik SEO açısından yalnızca yüksek Lighthouse skoru hedeflemek yerine gerçek kullanıcı deneyimi ve sayfanın yükleme mimarisi birlikte değerlendirilmelidir.
JavaScript kullanılan sitelerde önemli SEO içeriğinin ilk HTML çıktısında bulunup bulunmaması kritik olabilir. CSR yapılarında içerik tarayıcı tarafında JavaScript çalıştıktan sonra oluşturulurken, SSR yapılarında HTML sunucu tarafında hazırlanarak kullanıcıya ve botlara gönderilir.
Modern arama motorları JavaScript işleyebilse de, render sürecini gereksiz yere ağırlaştırmak teknik risk oluşturabilir. Bu nedenle SEO açısından kritik başlık, içerik, link ve yapılandırılmış verilerin mümkün olduğunca güvenilir biçimde HTML çıktısında yer alması tercih edilir.
Sunucunun döndürdüğü HTTP durum kodu, botlara ve tarayıcılara bir URL'nin mevcut durumu hakkında doğrudan bilgi verir. Yanlış kullanılan yönlendirmeler, soft 404'ler veya gereksiz zincirler tarama verimliliğini ve kullanıcı deneyimini olumsuz etkileyebilir.
| Kod | Anlam | SEO Kullanımı |
|---|---|---|
| 200 | Başarılı | URL normal şekilde erişilebilir. |
| 301 | Kalıcı yönlendirme | Kalıcı URL değişikliklerinde tercih edilir. |
| 302 | Geçici yönlendirme | Geçici URL değişikliklerinde kullanılabilir. |
| 404 | Bulunamadı | URL'nin mevcut olmadığını belirtir. |
| 410 | Gone | İçeriğin kalıcı olarak kaldırıldığını bildirir. |
| 503 | Geçici servis dışı | Bakım veya geçici sunucu sorunlarında kullanılabilir. |
Yapılandırılmış veri, bir sayfadaki varlıkların ve içerik türlerinin makineler tarafından daha açık biçimde anlaşılmasını sağlar. Teknik SEO açısından schema eklemekten daha önemli olan konu, doğru schema türünün doğru sayfada ve görünür içerikle tutarlı biçimde kullanılmasıdır.
Organization, Article, BreadcrumbList, Product ve diğer schema türleri sitenin içerik yapısına göre planlanmalıdır. JSON-LD çıktısı oluşturmak için Schema Oluşturucu aracından yararlanabilirsiniz.
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "Teknik SEO Nedir?",
"mainEntityOfPage": {
"@type": "WebPage",
"@id": "https://example.com/teknik-seo/"
}
}
Teknik SEO'nun amacı yalnızca hata sayısını azaltmak değil; arama motorlarının ve kullanıcıların siteyi daha verimli keşfetmesini, anlamasını ve kullanmasını sağlayan sürdürülebilir bir altyapı oluşturmaktır.
Teknik SEO denetiminde her problemi aynı öncelikle ele almak verimli değildir. Önce tarama ve indekslemeyi engelleyen kritik hataları, ardından performans ve yapı iyileştirmelerini çözmek daha sağlıklı bir uygulama sırası oluşturur.
| Öncelik | Kontrol Alanı | Neye Bakılmalı? | Önerilen Aksiyon |
|---|---|---|---|
| Kritik | Bot Erişimi | robots.txt, erişim engelleri ve sunucu yanıtları. | Önemli URL'lerin yanlışlıkla engellenmediğini doğrulayın. |
| Kritik | İndekslenebilirlik | noindex, canonical, robots direktifleri ve URL durumu. | İndekslenmesi gereken sayfalardaki çelişen sinyalleri kaldırın. |
| Kritik | HTTP Hataları | 4xx, 5xx, soft 404 ve yanlış yönlendirmeler. | Değerli URL'leri onarın, yönlendirin veya doğru durum koduyla sonlandırın. |
| Yüksek | XML Sitemap | Sitemap içindeki canonical, 200 ve indekslenebilir URL'ler. | Yalnızca arama sonuçlarında görmek istediğiniz URL'leri listeleyin. |
| Yüksek | Canonical Yapısı | Duplicate URL'ler ve tercih edilen sürümler. | Canonical sinyallerini iç linkleme ve sitemap ile tutarlı hale getirin. |
| Yüksek | Yönlendirmeler | 301/302 zincirleri, loop ve eski URL'ler. | Zincirleri final URL'ye tek adımlı yönlendirmeye düşürün. |
| Yüksek | Core Web Vitals | LCP, INP, CLS ve kritik kaynak yükleri. | Ağır scriptleri, görselleri ve render engelleyici kaynakları optimize edin. |
| Orta | TTFB / Sunucu | Backend yanıtı, cache, CDN ve veritabanı gecikmesi. | Cache katmanlarını ve sunucu kaynak kullanımını iyileştirin. |
| Orta | JavaScript | Kritik içerik, linkler, render edilmiş HTML ve DOM boyutu. | SEO açısından önemli öğelerin güvenilir biçimde render edildiğini doğrulayın. |
| Orta | Structured Data | JSON-LD türleri, görünür içerikle uyum ve entity bilgileri. | Yalnızca gerçek içeriği temsil eden doğru schema türlerini kullanın. |
| Sürekli | Log Analizi | Bot istekleri, gereksiz taranan URL'ler ve hata yanıtları. | Tarama davranışındaki anormal değişimleri düzenli olarak takip edin. |
| Sürekli | Search Console | İndeksleme, CWV, sitemap ve tarama kaynaklı bildirimler. | Yeni hataları takip edin ve önemli değişikliklerden sonra yeniden kontrol yapın. |
Teknik SEO, içerik, on-page ve diğer önemli optimizasyon alanlarını sistematik şekilde kontrol etmek için checklist'i kullanın.
SEO Checklist'i AçWeb sitenizi temel SEO kriterlerine göre incelemek ve öne çıkan teknik geliştirme alanlarını belirlemek için ücretsiz ön değerlendirme talebi oluşturabilirsiniz.
Ücretsiz SEO AnaliziTarama, indeksleme, Core Web Vitals, JavaScript, HTTP durum kodları ve yapılandırılmış veri hakkında en sık karşılaşılan teknik SEO sorularını yanıtladık.
Teknik SEO; arama motorlarının bir siteyi keşfetmesini, taramasını, içeriği işlemesini ve doğru URL'leri indekslemesini kolaylaştıran altyapı optimizasyonlarının bütünüdür. robots.txt, canonical, XML sitemap, HTTP durum kodları, JavaScript rendering, site performansı ve yapılandırılmış veri bu alanın temel parçalarıdır.
robots.txt, belirli botların bir URL'yi taramasını sınırlandırmak için kullanılır. noindex ise sayfanın arama sonuçlarında indekslenmemesi gerektiğini bildirir. Bu iki mekanizma aynı görevi yapmaz. robots.txt dosyanızı hazırlamak için Robots.txt Oluşturucu aracını kullanabilirsiniz.
Canonical etiketi, aynı veya çok benzer içeriğe sahip birden fazla URL bulunduğunda tercih edilen ana URL'yi belirtmek için kullanılır. Canonical'ın yönlendirme olmadığını ve arama motorları için güçlü bir sinyal olmakla birlikte mutlak bir komut olarak değerlendirilmemesi gerektiğini göz önünde bulundurmak gerekir. İlgili kavramları SEO Sözlüğü üzerinden de inceleyebilirsiniz.
Core Web Vitals kullanıcı deneyiminin teknik boyutunu ölçmeye yardımcı olur ve SEO'da dikkate alınması gereken sinyallerden biridir. Ancak tek başına yüksek LCP, INP veya CLS performansı bir sayfanın üst sıralarda yer almasını garanti etmez. İçeriğin kalitesi, arama niyetini karşılama düzeyi, site otoritesi ve diğer SEO sinyalleriyle birlikte değerlendirilmelidir.
JavaScript kullanmak tek başına SEO problemi değildir.
Sorun, SEO açısından kritik içeriklerin veya linklerin
render edilememesi, geç yüklenmesi ya da botların
erişemeyeceği etkileşimlerin arkasına saklanması
durumunda ortaya çıkabilir. Kritik içeriklerin
render edilmiş HTML içinde bulunduğu, linklerin
gerçek href değerleri taşıdığı ve
gereksiz DOM karmaşıklığının azaltıldığı bir yapı
tercih edilmelidir.
301 durum kodu kalıcı, 302 ise geçici yönlendirme amacıyla kullanılır. URL kalıcı olarak taşındığında genellikle 301; değişiklik geçiciyse 302 tercih edilir. Her iki durumda da gereksiz yönlendirme zincirlerinden kaçınmak ve iç linkleri mümkün olduğunca nihai URL'ye vermek daha temiz bir site mimarisi oluşturur.
Her sayfaya mümkün olan tüm schema türlerini eklemek doğru değildir. Yapılandırılmış veri, sayfanın gerçek içerik türünü temsil etmeli ve görünür içerikle tutarlı olmalıdır. Örneğin Article, Product, BreadcrumbList veya Organization gibi şemalar yalnızca uygun bağlamda kullanılmalıdır. JSON-LD çıktısı hazırlamak için Schema Oluşturucu aracından yararlanabilirsiniz.
Sabit bir süre tüm siteler için uygun değildir. Ancak site taşıma, tema değişikliği, yeni filtre sistemi, büyük JavaScript geliştirmeleri veya URL mimarisi değişikliklerinden sonra teknik denetim yapmak önemlidir. Bunun dışında Search Console, sunucu hataları ve temel teknik göstergeler düzenli olarak izlenmelidir. Kontrolleri sistematik yürütmek için SEO Checklist kullanılabilir.
Temel teknik kriterleri kendiniz kontrol edebilir veya siteniz için ücretsiz manuel SEO ön değerlendirmesi talep edebilirsiniz.