Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt Nedir? Nasıl Oluşturulur?

Robots.txt dosyası, web ortamında tüm siteleri tarayan arama motoru robotlarının mevcut sitenizde hangi sayfaların indexleneceğini (listeleneceğini) belirlemenizi sağlamaktadır. Kabaca sitenizin arama motorları tarafından indexlenmesine aracı olmaktadır.

Eğer mevcut web siteniz içerisinde arama motorlarınca dizine kayıt olmasını istemediğiniz içerikler mevcutsa, robots.txt dosyası kullanılmalıdır. Şayet ara motorları web sitenizin tamamını dizene eklemesini istiyorsanız, robots.txt dosyası oluşturmaya gerek yoktur.

Robots.txt dökümanı web sitenizin kök dizininde (ilk dizin) olamalıdır.

Robots.txt Dosyası Nasıl Oluşturulur?

Bir Notepad yazılımı vasıtasıyla kolayca oluşturmanız mümkündür. Kayıt adını robots.txt şeklinde kayıt etmeniz gerektiğini şimdiden hatırlatalım.  Robots.txt içinde iki komut kullanılmaktadır.

– User-agent : Hangi arama motoru botunun sitenizde index yapabileceğini belirler.

– User-agent* : Sitenizi tüm arama botlarına açık hale getirir.

– Disallow : Bu komut ile sitenizde görülmesini istemediğiniz bölümleri url şeklinde belirleyebilirsiniz.

– Disallow:/ : Bu komut ile siteniz arama motorlarında indexlenmez.

Örnek :

User-agent: *
Disallow: /klasor1/
(“klasor1” dizinindeki tüm konular arama motorları tarafından indexlenmez.)

User-Agent: googlebot
Disallow: /klasor2/

(“klasor2” dizinindeki tüm konular Google arama motoru tarafından indexlenmez ve sitenize sadece Google botları uğrar.)

Bunlara Dikkat Edin

– robots.txt dosyasını isimlendirirken küçük harf kullanmanız gerektiğini unutmayanız.
– İmla hatası yapmadığınıza dikkat ediniz. ( Örn: robot.txt )

İLGİNİZİ ÇEKEBİLİR
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım İyi Bir Web Tasarımcı Olmak İçin 5 Adım
Web tasarımcı olabilmek için çeşitli gereklilere haiz olmak her meslekte olduğu gibi, bu meslek içinde geçerli bir durum. Bu konu hakkında gereken beceri ve sorumluluklara değindiğim konuya web tasarımcı olmak için neler gereklidir? konusundan ulaşabilirsiniz. Bu yazımda ise iyi bir web tasarımcı olabilmek için gerekli olan adımları listeleyip mesleğe yeni başlayan ya da mesleğinde ilerlemek...
0 Yorum Yunus H. Parlar · 1 Ekim 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım Web Tasarımcı Olmak için Neler Gereklidir?
Web tasarımcı olmak, işe nereden başlayacağınızı bilmiyorsanız sizi daha çok zora sokabilir. Bir web tasarımcı olarak başarılı olabilmek için ne tür bir bilgi ve yazılıma sahip olmanız gerekiyor? Web tasarımcı olmak için ne tür gereklililer olmalı? gibi soruları bu yazımda yer vererek işe nasıl başlanması gerekiği, sorumlulukları ve işin işleyişi hakkında bilgiler vermek istedim. Bu...
0 Yorum Yunus H. Parlar · 25 Eylül 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım Web Kullanıcı Deneyiminde Yapılan Doğru ve Yanlışlar
Web tasarımı oluştururken kullanıcı deneyimini (UX) hafife almak başarız bir web sitesinin oluşmasında yapılan ilk adımlardandır. Web sitesi ile kolayca etkileşime girebilmek her ziyaretçinin ana hedefidir. Bu sebeple arayüz tasarımında tasarım olarak da sade ve anlaşılabilir olabilmek çok önemlidir. Bu yazıda kullanıcı deneyimi tasarımında yapılan bazı hata ve doğrular üzerine paylaşımda bulunmak istedim. Umarım web...
0 Yorum Yunus H. Parlar · 20 Eylül 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Grafik TasarımWeb Tasarım Freelance Tasarımcılar için Kazanç Platformları
Yaşadığımız pandemi dönemiyle birlikte kazanç elde etmek isteyen freelance tasarımcıların sayısı da hızlı bir şekilde artış göstermeye başladı. Evde iş deneyimi yaşayan çoğu çalışan bu deneyimi sürekliliğe çevirdi ve iş akışını bu şekilde revize etti. Bu sayede freelance çalışan sayısı dünya çapında ciddi bir artış göstermiş durumda. Freelance sektöründede iş yapanlar iş sayısını artırmaya, sektöre...
0 Yorum Yunus H. Parlar · 18 Eylül 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Grafik TasarımWeb Tasarım SVG Formatı Nedir? Kullanım Alanları Nerelerdir?
Web tasarımda sıklıkla kullanılan GIF,PNG,JPEG formatlarına nazaran SVG, vektörel alt yapıya sahiptir. Piksel formatlı olmaması sebebiyle pikselleşme gibi çözünürlük kayıpları söz konusu değildir. XML ve vektörel tabanlı olması sebebiyle taranıp aynı zamanda sıkıştırılabilinir. SVG Formatı Nedir? İngilizce olarak Scalable Vector Graphics anlamına gelen SVG’nin Türkçe karşılığı Ölçeklenebilir Vektör Grafiği olarak çevirilebilir. XML tabanı sayesinde aslında...
0 Yorum Yunus H. Parlar · 13 Eylül 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım Dikkat Çekici 6 Web Tasarım Renk Paleti
Web tasarımı çalışmalarında renk uyumluluğu olmassa olmazlardan. Tasarım bütünlüğü oluşturmakta sıkça baş vurulan renk paleti uyumluluğu sayesinde çekici web tasarımı işleri oluşturulabiliyor. Gözü yormayan, birlikte kullanılabilen ve bütünlük içeren renk paletleri web arayüz tasarımında başarı mümkün oluyor. Sıkça bir arada kullandığım çeşitli renk paletlerini derleyerek tasarımlarınızda kullanabileceğini düşündüm. Bu sebeple renklerle iligili başlıklarlala gruplayıp derlemeyi...
0 Yorum Yunus H. Parlar · 8 Eylül 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım En Güncel 6 Web Tasarımı Trendi
Herşeyin kendini güncellediği günümüzde tasarımın yerinde sayması elbet düşünülemez. Kullanıcı kitlelerine göre hazırlanan tasarım yıllar içerisinde çeşitli akımlardan etkilenerek, o kitlenin görsel ihtiyacına hitap etmektedir. Buna tasarım trendi denilmektedir. Konu web tasarımı olduğunda, tasarım trendleri belirli dönemlerde değişiklik gösterebilmektedir. Mühim olan hedef kitleyi doğru web tasarım trendi ile buluşturabilmektedir. Burada da içerik ya da sektörün...
0 Yorum Yunus H. Parlar · 27 Ağustos 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım E-Ticaret Web Sitesinin Verimliliğini Artırmanın 6 Yolu
E-ticaret firmaları müşterileri çekmek için ücretsiz kargo, sadakat indirimleri, kuponlar ve daha pek çok kampanyaları denerler. Ancak bazen, web tasarımının müşterileri çekmede büyük bir fark yaratabileceğini gözden kaçırmaktadırlar. Sayfa duyarlılığı, sayfa hızı, gezinme, SEO dostu olma vb. konular e-ticaret web sitesi için çok önemli kriterlerdir. Çünkü bu faktörlerden herhangi birinde eksikseniz, çok fazla kullanıcı trafiği...
0 Yorum Yunus H. Parlar · 17 Ağustos 2022
Robots.txt Nedir? Nasıl Oluşturulur? Detay >> Web Tasarım Web Tasarımı için 10 Google Fonts Tavsiyesi
Web tasarımı için çekici, kullanıcı dostu, okunaklı yazı tipleri bulmak her zaman kolay değildir, ancak 2010’da kullanıma sunulan Google Fonts bu sorunun çözülmesine yardımcı olmakta. Yalnızca bir kod parçacığını gömerek sitenize eklenebilecek 600’den fazla ücretsiz, optimize edilmiş yazı tipi içermektedir. Birçok yazı karakterini web tasarımınızda kullanabileceğiniz Google Fonts’da bazen font aramak can sıkabiliyor. Bu sebeple...
0 Yorum Yunus H. Parlar · 12 Ağustos 2022
YORUM YAZ

E-posta hesabınız yayımlanmayacak.

Menü