About Robots.txt

Robots.txt, merupakan file untuk mengatur hak akses dari para web spider atau web robots yang akan meng-index sebuah situs. File robots.txt biasa ditemukan pada root sebuah situs, misalnya situs yang saya miliki, file robots.txt bisa ditemukan di http://site.com/robots.txt. Walaupun kecil, file ini mempunyai fungsi yang tidak sebandingan dengan ukurannya, file ini bisa mempengaruhi bagaimana situs kita akan di-index. Saya akan memberikan 8 contoh mudah dalam penulisan file robots.txt dan saya yakin Anda pasti bisa!

Contoh 1:
User-agent: *
Disallow:
#contoh di atas akan memperbolehkan semua robots untuk meng-index semua file dari sebuah situs

Contoh 2:
User-agent: *
Disallow: /
#contoh di atas akan melarang semua robots untuk meng-index semua file dari sebuah situs

Contoh 3:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
#contoh di atas akan melarang semua robots untuk masuk ke dalam folder cgi-bin, images, tmp, dan private

Contoh 4:
User-agent: GoogleBot # replace the ‘BadBot’ with the actual user-agent of the bot
Disallow: /private/
#contoh di atas akan melarang robots BadBot untuk ke dalam folder private

Contoh 5:
User-agent: *
Disallow: /directory/file.html
#contoh di atas akan melarang semua robots untuk mengakses file.html

Contoh 6:
User-agent: *
Allow: /folder1/myfile.html
Disallow: /folder1/
#contoh di atas akan melarang semua robots untuk mengakses semua file dalam folder1, kecuali file myfile.html

Contoh 7:
User-agent: *
Crawl-delay: 10
#contoh di atas memperbolehkan robots untuk meng-index situs dengan delay 10 detik atau setiap 10 detik

Contoh 8:
User-agent: *
Request-rate: 1/5
Visit-time: 0600-0845
#contoh di atas memperbolehkan robots untuk meng-index situs hanya satu halaman setiap 5 detik dan hanya boleh berkunjung antara pukul 06:00 sampai 08:45 UTC (GMT)

Setiap baris yang diawali dengan simbol pagar (#), hanya dianggap sebagai komentar dan tidak akan bepengaruh terhadap Robots. Pada artikel berikutnya saya akan memberikan beberapa tools online yang berhubungan dengan file robot.txt.

About The Author

Bie, that's my name. Im just an ordinary blogger.Ea eam labores imperdiet, apeirian democritum ei nam, doming neglegentur ad vis. Ne malorum ceteros feugait quo, ius ea liber offendit placerat, est habemus aliquyam legendos id. Eam no corpora maluisset definitiones.

Share This

• 
• 
• 
• 
• 
• 
• 

Subscribe Here