Membuat file robot.txt untuk website anda

Robot yang satu ini bukan robot yang bisa bergerak sendiri dengan menggunakan mesin, tapi robot ini adalah file yang diperlukan oleh sebuah website/ blog agar bisa terindeks dengan cepat oleh search engine seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex website/ blog Anda. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.

berikut contoh robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://idcolo.com/sitemap.xml
Untuk sitemap sengaja saya tambahkan http://www.idcolo.com karena website/blog ini misalnya memakai fasilitas dari cms wordpress, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. 


Semoga Membantu,

IDColo Support Dept.



Was this answer helpful?

 Print this Article

Also Read

Cara Upload File Website dengan File Manager melalui cPanel

tidak bisa akses ke FTP ERROR

saat masuk ke FTP menemukan error  message   Failed to retrieve directory...

Tips agar domain baru resolve dalam hitungan detik

Domain baru Anda biasanya akan melakukan resolve dns dalam waktu 24 jam dan cepat atau lambatnya...

Bagaimana cara akses php.ini untuk merubah PHP Register Globals?

Untuk merubah register global menjadi on/off atau mengoverride beberapa setingan default php.ini....

Cara membuat email dari google apps dengan nama domain sendiri

1. Silahkan buka alamat http://www.google.com/a/cpanel/domain/new , isi kolom untuk nama domain...