Membuat file robot.txt untuk website anda

Robot yang satu ini bukan robot yang bisa bergerak sendiri dengan menggunakan mesin, tapi robot ini adalah file yang diperlukan oleh sebuah website/ blog agar bisa terindeks dengan cepat oleh search engine seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex website/ blog Anda. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.

berikut contoh robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://idcolo.com/sitemap.xml
Untuk sitemap sengaja saya tambahkan http://www.idcolo.com karena website/blog ini misalnya memakai fasilitas dari cms wordpress, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. 


Semoga Membantu,

IDColo Support Dept.



  • 11 Users Found This Useful
Was this answer helpful?

Related Articles

Tips agar domain baru resolve dalam hitungan detik

Domain baru Anda biasanya akan melakukan resolve dns dalam waktu 24 jam dan cepat atau lambatnya...

Bagaimana jika ingin webmail langsung mengakses ke horde, neomail atau squirrelmail?

Silahkan Login ke salah satu aplikasi tersebut (horde / neomail / squirrelmail) lalu copy alamat...

Bagaimana cara mencegah Spam?

Berikut ini beberapa cara pencegahan yang dapat dilakukan untuk mengurangi spam: Jangan...

Bagaimana cara akses php.ini untuk merubah PHP Register Globals?

Untuk merubah register global menjadi on/off atau mengoverride beberapa setingan default php.ini....

Cara redirect ketika membuka domain.com menjadi www.domain.com

Masukan code dibawah ini kedalam file .htaccess di folder public_html : RewriteEngine On...