Asalamualaikum.....
wah ketemu lagi ama orang yang goblog sok pinter yang gayanya suka ngasih tips agar blog atau website di index google,,
Mari kita sama sama belajar lagi agar blog kita di index google.
Sebelum kita menggunakan robots.txt kita harus tahu terlebih dahulu apa itu robots.txt. Robots.txt adalah sebuah file dengan extensi .txt yang berfungsi untuk memberikan kontrol terhadap akses file pada suatu website dari search enggine. File robots.txt tersebut diletakkan di direktori utama.
berikut ini contoh tentang cara menggunakan robots.txt :
1. Contoh robot.txt yang mengijinkan penelusuran seluruh file di server kita oleh seluruh bot/ kode yang di miliki search enggine untuk mencari data.
User-agent: *
Disallow:/cgi-bin/
Disallow: /tmp/Disallow: /~joe/
2. Contoh robot.txt mengijinkan diakses oleh BadBot saja.
User-agent: BadBot
Disallow: /
3. Contoh robot.txt mengijinkan diakses oleh Bot yang dimiliki google.
User-agent: Google
Disallow:
User-agent: *
Disallow: /
4. Contoh robot.txt tidak mengijinkan diakses seluruh filenya oleh Bot.
User-agent: *
Disallow: /~joe/stuff/
5. Contoh robot.txt tidak mengijinkan diakses pada file tertentu oleh Bot.
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Setelah kita mengetahui cara menggunakan robots.txt kita atur file apa saja dan bot apa saja yang bisa mengakses file kita. kemudian simpan file tersebut dengan nama robots.txt, kemudian letakkan file tersebut di , contoh "http://www.example.com/robots.txt".
sekarang kita belajar mengartikan kode-kode tersebut
- User-agent: * >>>>>>tanda ( * ) artinya mengijinkan seluruh bot
- User-agent: BadBot >>>>> artinya hanya bot yang bernama BadBot yang boleh mengakses
- Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
- Disallow: /~joe/junk.html >>>>> artinya tidak memperbolehkan bot mengakses file ~joe/junk.html
Nah dari situ kita bisa mengatur file apa saja yang boleh diakses bot google dan lainya dan di index search engine pada halaman tertentu dengan cara menggunakan robots.txt. Sekali lagi cara memasang robots.txt harus tepat. Memasang robots.txt di satu lokasi dengan file ixdex.php pada web kamu. Cara memasang robots.txt di letakan dalam public_html/ , jika menggunakan sub domain meletakkan file robots.txt di public_html/namadomain/. Kegunaan file robots.txt itu memberikan kontrol file mana yg boleh dibaca bot atau mesin pencari. Sehingga dengan cara memasang file robots.txt web atau blog kita spesifik diakses bot speeder.
Huuuuuhhh sekian dulu ya dari saya tentang cara menggunakan robots.txt. Cozzz udah kedinginan ni kena AC maklum orang desa jarang makan AC hikzzz hikzzz, kutunggu koment kalian ya.... kita belajar bersama... byeee
Jumat, 12 Februari 2010
Cara menggunakan robots.txt
Posted by: Ngestu Aji Baskoro
Jasa Pembuatan Website Blog
Updated at :
09.22
lam knal.,
BalasHapusthnks y infonya... :)
iya sama sama alu juga masi belajar.....
BalasHapuscara menggunakan robots.txt
mampir yuuuuuuuu
BalasHapuscara settingnya gmn di blogspot.
BalasHapuscaranya udah aku tampilkan di postig aku dengan label di index google silakan baca lagi masss andd tetep semangat......chaiyo
BalasHapussob..agak ribet juga ya maklum gaptek nih, ada pejelasan paktisnya gak nih.. :-D
BalasHapuslogin ke blogger --->akunku-->webmaster tools --> site configuration--->Crawler access,edit texbox nya dari robot.txt
BalasHapusdisalow artinya tidak boleh/diijinkan.berati yg masuk dirobot txt itu kan yg tidak blh di index oleh google kan? bukan sebaliknya...setau saya robot txt itu untuk mencegah file2 tertentu agar tidak di index google. mhn sharingnya.
BalasHapusiya kalo Disallow: /~joe/junk.html brati file junk.html tidak akan di crawler atau di telusuri oleh search enggine. yups bener
BalasHapusdi atas saya baca ================
BalasHapus- Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
=============================
maap sok tau kali saya yang lagi belajar ini.....
- Disallow: / >>>>>>>> "artinya tidak mengijinkan "
============================
gawatnya klu ada direktoti web open soucre... gampang bgt kali ya untuk di hack......
========
maap. ..... sekalian nanya yang mana yg bener.......
tengkiyuuuuuuu...........
- Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
BalasHapus- Disallow: /~joe/junk.html >>>>> artinya tidak memperbolehkan bot mengakses file ~joe/junk.html
Nice Post
BalasHapusklo robot.txt nya dihapus bs gak?
BalasHapusBoleh tapi tidak aman dari hacker, karena file yg diakses tidak dibatasi
BalasHapussalam kenal makasih informasinya ak ki tesih goblog durungerti hehehehe unjungi ke pintusurgga ane mita komen nya dari anda gan kan anda yang udah jago :D
BalasHapusnih alamat nya gan http//www.pintusurgga.co.cc ane minta komenya maklum ane pendatang baru jadi masih goblog hehehe
BalasHapussangat membantu bwt ane yg nubie...
BalasHapusterimakasih infonya..
BalasHapusmau tanya:
- agar widget dan comment tidak kena search, apa yg harus di disallow: ?
wah sangat bermanfaat ... ;-)
BalasHapuskayu jabon
jasa ekspedisi
-- infoku, y klo komentar g pengen di akses bot harus dissalow : /komentar.php misal-- infoku, y klo komentar g pengen di akses bot harus disallow : /komentar.php misal
BalasHapussalam kabpemalang!
BalasHapusmantap juga neh blog...
makasih buat tipsnya masbro :D
BalasHapusjadi tau skrng ;)
sob
BalasHapusgimana , cara nya , biar artikel kita ke indeks lagi setelah menggunakan robots.txt
soal na artikel ane , gak ke indeks url nya gak ketemu
setelah ane , pake file robots.txt
mohon tutor lengkap nya , sob
tq
klo boleh tau file robots.txt nya kayak gimana... kirim ke email aq jasyapa tau bisa bantu aqu.cowokmu@gmail.com
BalasHapusmantap gan.....
BalasHapus