Search Engine Bot (Crawler / Spider)
Halo, lagi lagi minggu ini kembali berurusan dengan mesin bodoh ini, Search Engine Bot alias Crawler alias Spider, merupakan mesin yang bertugas untuk mencari data di internet, dan memasukkannya kedalam search engine, selain itu juga mesin ini ternyata memiliki sifat yang buruk, yakni pemalas, malas untuk mengindex data yang sekiranya membuat dia menunggu lama. Dan juga memiliki kebodohan yang sering diakali oleh penjual ebook sampah di internet, dengan metoda yang terkenal seperti cloacking, yang masih juga bisa menipu mesin tersebut.
Soal menunggu, siapa sih yang betah menunggu, manusia saja tidak betah, konyolnya, mesin pun tidak betah, jika dirasa olehnya lambat untuk membuka sebuah situs, maka ditinggalkanlah situs tersebut. Tetapi terkadang, terlalu cepat diakses olehnya pun menjadi bermasalah, bandwidth terbuang terus.
Sebagai contoh, blog ini dikunjungi oleh bot 3-4 kali sehari, dan dikunjungi dalam waktu kurang dari 30 menit setelah saya menuliskan postingan ini, dalam satu bulan, bisa habis sekitar 1-3 GB bandwidth karena bot, padahal tulisan ini ngga ada penting pentingnya sama sekali, dan ga ada unsur pendidikannya sama sekali.
Tentunya anda bisa membayangkan bukan, jika situs saya ini merupakan situs institusi pendidikan, yang isinya mungkin penting untuk diakses oleh orang-orang dan juga bahkan memiliki pagerank 7, tetapi sayangnya situs tersebut sulit sekali untuk bisa diakses dengan mudah karena kekurangan bandwidth (atau manajemen bandwidth yang kurang baik?) bagaimana bisa diindex dengan mudah? dan bagaimana sebuah situs itu bisa dinilai memiliki content yang banyak karena dihambat firewall rule dimana mana?
Mau dikasih SEO jenis apa biar terindex? Topi Hitam ? Topi Putih ? atau Topi Miring ? 
October 1st, 2007 at 9:00 pm
komen
*udah*
October 1st, 2007 at 9:04 pm
hahahahahah……..
Maksud lo situs ini http://www.itb.ac.id …???
Jangan stress gitu lah kawann..
kemarin technical SEO udah gue kirim kan?
sekarang tinggal fundamental SEo nya ajah,..
boosting link sonoh,.. Paypal Indo dah aktif gitu, masak masih ga bisa beli2 link2..
kalo mo konsul indexing link yg trustable, gue siap bantu,..
yak, sayang,.. met naek haji ,.. banyak2 berdoa…
October 1st, 2007 at 9:05 pm
huehuehue.
bahas http://www.itb.ac.id neh.
dari dulu terkenal susah diakses dari luar
October 1st, 2007 at 9:13 pm
oh ghitu..!!
October 1st, 2007 at 9:16 pm
bot 3-4 kali sehari..
1 bot = 1 pengunjung??, bagus dong biar jumlah pengunjungnya banyak..
apa 1 bot = eksploitasi benwit??, maunya apa ya..
October 1st, 2007 at 9:24 pm
@herry, 1 bot ngeindex situs ini keseluruhan
October 1st, 2007 at 10:33 pm
topi miring aja… ga ngerti gw
October 1st, 2007 at 10:48 pm
Bos hosting, kalo server indonesia yang SEF mana ya?
October 1st, 2007 at 11:06 pm
[...] Guild_of_Abundance wrote an interesting post today onHere’s a quick excerpt [...]
October 1st, 2007 at 11:23 pm
wah pasti bukan bot baik-baik kekeke, sayah sih masih butuh mas bot buat menyalip “diki lingerie” dari search result google.. kalah sama daleman bo, btw jaman sekarang robots.txt masih efektif untuk mengatur traffic crawler ngga? dulu sih kan bisa diset Disallow all robots pake /
October 1st, 2007 at 11:36 pm
Mengalami hal yang serupa.. trus pemilik hosting (dreamhost) dengan semena2 langsung mem-ban dengan membuat file .htaccess yang mem-ban b0t milik google dan yahoo.
October 2nd, 2007 at 1:17 am
topi miring aja paati banyak yang nyari hehehehe
October 2nd, 2007 at 4:49 am
mending survey aja..siapa yang susah akses situs institusi pendidikan tersebut dan siapa yang lancar? Gw dari rumah gak pernah susah akses tuh..
salam..
October 2nd, 2007 at 7:42 am
Makanya nulis yang berpendidikan dong boss, huikikik…
October 2nd, 2007 at 7:53 am
baru ngeh gw ternyata yang dibahas main site institut tekanan bathin
October 2nd, 2007 at 8:17 am
@Fajar, bukan main sitenya aja, tapi site yang ada diekornya juga
October 2nd, 2007 at 12:42 pm
ya udah mulai survei.
kalo gw pake centrin biasa aja, ga lemot2 banget.
-IT-
October 3rd, 2007 at 5:07 am
ayo survey..
gw pake quasar, lancar jaya sekali
October 15th, 2007 at 6:39 pm
Kelihatannya angka 1–3 GB terlalu besar deh untuk bot dalam sebulan, apalagi untuk blog secara umum saat ini di Indonesia. Total pemakaian saya, plus pengunjung, tidak sampai 2 GB/bulan.
Okelah, pengunjung blog ini sangat mungkin lebih banyak, tapi jumlah bot relatif itu-itu saja. Atau ada bot khusus yang suka datang pilih-pilih, kekekeke….
October 17th, 2007 at 9:07 am
@amal, emang bener kok 1-3 GB itu versi awstats
October 17th, 2007 at 10:06 am
baru tau saya kalau bot itu sampe makan bandwidth 3 GB per bulan…boros juga yah…
July 12th, 2008 at 11:07 pm
kalu aku malah pengen di kunjungi terus ama bot…
biar kedetec banyak di se