Halo, lagi lagi minggu ini kembali berurusan dengan mesin bodoh ini, Search Engine Bot alias Crawler alias Spider, merupakan mesin yang bertugas untuk mencari data di internet, dan memasukkannya kedalam search engine, selain itu juga mesin ini ternyata memiliki sifat yang buruk, yakni pemalas, malas untuk mengindex data yang sekiranya membuat dia menunggu lama. Dan juga memiliki kebodohan yang sering diakali oleh penjual ebook sampah di internet, dengan metoda yang terkenal seperti cloacking, yang masih juga bisa menipu mesin tersebut.
Soal menunggu, siapa sih yang betah menunggu, manusia saja tidak betah, konyolnya, mesin pun tidak betah, jika dirasa olehnya lambat untuk membuka sebuah situs, maka ditinggalkanlah situs tersebut. Tetapi terkadang, terlalu cepat diakses olehnya pun menjadi bermasalah, bandwidth terbuang terus.
Sebagai contoh, blog ini dikunjungi oleh bot 3-4 kali sehari, dan dikunjungi dalam waktu kurang dari 30 menit setelah saya menuliskan postingan ini, dalam satu bulan, bisa habis sekitar 1-3 GB bandwidth karena bot, padahal tulisan ini ngga ada penting pentingnya sama sekali, dan ga ada unsur pendidikannya sama sekali.
Tentunya anda bisa membayangkan bukan, jika situs saya ini merupakan situs institusi pendidikan, yang isinya mungkin penting untuk diakses oleh orang-orang dan juga bahkan memiliki pagerank 7, tetapi sayangnya situs tersebut sulit sekali untuk bisa diakses dengan mudah karena kekurangan bandwidth (atau manajemen bandwidth yang kurang baik?) bagaimana bisa diindex dengan mudah? dan bagaimana sebuah situs itu bisa dinilai memiliki content yang banyak karena dihambat firewall rule dimana mana?
Mau dikasih SEO jenis apa biar terindex? Topi Hitam ? Topi Putih ? atau Topi Miring ? 
October 1, 2007 at 21:00
komen
*udah*
October 1, 2007 at 21:04
hahahahahah……..
Maksud lo situs ini http://www.itb.ac.id …???
Jangan stress gitu lah kawann..
kemarin technical SEO udah gue kirim kan?
sekarang tinggal fundamental SEo nya ajah,..
boosting link sonoh,.. Paypal Indo dah aktif gitu, masak masih ga bisa beli2 link2..
kalo mo konsul indexing link yg trustable, gue siap bantu,..
yak, sayang,.. met naek haji ,.. banyak2 berdoa…
October 1, 2007 at 21:05
huehuehue.
bahas http://www.itb.ac.id neh.
dari dulu terkenal susah diakses dari luar
October 1, 2007 at 21:13
oh ghitu..!!
October 1, 2007 at 21:16
bot 3-4 kali sehari..
1 bot = 1 pengunjung??, bagus dong biar jumlah pengunjungnya banyak..
apa 1 bot = eksploitasi benwit??, maunya apa ya..
October 1, 2007 at 21:24
@herry, 1 bot ngeindex situs ini keseluruhan
October 1, 2007 at 22:33
topi miring aja… ga ngerti gw
October 1, 2007 at 22:48
Bos hosting, kalo server indonesia yang SEF mana ya?
October 1, 2007 at 23:23
wah pasti bukan bot baik-baik kekeke, sayah sih masih butuh mas bot buat menyalip “diki lingerie” dari search result google.. kalah sama daleman bo, btw jaman sekarang robots.txt masih efektif untuk mengatur traffic crawler ngga? dulu sih kan bisa diset Disallow all robots pake /
October 1, 2007 at 23:36
Mengalami hal yang serupa.. trus pemilik hosting (dreamhost) dengan semena2 langsung mem-ban dengan membuat file .htaccess yang mem-ban b0t milik google dan yahoo.
October 2, 2007 at 01:17
topi miring aja paati banyak yang nyari hehehehe
October 2, 2007 at 04:49
mending survey aja..siapa yang susah akses situs institusi pendidikan tersebut dan siapa yang lancar? Gw dari rumah gak pernah susah akses tuh..
salam..
October 2, 2007 at 07:42
Makanya nulis yang berpendidikan dong boss, huikikik…
October 2, 2007 at 07:53
baru ngeh gw ternyata yang dibahas main site institut tekanan bathin
October 2, 2007 at 08:17
@Fajar, bukan main sitenya aja, tapi site yang ada diekornya juga
October 2, 2007 at 12:42
ya udah mulai survei.
kalo gw pake centrin biasa aja, ga lemot2 banget.
-IT-
October 3, 2007 at 05:07
ayo survey..
gw pake quasar, lancar jaya sekali
October 15, 2007 at 18:39
Kelihatannya angka 1–3 GB terlalu besar deh untuk bot dalam sebulan, apalagi untuk blog secara umum saat ini di Indonesia. Total pemakaian saya, plus pengunjung, tidak sampai 2 GB/bulan.
Okelah, pengunjung blog ini sangat mungkin lebih banyak, tapi jumlah bot relatif itu-itu saja. Atau ada bot khusus yang suka datang pilih-pilih, kekekeke….
October 17, 2007 at 09:07
@amal, emang bener kok 1-3 GB itu versi awstats
October 17, 2007 at 10:06
baru tau saya kalau bot itu sampe makan bandwidth 3 GB per bulan…boros juga yah…
July 12, 2008 at 23:07
kalu aku malah pengen di kunjungi terus ama bot…
biar kedetec banyak di se