Posted by Cara Blokir IP Address Bad Bots Dengan .htaccess Retakan + Terbaru Download 2022
.htaccess Tidak semua pengunjung website adalah manusia (human traffic). Terkadang Robot juga bisa mengunjungi website. Seperti User Agent, Crawler, Bots dan Link Scrapper. Robot dirancang dengan algoritma tertentu untuk scanning dan scrapping suatu website. Namun tidak jarang, proses scanning atau scrapping itu akan menimbulkan overload pada resource server.
Alhasil, server website kita menjadi error, berujung dengan 502 Bad Gateway, 508 Limit Reached atau 500 Internal Server Error (not available). Untuk mengatasi ini, maka kita perlu mempelajari cara blokir IP Address Bad Bots menggunakan file .htaccess.
Apa itu Bad Bots, User Agent Bot, Crawler, Link Scrapper?
Bad Bots digunakan untuk berbagai tujuan berbeda, seperti scanning, scrapping, serangan DDoS, pengambilalihan akun, dan masih banyak lagi. Bots juga dapat mendistorsi traffic yang kalian dapatkan dari search engine, membuat metrik keliru dan terkadang menyebabkan kerusakan di sistem (overload).
Website dengan puluhan hingga ratusan ribu pengunjung perhari sangat rentan diserang badbots.
Kasus yang paling sering terjadi adalah bot crawler dan link scrapper. Dimana Crawler ini akan secara terus menerus menelusuri seluruh halaman hingga keujung website. Bahkan, image dan file-pun juga tidak luput di scan oleh Bot Crawler. Selengkapnya, coba lihat skema cara kerja web crawler berikut :
Sembari melakukan crawling, bot akan melakukan scrapper. Scrapping inilah yang nantinya dapat memberatkan resource website. Dia akan secara sengaja mengakses semua file untuk selanjutnya di copy dan kumpulkan datanya ke server mereka.
Pada kasus tersebut, maka Bots itu bisa kita bilang sebagai User Agent. Dimana Bot diprogram oleh sekelompok lembaga, misalnya Ahrefs, Semrush, Moz, dan lain sebagainya.
Kenapa Harus Blokir Bad Bots?
- Menyebabkan kekeliruan metrik analytics traffic
- Terkadang menimbulkan Overload Resource Server
- Menguras Bandwidth server
- Scrapper dapat membuka Backlink website
- Keamanan website menjadi sangat rentan
- Rawan akan spam dan advertisement merugikan
- Bad Bots tidak merespon Rule yang ada di Robots.txt
Cara Blokir IP Address dan Bad Bots dengan File .htaccess
Untuk memblokir IP Addres Bad Bots melalui .htaccess, kalian memerlukan akses ke file manager website. Jika file .htaccess belum tersedia, silahkan di create file saja secara manual. Namun jika file sudah ada, kalian tinggal edit dan tambahan kode.
- Buka CPanel, Plesk Panel, ISP Config atau via FTP File
- Lanjut, masuk ke folder Root website
- Temukan file .htaccess, buka dan lakukan pengeditan
- Tambahkan kode berikut ini di paling atas :
#Remove or add more rules as per your needs. BrowserMatchNoCase "Baiduspider" bad_bots BrowserMatchNoCase "BLEXBot" bad_bots BrowserMatchNoCase "SemrushBot" bad_bots BrowserMatchNoCase "AhrefsBot" bad_bots BrowserMatchNoCase "DotBot" bad_bots BrowserMatchNoCase "MJ12bot" bad_bots BrowserMatchNoCase "Rogerbot" bad_bots BrowserMatchNoCase "aiHitBot" bad_bots BrowserMatchNoCase "spbot" bad_bots BrowserMatchNoCase "oBot" bad_bots BrowserMatchNoCase "DeuSu" bad_bots BrowserMatchNoCase "ia_archiver" bad_bots BrowserMatchNoCase "ExaBot" bad_bots BrowserMatchNoCase "Sitebot" bad_bots BrowserMatchNoCase "Gigabot" bad_bots BrowserMatchNoCase "MetaURI" bad_bots BrowserMatchNoCase "FlipboardProxy" bad_botsOrder Allow,Deny Allow from ALL Deny from env=bad_bots Deny from 5.188.210.0/24
- Sedangkan, untuk blokir IP Address ketik kode berikut : Deny from IPADDRESS
- Kalian juga bisa blokir IP Address Range dengan IP Range To CIDR
- Untuk mendapatkan nama BOT User Agent, kalian bisa buka Logs Website
Namun, tidak semua bot itu jahat loh ya sobat. Bot media sosial (Facebook, Twitter, dkk.) dan bot mesin pencari (Google, Bing, Yandex dkk.). Jangan pernah blokir User Agent dari Google, Bing, Social Media dan sebangsanya ya. Sekian tutorial Cara Blokir IP Address Bad Bots dengan htaccess. Semoga bermanfaat!