|
 , Hit : 1676 |
|
|
||||
|
|||||
|
|
|
- Link #1 : TPC 봇 방화벽에서 막는게 유리할까, 웹서버에서 막는게 유리할까 |
|
최근들어서 MSN 봇의 엄청난 침략에 시달리고 있습니다. 신기한건 MS처럼 제대로된 엔지니어와 백테스트를 하는 회사가 , 많은 웹서버 관리자들의 불평과 악성 봇에 가까운 취급을 함에도 불구하고 , 크롤링하는 속도를 떨어트려서 부하를 관리하지 않고 무식하게 밀어 붙이는지 이상합니다. 체감 느낌은 진짜 왜구 놈들이 밀려오는 느낌입니다.  아 꼴보기 싫어... 결론은 .. 아래와 같은 화면이 뜨게됩니다.  하여간 MSN 봇은... 유입 트래픽은 거의 없음에도 불구하고 쓸데 없이 서버 리소스는 잔뜩 잡아먹는 악성 봇에 가깝습니다. 지난 몇주간 서버가 버벅거리는 증상은 다름이 아닌 MSN 봇 때문이었습니다. 그런데 이 MSN봇이 들어올때 일정한 간격으로 천천히 들어와서 크롤링을 하는게 아니라 돈 많은 MS의 특징인데 고성능 서버로 거의 , 서버를 빨아들이듯 자료를 당겨갑니다. 그러니 일반 사용자들이 상대적으로 서비스를 받을때 못받는현상이 생기고 느리고 지연되고 끊김현상까지 발생됩니다. 막는 방법은 많습니다. 1. robots.txt 에서 정의합니다 오지말라고정의하면 오지 말아야하는데, 이거 사실 안 먹힙니다. 크롤링서버와 규칙점점 서버가 다른건지 시차가 있는건지 즉시 반응하지 않고 막아봐야 아무런 변화도 없습니다. 도움안됨 2. 프로그램에서 직접 컨트롤 응용프로그램에서 게시판 소스레벨에서 막습니다. 그런데 일단 서버로 들어온 다음에 서버가 일단 일을 해야하니 좋은 방법은 아닙니다. 커넥션 맺어지고 서버가 서비스를 시작하고 mod perl도 로딩되고 일단 부하는 무조건 생기는걸로.. 3. 웹서버에서 막는 방법 웹서버에서 규칙으로 막습니다 rewrite engine 을 온 시킨 다음 rule 셋으로 막습니다. 그런데 이 경우에도 원격에서 봇이오면 일단 웹서버 데몬이 메모리로 로딩되고 동작한 다음 웹서버가 그 다음레벨에서 튕겨 냅니다. 최소한의 부담은 있을거고, 이넘이 순간적으로 확 밀려오면 무조건 데몬이 20-30개 증가해야하니 CPU 부담이라는게 있겠죠 4. 방화벽에서 룰셋으로 막는다. 방화벽에서 IP로 막아버리는 겁니다. 이게 이론상으로 제일 부하가 작을 거리고 생각합니다. 그리고 직접 실행해봤습니다. 그런데 재미있는현상을 발견했습니다. 이게 제일 좋은 방법이라고 생각했는데 그 이후에.. 30개씩 오던 MSN봇이 , 이.. 뭐지 이상한데 이러면서 60개씩 몰려오는 느낌입니다. 단순한 느낌이지만 .. 왠지 그런것 같습니다. 이정도로 이미 24시간 동안 웹서버에서 계속 접속 거부를하면 , msn 크롤링 서버에서도 기록이 쌓이면서 포기할텐데 그런 기미도 안보일뿐더러, 방화벽에서 막으니 네트웍 이상이라고 생각하는지 더 많은 왜구들을 보내는 느낌입니다. 와 이것들 봐라 웃긴다.. 넷트웩레벨에서 막으면 네트웍 이상으로 생각하고 더 많이 보내네...? 결론 : 봇을 막기 위해선 웹서버에서 위의 3번 방법으로 막은 후 1-2 주간 천천히 시간을 주면서 기다리는 수 밖에 없을 것 같습니다. 추천:제이제이 추천:뻥.투.데이 추천:천도님이 게시물을 좋아합니다. 추천: 존케이지님이 게시물을 좋아합니다. |
|
||||||||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
||
|
||
|
||
| ||
|
