기록소 기록소

옛날에 외국인들 사이에서 그나마? 이름이 있었던 여행 사이트 하나를 크롤링/스크래핑 한 적이 있었다. 물론 접속하다보니 막혀서, 그 당시에는 sleep(0.1) * randint(5) 이런식으로 사람 흉내를 냈었지만 개인이 아닌 회사에서는 그런식으로 접근하기가 좀 그렇다. 기왕 짤 거 똑똑하게 짜보자라는 오더가 있기도 했고. 왜냐면 이러한 정보 수집 자체는 큰 문제가 없지만 그 정보를 개인적으로 사용하느냐, 아니면 배포하느냐에 따라서 해당 정보의 저작권 문제가 대두될 수 있기 때문에.. 회사에서 쓰는 거면 전부 개인적인 사용이 아닌거 아니냐? 라는 말이 나올 수 있겠지만, 사장님이 쓰시고 싶다는데 어쩌겠나(쩝) 또한 필연적으로 서버에 과부하를 주게 되는데, 과부하를 주는 과정에서 해당 IP나 ID가 거절..