▼

조현문

개발자포럼 입니다.

크롤링을 수행할 서버 관련 구성 관련해서 조언 부탁드립니다.4

안녕하세요. 크롤링 서버 관련하여 조언을 부탁드리려 글을 올립니다.

저는 특정 사이트 정보를 가져오기 위해 node.js로 웹 크롤링을 수행하는 코드를 작성하였는데요.

크롤링 시 과도한 접속 시도로 인해 해당 사이트 접근이 블락될 수 있다는 글을 많이 보았고

이에 대한 해결책으로 접속이 뜸한 새벽시간대나 vpn을 통해 크롤링을 한다는 정보를 접하였습니다.

크롤링을 수행하는 코드를 heroku에 업로드하여 동작시키면 혹여나 블락을 당해도 해당 heroku 계정의 주소만 차단되는 것이 아닐까?

라고 생각을 해보았는데 고수분들의 의견을 듣고싶습니다.

더불어 크롤링을 안전하게 수행하기 위한 노하우나 크롤링 속도, 환경구성 등도 조언 부탁드립니다.

0 규민1

급한거 아니면 python으로 타이밍 주고 긁어요

2016-04-08 점아이콘

0 [* 비회원 *]

늦었지만 답변 주셔서 감사합니다.
결국은 파이썬으로 했어요^^

2016-04-22 점아이콘

0 호치민의기적

tor 로 ip 바꿔가면서 하세요. 느린건 함정 ...

2016-04-08 점아이콘

0 [* 비회원 *]

아시는 분이 VPN 툴을 제공해주셔서
조금씩 크롤링 중입니다.
답변 주셔서 감사해요^^.

2016-04-22 점아이콘


	△ 이전글▽ 다음글	-목록보기