파이썬 크롤링 for 실행속도 개선 방법 문의드립니다.8
- 저팬브랜드
- 등록일 2020-01-25 15:02
- 조회수 2822
|
||
0
추천하기
다른의견
0
파워링크 
등록안내
|
 0
 0
 페컹
for문 순서가 잘 못 되었네요
page 가져오는 for문을 먼저쓰시고 select도 find_all 하셔서 a태그 한 번에 가져오게 짜세요
2020-01-25
|
|
0
0
노예_33년
for문 문제는 아니죠.
그냥 1번씩 사이트 접속해서 긁어오는 건데요.
1초씩 걸리는건 해당 사이트의 응답시간으로 어쩔 수가 없는 문제입니다.
스레드로 동시에 여러개를 실행시켜서 작업하는 방법뿐입니다.
2020-01-28
|
|
|
0
0
Lllux
페이지를 44번 읽고 각 페이지 마다 50줄씩 읽으신거 같은데
지금 코드는 50번씩 44페이지를 읽네요. 50 x 44 44번 읽으면 될거를 50 x 44 읽고 있어요 for 문은 페이지 읽을때 바깥에 쓰시고 response 텍스트를 가지고 활용하시면 되죠.
2020-01-29
|
|
|
|
 |
|
| △ 이전글▽ 다음글 | -목록보기 |
|
1페이지 1번, 2페이지 1번, 3페이지 1번.....
1페이지 2번, 2페이지 2번, 3페이지 2번.....
이러는거 같은데요. -ㅁ-;