▼

회원가입|아이디

비번찾기

개발자포럼 입니다.

IT 개발자간 정보를 공유하고 논의가 이루어지는 공간입니다.

파이썬 크롤링 for 실행속도 개선 방법 문의드립니다. ⁸
분류: 질문
이름: 저팬브랜드

등록일: 2020-01-25 15:02
조회수: 2538

회사 홈피 내부망에서 특정 자료를 긁는데

for문을 이중으로 써서 그런가 무지하게 느리네요.

1초에 한줄씩 가져옵니다.

다 따져보면 몇천줄일 텐데요.

초보라 인터넷으로 크롤링 보고 단순 조악하게 만들엇는데

어떤걸 써야지 속도가 빨라질가요?

최초 구상은

URL 1~44까지 읽고

soup.select로 a 태그를 1~50까지 가져와라 (f스트링 사용)

결과 출력

이렇게 하려고 생각하는겁니다.

import requests

from bs4 import BeautifulSoup as bs

for i in range(1,50):

for page in range(1,44):

url = '내부주소' + str(page)

res= requests.get(url)

soup = bs(res.content, 'html.parser')

link = soup.select(f'body > div:nth-child(5) > center:nth-child(2) > div:nth-child({i}) > a')

print(link)



			-목록보기

0 저팬브랜드

출력 되는거 보니

1페이지 1번, 2페이지 1번, 3페이지 1번.....

1페이지 2번, 2페이지 2번, 3페이지 2번.....

이러는거 같은데요. -ㅁ-;

2020-01-25

0 슈가프로그래밍

for in for 문을 사용하지 마시고요

for 문의 결과를 List로 받고 이걸 다시 For문에 사용하시는 형태로 for 문장을 변경해보세요.

2020-01-25

저팬브랜드

참고하겠습니다.

2020-01-26

페컹

for문 순서가 잘 못 되었네요

page 가져오는 for문을 먼저쓰시고

select도 find_all 하셔서 a태그 한 번에 가져오게 짜세요

2020-01-25

페컹

for page in range(1,44):

find_all

이런식으로요

2020-01-25

저팬브랜드

왜인지는 모르겠지만 find_all a태그가 안먹혀요.

원하는 구문이 나오지 않네요.

일반적인 <a harf 인디....

그래서 셀렉트 써서 css 로 일일히 하나씩 돌린겁니다.

2020-01-26

0 노예_33년

for문 문제는 아니죠.

그냥 1번씩 사이트 접속해서 긁어오는 건데요.

1초씩 걸리는건 해당 사이트의 응답시간으로 어쩔 수가 없는 문제입니다.

스레드로 동시에 여러개를 실행시켜서 작업하는 방법뿐입니다.

2020-01-28

0 Lllux

페이지를 44번 읽고 각 페이지 마다 50줄씩 읽으신거 같은데

지금 코드는 50번씩 44페이지를 읽네요.

50 x 44

44번 읽으면 될거를 50 x 44 읽고 있어요

for 문은 페이지 읽을때 바깥에 쓰시고

response 텍스트를 가지고 활용하시면 되죠.

2020-01-29

욕설, 상처를 줄 수 있는 댓글은 삼가주세요.
로그인 후 코멘트를 작성하실 수 있습니다.

짤방 사진		익명요구 다른의견


	△ 이전글▽ 다음글	-목록보기

▲

▼

개발자포럼 입니다.

공유하기

북마크 등록하기

이메일 추천하기

해당회원을 차단하시겠습니까?