뽐뿌

개발자포럼 입니다.

북마크 아이콘

IT 개발자간 정보를 공유하고 논의가 이루어지는 공간입니다.
파이썬 크롤링 for 실행속도 개선 방법 문의드립니다. 8
분류: 질문
이름: 저팬브랜드


등록일: 2020-01-25 15:02
조회수: 2538





회사 홈피 내부망에서 특정 자료를 긁는데

for문을 이중으로 써서 그런가 무지하게 느리네요.

 

1초에 한줄씩 가져옵니다.

다 따져보면 몇천줄일 텐데요.

 

초보라 인터넷으로 크롤링 보고 단순 조악하게 만들엇는데

어떤걸 써야지 속도가 빨라질가요?

 

최초 구상은 

 

 URL 1~44까지 읽고

 soup.select로 a 태그를 1~50까지 가져와라 (f스트링 사용)

 결과 출력

 

이렇게 하려고 생각하는겁니다.

 

import requests

from bs4 import BeautifulSoup as bs



for i in range(1,50):

    for page in range(1,44):



        url = '내부주소' + str(page)

        res= requests.get(url)

        soup = bs(res.content, 'html.parser')

        link = soup.select(f'body > div:nth-child(5) > center:nth-child(2) > div:nth-child({i}) > a')

        print(link)
추천0 다른 의견0

다른의견 0 추천 0 저팬브랜드
2020-01-25

다른의견 0 추천 0 슈가프로그래밍
2020-01-25

다른의견 0 추천 0 저팬브랜드
2020-01-26

다른의견 0 추천 0 페컹
2020-01-25

다른의견 0 추천 0 페컹
2020-01-25

다른의견 0 추천 0 저팬브랜드
2020-01-26

다른의견 0 추천 0 노예_33년
2020-01-28

다른의견 0 추천 0 Lllux
2020-01-29
  • 욕설, 상처를 줄 수 있는 댓글은 삼가주세요.
짤방 사진  익명요구    
△ 이전글▽ 다음글 -목록보기