개발자포럼 입니다.
파이썬에서 모듈을 병렬로 실행시키는 방법에 대해 질문드립니다.5
- [* 비회원 *]
- 등록일 2016-07-26 09:40
- 조회수 592
|
||
0
추천하기
다른의견
0
|
파워링크 
등록안내
등록안내
첨부파일
- 그림1.png
|
 0
 0
시간 소요가 어디에서 가장 많이 걸리나요?
보통 딜레이 시간은 Disk I/O 쪽에서 많이 생기는데 DB Insert 할때 건by건 으로 하지마시고... INSERT 구문에 값을 100개 이상 한번에 넣을수 있어요. |
|
|
|
 |
|
| △ 이전글▽ 다음글 | 목록보기 |
|
\"데이터 A를 읽고 처리 -> 데이터A를 저장\" 이걸 하나의 작업단위로 묶은뒤(뭐 함수나 클래스 등으로 구분시킨뒤) 이걸 병렬실행되도록 하세요.
병렬 실행 시킬때는 시스템 자원에 따라서 유동적으로 병렬수행 갯수를 조정 가능하게 하시구요.
일단 데이터 단위를 작게 나누어서 데이터를 읽고 처리하는 것으로 가닥을 잡아 구현해보려고 합니다.
데이터를 웹페이지를 크롤링하여 가져오는 거라 병렬로 한번에 읽어오면
디도스 공격처럼 되어버리는 것도 있어서 골치아프네요ㅠㅜ