쿠팡 크롤링 혼자 공부하면 만들수있나요?42
- 밀키스하얘
- 등록일 2022-01-26 16:48
- 조회수 18269
|
||
파워링크 
등록안내
|
 0
 0
Siape
혼자 독학으로 파이썬 공부하실 때 기초 조금 보시고 무작정 따라하는 파이썬 크롤링 인터넷에 있는 글들 위주로 하면 금방하실 겁니다.
2022-01-27
|
|
|
0
0
올타꾸나
크롤링 20년차 인데
개발자라면 그렇게 어렵지 않을거에요.
하지만 요즘 웹페이지는 html 소스에는 원하는 내용이 안나오는 경우가 있습니다. (웹브라우져로 접속하여 렌더링 하기 때문)
요즘은 파이썬이 정말 쉽게 되더군요.
20년 전에는 php 로 작업해서 요즘도 php 로 하고 있어요. 잘 안되면 파이선 / 노드 같이 사용하구요.
이런저런 문제 보시다보면 금방 하실수 있으실겁니다.
2022-01-27
|
|
|
0
0
구룡마
개발자 이시면 금방 합니다.
C 하시던 분이면..뭐 다른 언어는 뭐가 이렇게 편해? 할 꺼니까..
2022-01-27
|
|
0
0
 케모노프렌즈
요즘 크롤링 하기 어려운 사이트들이 점점 늘어나는데
쿠팡 정도면 가능하지 않을까요?
재작년에 selenium 으로 구매 매크로 만들었던 적이...
2022-01-27
|
|
|
0
0
will02
저도 배워보고싶은데요 개발 1도 몰르지만..
2022-01-27
|
|
|
0
1
셀레늄으로 시행착오 디버깅 해가면서 하시면 충분히 가능하다고 생각합니다
저도 비전공자로 파이썬 독학으로 배웠는데 제가 원하는 사이트는 다 크롤링 툴 만들어지더라구요 전공자들은 다 구조화 하고 설계해서 만든다던데 전 일단 어떻게든 돌아가게만 만들고 그다음에 모듈화 합니다ㅎㅎ
2022-01-27
|
|
0
0
버스,정류장
간단한것은 그리하셔도 되는데 Sw구조가 복잡해질수록 설계가 선행되지 않으면 구현이 어려워집니다. 쉬운길을 빙 돌아갈수밖에 없어지구요, 기능추가도 복잡해지죠. 불필요한 리소스들도 많아지구요. 처음에 요구사항(원하는 기능) 을 모두 뽑아서 염두해두고 코딩이 들어가야 하는데, 이게 설계인거죠.
2022-01-27
|
|
|
0
0
밀키스하얘
가능성이 있으면 해봐야죠 뭔진 모르지만 찾아보겠습니다.
쿠팡으로 가끔 저렴하게 물건뜨는게 너무 사고싶은데 타이밍 놓쳐서 고민하다가 여기까지 왔네요 욕망실현+공부로 한번 뚫어보겠습니다.
2022-01-27
|
|
|
0
1
앰비그램
생각보다 쉽게 할수 있어요.
아래 주소 나도코딩 영상 보시면 도움이 될거에요.
따라하면서 카드할인 높은 것만 추출해 봤는데 간단하게 되네요
2022-01-27
|
|
|
0
0
갠춤해
https://www.coupang.com/robots.txt 보시면 가능한 페이지 나와있어요. 허용된 항목만 가능합니다.
2022-01-27
|
|
|
0
0
밀키스하얘
아직 시작안했지만 공부할게 많아지네요 정보 감사합니다!
2022-01-27
|
|
|
0
0
대에지
robots.txt는 검색엔진 등의 봇에게 특정 경로에 접근하지 말아줄 것을 고지하고 권고하기 위한 것이고 강제성은 없습니다.
2022-01-27
|
|
|
0
0
광진구통토로
http request에서 이게 봇인지 사람인지 뭔지 구분이 되나요? 어찌 강제적으로 적용이 가능할까요..
크롤러 같은거 만들면 해당 사이트 robots.txt는 지켜줘야 되지 않겠습니까.
2022-01-27
|
|
|
0
0
갠춤해
@대에지 지키지 않고 크롤링하다가 블럭당하는 경우 많이 봤어요
2022-01-27
|
|
|
0
1
대에지
일단 브라우저 기반 봇이 아닌 이상 봇인지 사람인지 어느정도 구분 되고, -헤드리스도 차단 가능합니다- 강제성은 시스템상 강제적 차단여부가 아니라 법적인 제한 등을 이야기 하는겁니다. robots를 거는건 대부분 모든 크롤링 거부가 아니라 검색엔진의 인덱싱 거부 목적이고, robots 지켜도 주요 검색엔진 봇이 아닌데 과도한 트래픽 유발하면 블럭시키는건 똑같습니다. 블럭은 robots와 거의 무관하다고 보시면 됩니다.
2022-01-27
|
|
1
0
프로그래뭘봐
이걸로 개발자들 마스크 많이 구매했죠. ㅎㅎ
2022-01-27
|
|
| 1 2 |
|
|
 |
|
| △ 이전글▽ 다음글 | -목록보기 |
|
먼가 멋지시네요
실질적 문맹