[크롤링 기본] HTTP response code

 

1. HTTP란

 

클라이언트가 네트워크를 요청하고

서버가 그에 맞는 네트워크를 전송할 때

HTTP라는 프로토콜 규격에 맞게 공유해야 함 !

 

 

2. HTTP 응답코드

 

응답코드 response code

 

웹브라우저가 프로토콜 규격을 파싱해서 특정 부분에서 html 데이터를 가져오고

전송할 때 html과 함께 응답코드(response code)를 같이 보내는데,

 

200번대면 정상, 400번대면 오류

 

https://ko.wikipedia.org/wiki/HTTP_%EC%83%81%ED%83%9C_%EC%BD%94%EB%93%9C

HTTP 상태 코드 - 위키백과, 우리 모두의 백과사전

 

응답코드 확인 방법

 

: requests 라이브러리의  requests.get() 의 변수 .status_code

 

⇒ 응답코드가 오류일 경우 크롤링을 하지 않도록 하려면

 

res = requests.get( '웹페이지 주소' )

if res.status_code != 200 :

    print('페이지 없음')

else :

    soup = BeautifulSoup( res.content, 'html.parser')

    ~~~