python 크롤링 - 네이버 기사 전체 페이징 크롤링중 에러 발생 알고보니,, 이거 때문이였다...

    for문을 이용하여 페이징 개발을 했다.

    page 총 10페이지가 넘어가면 for문이 break가 걸리도록 하였다.

    하지만 왜 일까 breack가 걸리면 에러 없이 멈춰야 하는것인데 자꾸만 에러가 난다.

    정말 어이없는 에러였다.

    페이지가 너무 빨리 돌아가서 html을 못 읽는 것 즉 페이지좀 천천히 돌리라는 것이였다.

    기다리기엔 너무 많은 시간이 걸려서 time.sleep() 를 아예 안넣고 빨리 빨리하려고 해서 일어난 일이였다.

    ㅎㅎ time.sleep() 을 사용해주는 ㅎㅎ 너무 잘된다.

    해결 ㅎㅎ,,,,,,,,,,,,,,,어ㅣ 없어

     

    728x90
    반응형

    댓글