xpath

크롤링과 XPath

크롤링💡웹 페이지를 그대로 가져와서 데이터를 추출해 내는 행위인터넷에 존재하는 많은 정보를 사람이 하나씩 찾기는 매우 어렵다.따라서 이를 필요한 것만 탐색하기 위하 크롤러를 사용한다.크롤링과 스크래핑크롤링탐색에만 초점을 맞춘다.해당 페이지에 방문 후 그 페이지의 내용과 링크의 복사본을 저장한다.스크래핑정보 추출에 초점을 맞춘다.예특정 게시판의 게시글들의 조회수를 추출한다.특정 게시글의 작성자 이름을 추출한다.특정 페이지 입력창의 input element을 추출한다.정적 크롤링과 동적 크롤링페이지 형태가 동적인 형태로 많이 바뀌게 되면서 크롤링도 동적 크롤링을 많이 사용하는 추세이다.정적 크롤링동적 크롤링한 페이지 내 원하는 정보가 전부 드러나는 정적인 데이터를 크롤링하여 가져오는 것여러 페이지를 이동하며..