스크래핑Scraping & 크롤링Crawling

크롤링 (헤엄치다) - 꾸준히 가져오기 

 웹상에서 우리가 필요한 데이터를 탐색해서 수집하는 작업을 뜻함

html페이지를 가져와서  필요한 데이터만 추출

open Api를 제공하는 서비스에서 open api를  호출해서 필요한 데이터만 가져오는 

링크를 따라 들어가면 연결된 페이지가 나오는것 같은 느낌인거 같다

 

웹크롤러 

자동화된 방법으로 웹에서 다양한 데이터를 수집하는 소프트웨어 

원하는 서비스에서 원하는 데이터를 편하게 얻을수 있다 

주로 파이썬에서 사용 

 

스크래핑(긁다) - 한번 가져오기 

특정 웹사이트나 페이지에서 원하는 부분의 데이터를 자동으로 추출하는 것

 

 

크롤링은 

웹상을 돌아다니며 방대한 양의 데이터를 수집하기때문에 특정 키워드의 심층 분석할때 좋고, 실시간 데이터 수집을 계속해서 동작하므로

변화하는 데이터를 파악하기 좋다 

 

스크래핑은 

 웹스크래핑 특정상 사이트나 페이지의 정보를 찾는데 집중하므로 데이터 포인터를 정확히 짚고 확실한 데이터를 수집할수 있다는 점에서 유용하다 장기적으로는 서비스의 대역폭이나 비용 절감에도 좋다 

 

 

출처

https://velog.io/@dbekdms17/%ED%81%AC%EB%A1%A4%EB%A7%81%EA%B3%BC-%EC%8A%A4%ED%81%AC%EB%9E%98%ED%95%91