爬虫的介绍

  1. 一、 为什么要学习爬虫
  2. 1.1 数据的来源
  3. 1.2 爬取到的数据用途
  4. 二、什么是爬虫

一、 为什么要学习爬虫

如今,人工智能,大数据离我们越来越近,很多公司在开展相关的业务,
但是人工智能和大数据中有一个东西非常重要,那就是数据,但是数据从哪里来呢?

1.1 数据的来源

  • 企业产生的数据:百度搜索指数、阿里指数、微指数、看准网、腾讯浏览指数、大众点评网、汽车之家等…
  • 数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所 等…
  • 政府/机构公开的数据:天眼查、中华人民共和国国家统计局数据、中国人民银行调查统计、世界银行公开数据、联合国数据、纳斯达克、新浪财经美股实时行情 等…
  • 数据管理咨询公司:麦肯锡、埃森哲、尼尔森、中国互联网信息中心、艾瑞咨询 等…
  • 爬取网络数据:百度、google 等…

1.2 爬取到的数据用途

  • 进行在网页或者是app上进行展示
  • 进行数据分析或者是机器学习相关的项目

二、什么是爬虫

网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。

本质: 模拟浏览器(客户端)去获取、处理、保存数据,只要浏览器(客户端)能做的事情,爬虫都能够做。 原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。

文章标题:爬虫的介绍

本文作者:伟生

发布时间:2019-08-24, 19:30:34

最后更新:2019-08-24, 19:45:21

原始链接:http://yoursite.com/2019/08/24/spider_01/

版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。

目录
×

喜欢就点赞,疼爱就打赏