使用Python写爬虫(2)

Rate this post

 

 

上一篇文章,我主要写了python2.7写爬虫会用到的一些基本需求和方法。从(2)开始我主要会将自己在学习python3写爬虫的详细笔记记录下来,给大家分享。

首先是python3环境的安装,配置。分为windows下的安装和Linux、MacOS下的安装:

Windows 下安装

1.we can install Install Anaconda (科学计算环境包含python 和python的包)
安装Anaconda,可以去官网下载,也可以搜索 Anaconda 清华 来下载国内的清华镜像,速度相对较快。
安装好以后就会自动包含(BeatifulSoup 等 Crawler 需要的包和环境)
2.不使用用Anaconda,直接安装Python,自己下载包
Python 官网下载 Python3.6
把Python 加入环境变量

3.Python IDE : PyCharm
Linux 下 配置python环境

1. sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev 下载相关类库

2.sudo apt-get install python3 安装
3.sudo apt-get install python3-pip 安装包管理工具
Mac OS 下安装

借用Homebrew 来下载安装 就像,linux下的apt-get

brew
brew install python3
brew install python3-pip

 

安装完python3之后,我们还要安装 MongoDB、Redis、MySQL等数据库环境的安装,这里我先将Redis的配置过程写出。

Redis 环境安装

我们安装Redis,是为之后分布式爬虫做准备,这个数据库非常高效

Windows 安装
GitHub 下载安装,

还可以安装一个可视化管理界面(Redis desktop manager)
同样GitHub 下载安装

Linux 安装
sudo apt-get install redis-server

redis-cli (进入Redis 命令行模式)

redis-cli -a mypassword ( 有密码的话,需要输入密码)