|
前言我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下
一、selenium是什么？Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据
二、使用步骤
1.引入库代码如下 from selenium.webdriver import Chromefrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome.options import Options # 使用无头浏览器from selenium.webdriver import ChromeOptionschrome_options = Options()options = ChromeOptions()options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制options.add_experimental_option('useAutomationExtension', False)chrome_options.add_argument("--headless") # => 为Chrome配置无头模式chrome_options.add_argument('--no-sandbox')chrome_options.add_argument('--disable-gpu')chrome_options.add_argument('--disable-dev-shm-usage')
2.测试代码代码如下： s = Service(r"/home/driver/chromedriver")driver = Chrome( service=s, options=chrome_options ) driver.get("https://www.baidu.com") print(diiver.title)
三、部署程序
1.安装chrome命令如下： yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm检查chrome的版本google-chrome --version
2.安装chromedriver驱动命令如下： 按照对应的chrome版本下载chromedriver驱动地址: https://npm.taobao.org/mirrors/chromedriver我的版本号是: 96.0.4664.45wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip yum install -y unzip zipunzip chromedriver_linux64.zip # 解压zip文件mkdir driver #新建文件夹用来存放驱动chmod 777 driver/chromedriver # 这是权限 我这里给的是 777
3.运行测试代码新建test.py文件 
保存 test.py run 一下看看 
看到这个我么就算请求成功了
总结
下载地址:
linux
CentOS6升级glibc操作步骤 |
