这篇教程python 淘宝爬虫小实例写得很实用，希望能帮到您。
兄弟们，双十一剁手了吗？购物虽快乐，但是别过度了，毕竟很多降价不是真的降价，眼睛擦亮了~ 
今天来试试爬一下某宝，这玩意学会了做外包的话，还是值几个钱的。 
环境/模块介绍 python 3.8 使用的环境
pycharm 使用的编辑器
selenium 浏览器驱动的第三方模块
csv 数据保存的模块
time 时间模块, 可以用于程序的延迟
random 随机数模块
下载操作浏览器驱动的第三方模块
对应视频教程： Python：双十火热进行中，教你带你用Python继续剁手 selenium pip install selenium 解释我基本都写在注释了，我就偷个懒不在写了。 from selenium import webdriverimport time # 时间模块, 可以用于程序的延迟import random # 随机数模块from constants import TAO_USERNAME1, TAO_PASSWORD1import csv # 数据保存的模块def search_product(keyword): """搜索商品数据, 登录用户""" driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword) time.sleep(random.randint(1, 3)) # 尽量避免人机检测 随机延迟 driver.fdef parse_data(): """解析商品数据""" divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfx"]/div/div') # 所有的div标签 for div in divs: try: info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text price = div.find_element_by_xpath('.//strong').text + '元' deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text location = div.find_element_by_xpath('.//div[@class="location"]').te'.//div[@class="pic"]/a').get_attribute('href') print(info, price, deal, name, location, detail_url) # 保存 with open('某宝.csv', mode='a', encoding='utf-8', newline='') as f: csv_write = csv.writer(f) csv_write.writerow([info, price, deal, name, location, detail_url]) except: continueword = input('请输入你要搜索商品的关键字:')# 创建一个浏览器driver = webdriver.Chrome()# selenium操作的浏览器被识别了, 无法登录# 修改浏览器的部分属性, 绕过检测driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => false})"""})# 执行自动化浏览器的操作driver.get('https://www.taobao.com/')driver.implicitly_wait(10) # 设置浏览器的等待,加载数据driver.maximize_window() # 最大化浏览器# 调用商品搜索的函数search_product(word)for page in range(100): # 012 print(f'/n==================正在抓取第{page + 1}页数据====================') url = f'https://s.taobao.com/search?q=%E5%B7%B4%E9%BB%8E%E4%B8%96%E5%AE%B6&s={page * 44}' # 解析商品数据 parse_data() time.sleep(random.randint(1, 3)) # 尽量避免人机检测 随机延迟兄弟们快去试试吧！Python学习视频，解答，电子书都可以私信我领取 到此这篇关于python 淘宝爬虫小实例的文章就介绍到这了,更多相关python 淘宝爬虫内容请搜索51zixue.net以前的文章或继续浏览下面的相关文章希望大家以后多多支持51zixue.net！
Python 多线程处理任务实例
使用Python+Flask开发博客项目并实现内网穿透 |
