当前位置: 首页 > news >正文

加快网站访问速度关键词挖掘站长

加快网站访问速度,关键词挖掘站长,wordpress查看爆破着ip,北京公司网站制作流程0x00 前言 朋友做标书,需要用到每日温度,他的老板让在这个网页手动复制做一个长期表出来:http://www.tianqihoubao.com/lishi/nanjing/month/202412.html 想着帮个忙,做个爬虫脚本吧,忽然发现这个页面很有意思&#xf…

0x00 前言

朋友做标书,需要用到每日温度,他的老板让在这个网页手动复制做一个长期表出来:http://www.tianqihoubao.com/lishi/nanjing/month/202412.html

想着帮个忙,做个爬虫脚本吧,忽然发现这个页面很有意思:

  • 简单的 BeautifulSoup4 只能爬到主要信息还没有加载时的页面内容
  • 网页返回信息的时间上下限非常久,快则3秒慢则30秒
  • 流式一行一行渲染,简单 wait 会很容易只获取一半就截断了

0x01 驱动准备

我的 Chrome 是 133.x 版本的,由于 114.x 之后的版本就不在原先的页面更新了,还挺难找的。

现在的 ChromeDriver 可以到这里下载:
https://googlechromelabs.github.io/chrome-for-testing/#stable

0x02 源码分享

# coding: utf-8
# ==========================================================================
#   Copyright (C) since 2024 All rights reserved.
#
#   filename : web_spider_eye_selenium.py
#   author   : chendian / okcd00@qq.com
#   date     : 2024/12/08 00:33:33
#   desc     : Download the driver in https://googlechromelabs.github.io/chrome-for-testing/#stable
#              
# ==========================================================================
import time
import json 
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECclass WebSpiderSelenium():def __init__(self):self.options = Options()self.options.headless = True  # 设置无头模式(不弹出浏览器窗口)# 设置 ChromeDriver 路径driver_path = './chromedriver_131.exe'  # 修改为你自己的 ChromeDriver 路径service = Service(driver_path)# 初始化 WebDriverself.driver = webdriver.Chrome(service=service, options=self.options)def scrape_table_content_with_selenium(self, url, css_selector):try:self.driver.get(url)# time.sleep(5)  # 可以根据实际情况调整等待时间# 等待目标元素加载完成(最长等待10秒)target_element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, css_selector)))return target_element.text.strip()except Exception as e:return f"发生错误: {e}"def scrape_table_content_with_selenium_wait(self, url, css_selector):# 配置 ChromeOptionstry:# 打开网页self.driver.get(url)# 等待页面加载完成time.sleep(5)  # 可以根据实际情况调整等待时间# 使用选择器定位到目标元素target_element = self.driver.find_element(By.CSS_SELECTOR, css_selector)# 获取并返回目标元素的文本内容return target_element.text.strip()except Exception as e:return f"发生错误: {e}"def crawl_weather():# 示例results = {}css_selector = "#content > table > tbody"  # 指定选择器wss = WebSpiderSelenium()# for date in ['202308', '202309', '202406', '202408']:for year in ['2023', '2024']:for month in [f"{i:02d}" for i in range(1, 13)]:date = f"{year}{month}"url = f"http://www.tianqihoubao.com/lishi/nanjing/month/{date}.html"  # 替换为实际的目标 URLresult = wss.scrape_table_content_with_selenium(url, css_selector)results[date] = str(result)json.dump(results, open('./南京近两年天气.v2.json', 'w'), ensure_ascii=False, indent=1)def analysis_results():results = json.load(open('./南京近两年天气.v2.json', 'r'))import pandas as pdret = []for month, text in results.items():lines = text.split('\n')[1:]for line in lines:items = line.split()date, l, h = items[0], items[3], items[5]ret.append({"日期": date, "最低温度": l, "最高温度": h})pd.DataFrame(ret).to_excel("./南京近两年温度情况.xlsx")if __name__ == "__main__":crawl_weather()analysis_results()

0x03 效果展示

朋友只需要温度信息,如果需要更多,在 items 里拼就行
欢迎大家举一反三用于其它爬虫场景。

在这里插入图片描述

http://www.zhongyajixie.com/news/24006.html

相关文章:

  • 网站建设续费是那些100种找客户的方法
  • 网站建设对企业的影响微信公众号seo
  • 网站评估做的好不好搜索关键词推荐
  • 网站上的图用美图秀秀做可以吗网站优化外包多少钱
  • 做logo的网站品牌推广软文
  • ds216j做网站深圳做网站的公司有哪些
  • 麻将网站开发公司seo网络营销外包公司
  • 网站使用mip后效果怎么样网站设计费用
  • 在网站留外链怎么做seo常用的优化工具
  • 中国最早做网站是谁网站排名优化培训
  • 免费自助建站哪个好找合作项目app平台
  • 成都网站建设市场分析保定seo网络推广
  • 广东网站建设多少钱徐州网站建设
  • 中山网站建设文化价格seo百度关键字优化
  • 什么网站专做衣服手机免费建站app
  • 公司网站可以分两个域名做吗企业宣传册模板
  • 集团做网站需要多大的带宽商业软文
  • 江苏做帖子网站网站流量统计分析的维度包括
  • 国内十大网站建设品牌优化seo软件
  • 有哪些网站是做分期付款的软文推广的100个范例
  • 什么网站做免费广告最有效果杭州seo渠道排名
  • 怎么做色情网站赚钱色盲能治好吗
  • 自助建站系统官方版2020 惠州seo服务
  • 有那种网站么seo网站介绍
  • 集约化网站建设的核心seo推广是什么
  • 网站建设管理的规章制度每日新闻播报
  • 有哪些网站做的符合企业风格郑州网络推广平台有哪些
  • 建筑工程 技术支持 东莞网站建设南宁一站网网络技术有限公司
  • 合浦县城乡规划建设局网站前端优化网站
  • 多商户开源商城seo外链工具软件