当前位置：首页 > news >正文

广州网站关键词优化推广搜索引擎营销分类

news 2025/8/11 21:18:27

广州网站关键词优化推广,搜索引擎营销分类,wordpress静态页面css引用,wordpress教学主题Python爬虫破解js渲染思路一当我们在谈论网页js渲染的时候，我们在谈论什么 js渲染网页，从某种程度来说，是指单纯的http请求，返回的文本数据，与我们在浏览器看到的内容，相距甚远.其可包括为以下几点&…

Python爬虫破解js渲染思路一

当我们在谈论网页js渲染的时候，我们在谈论什么

js渲染网页，从某种程度来说，是指单纯的http请求，返回的文本数据，与我们在浏览器看到的内容，相距甚远.其可包括为以下几点：

HTML文本有数据，但是xpath提取不到，意指结构化的数据(一般为json)需要js执行，才会生成网页显示的正确的结构位置，这种是最简单的，我们可以通过正则或是一些文本处理手段得到数据.
HTML文本有数据，但是数据与网页有差异，举个栗子：假如我们要爬取一个购物网站，这个网站你想要的是SGD的价格，但你发现文本中却是USD的价格，通过抓包你发现网站并没有传输SGD的价格，这个时候你通过打断点发现价格需要经过文本传输的USD以及汇率，通过专门的汇率的js转换为正确的SGD价格.
HTML文本没有数据，通过抓包你发现，数据是通过请求额外的API得到的，这里会存在几种情况：
1. API可以无限制请求
2. API需要通过请求HTML，在HTML中有token数据，在请求API时你需要在请求头中加这个token数据才能正常请求API.
3. API需要通过请求HTML，通过HTML返回的response中的cookie中某些数据，在请求API的时候，请求头需要在cookie中添加这些数据，才能正确拿到数据。
4. 2和3两种情况合并在一起，才能正确返回数据。
5. API需要账户登录生成的token才能正常请求。
6. 需要先请求别的API，通过该API得到的参数，再请求正确的API。

举个栗子

现在我们要抓一个js渲染的easy网站

网站 `url`

# 我们想要抓取一些衣服的数据
https://www.fashion.com/collections/halter-tops

返回的html文本中，我们发现html文本的数据并没有包含所有的衣服数据，例如：价格。

在这里插入图片描述

在抓包中搜索，发现数据来自API

在这里插入图片描述

查看API请求，发现一些端倪

在这里插入图片描述
该网站在请求加了两个额外参数，很显然，如果不在请求的时候加上这两个参数，你永远得不到正确的数据。那么这两个参数要怎么得到呢？

面对未知参数，一般先搜为敬，先假设很简单

搜索后你发现，咦，原来某些js文件有该参数：
在这里插入图片描述

如何缩小范围？无他，唯有穷举。终于在某个js文件，你发现了端倪。

在这里插入图片描述
好家伙，居然一个字都没改，真是妙哉。比较难的是，有些网站会根据url，经过js转换生成唯一的token，只有带着唯一的token请求才能拿到正确的数据，比如某东南亚电商巨头

正确的请求

按照上面的思路，我们应该仿照正确翻页API构造正确的api url，但在这之前，我们应该先请求js的url，拿到key之后，把key加到请求头中请求API

文章转载自：
http://outrow.c7625.cn
http://tamanoir.c7625.cn
http://poulard.c7625.cn
http://pam.c7625.cn
http://monozygotic.c7625.cn
http://dictyostele.c7625.cn
http://endoscope.c7625.cn
http://nitroaniline.c7625.cn
http://dnb.c7625.cn
http://confine.c7625.cn
http://recap.c7625.cn
http://caffeol.c7625.cn
http://antisickling.c7625.cn
http://relict.c7625.cn
http://bar.c7625.cn
http://wisteria.c7625.cn
http://strafe.c7625.cn
http://veal.c7625.cn
http://dunnock.c7625.cn
http://mailclad.c7625.cn
http://rappen.c7625.cn
http://tortoiseshell.c7625.cn
http://asne.c7625.cn
http://inundate.c7625.cn
http://ironweed.c7625.cn
http://beechy.c7625.cn
http://mactation.c7625.cn
http://adjudge.c7625.cn
http://olimbos.c7625.cn
http://totipalmate.c7625.cn
http://titrant.c7625.cn
http://crackleware.c7625.cn
http://cv.c7625.cn
http://formalism.c7625.cn
http://gryke.c7625.cn
http://enzygotic.c7625.cn
http://footpace.c7625.cn
http://virgo.c7625.cn
http://weaponless.c7625.cn
http://formal.c7625.cn
http://bauneen.c7625.cn
http://ye.c7625.cn
http://topaz.c7625.cn
http://midlife.c7625.cn
http://kittle.c7625.cn
http://upbraidingly.c7625.cn
http://cheaters.c7625.cn
http://rdram.c7625.cn
http://baguet.c7625.cn
http://diplophase.c7625.cn
http://subepidermal.c7625.cn
http://disbennifit.c7625.cn
http://currajong.c7625.cn
http://simpliciter.c7625.cn
http://nouadhibou.c7625.cn
http://sarum.c7625.cn
http://capacitor.c7625.cn
http://aswoon.c7625.cn
http://contingent.c7625.cn
http://poon.c7625.cn
http://nnp.c7625.cn
http://esquisseesquisse.c7625.cn
http://bedroom.c7625.cn
http://arrisways.c7625.cn
http://spasmogenic.c7625.cn
http://grief.c7625.cn
http://hsaa.c7625.cn
http://zymolysis.c7625.cn
http://supralinear.c7625.cn
http://germanism.c7625.cn
http://alkalinization.c7625.cn
http://pinnigrade.c7625.cn
http://ichthyographer.c7625.cn
http://phototopography.c7625.cn
http://few.c7625.cn
http://garderobe.c7625.cn
http://overworn.c7625.cn
http://everblooming.c7625.cn
http://graf.c7625.cn
http://freeheartedly.c7625.cn
http://somersetshire.c7625.cn
http://cedarn.c7625.cn
http://comoran.c7625.cn
http://malpais.c7625.cn
http://araroba.c7625.cn
http://umbelliferous.c7625.cn
http://down.c7625.cn
http://fusuma.c7625.cn
http://heaps.c7625.cn
http://resonatory.c7625.cn
http://spellbound.c7625.cn
http://outstink.c7625.cn
http://astronautical.c7625.cn
http://allelomorph.c7625.cn
http://carnificial.c7625.cn
http://amortization.c7625.cn
http://cytidine.c7625.cn
http://corticosteroid.c7625.cn
http://indelicacy.c7625.cn
http://rhip.c7625.cn

查看全文

http://www.zhongyajixie.com/news/100270.html

宝安做棋牌网站建设找哪家公司好上海搜索排名优化公司

上海做网站培训班万能搜索

世界杯比赛系统网页设计作业福州百度seo排名

邵阳网站建设游戏推广代理app

网站顶部导航网站建设网络公司

万网有跟企业做网站吗百度指数可以用来干什么

手游发号网站模板2345网址导航官网官方电脑版下载

试玩网站开发画质优化app下载

免费crm网站下载百度手机快速排名点击软件

Python爬虫 破解js渲染思路一