目录使用各种请求方式基本get请求基本写法带参数get解析json获取二进制数据添加headers基本POST请求响应response属性状态码判断高级操作文件上传获取cookie会话维持证书验证代理设置超时设置认证设置异常处理Requests是用Python编写，基于urllib，采用Apache2 Licensed开源协议的HTTP库。它比urllib更
......
58
0
0
2023-06-19
目录解决步骤获取到真正的源码注意的点直接点 某8网 https://*****.b*b.h*****y*8*.com/具体网址格式就是这样的但是为了安全起见,我就这样打码了.抛出问题我们看到这个号码是在页面上正常显示的F12 又是这样就比较麻烦,不能直接获取.用requests库也是获取不到正常想要的 源码的,因为字体加密了.查看页面源代码又是这样的.所以就
......
94
0
0
2023-04-07
Python爬虫学习前言爬虫学习暂时咕咕了。。。，等有空再继续更新一、基础知识准备Python基础语法还是很简单的，我通过一个个简单的小段代码来进行学习，所需掌握的知识点都包含在这段段代码中，每段代码都有相应详细注释，如果你有其他语言的基础那么Python基础就是轻轻松松的事。1 条件判断语句score = 60
if score >=90 and
......
105
0
0
2023-02-20
目录引言aiohttp是什么requests和aiohttp区别安装aiohttpaiohttp使用介绍基本实例URL参数设置请求类型响应的几个方法超时设置并发限制aiohttp异步爬取实战总结引言钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待
......
209
0
0
2023-02-13
爬虫基础简介http协议概念: 服务器和客户端进行数据交互的一种形式user-Agent: 请求载体的身份表示Connection : 请求完毕后,是断开连接还是保持连接Content-Type : 服务器相应客户端的数据类型# user-Agent ( NetWork-All-Headers )
Mozilla/5.0 (Windows NT 10.0;
......
158
0
0
2023-01-24
模拟登陆使用超级鹰平台识别验证码的编码流程:将验证码图片进行本地下载调用平台提供的示例代码进行图片数据识别有验证码,验证码可以读取到但测试未成功# 验证码
import requests
from lxml import html
import chaojiying
# 封装识别验证码函数
if __name__ == "__mai
......
128
0
0
2023-01-24
基本概述selenium可以便捷的获取网站中的动态加在的数据selenium可以便捷的实现模拟登陆selenium是基于浏览器自动化的一个模块使用流程bashpip install selenium
查看google浏览器版本号bash# 在浏览器中输入
chrome://version/
选择合适的版本bashhttp://chromedriver.
......
162
0
0
2023-01-24
scrapy安装步骤pip install wheel下载twisted : 地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted (选择对应的版本)安装twisted : pip install aiohttp-3.8.1-cp38-cp38-win_amd64.whlpip install pywi
......
231
0
0
2023-01-24
页面结构介绍 - HTLM常用标签了解<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</hea
......
217
0
0
2022-12-01
这篇文章是爬虫系列第三期，讲解使用 Python 连接到网站，并使用 BeautifulSoup 解析 HTML 页面。在 Python 中我们使用 requests 库来访问目标网站，使用 BeautifulSoup 对获取的内容进行解析。由于这两个库并不是 Python 标准库，因此需要单独安装这两个库：pip install beautifulsoup
......
174
0
0
2022-11-12
36大数据专稿，本文由36大数据收集整理，转载必须标明来源36大数据且附上本文连接。要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组
......
189
0
0
2022-10-27
最近写了一个爬取网易养生的一些文章，只爬取首页，暂时没有翻页。后续有空再更新吧，下面是代码：爬虫代码import requests
from lxml import etree
from config import db
import urllib.request
import re, os, uuid, time
def run():
......
267
0
0
2022-07-08
学习这个 Python 教程，轻松提取网页的有关信息。浏览网页可能占了你一天中的大部分时间。然而，你总是需要手动浏览，这很讨厌，不是吗？你必须打开浏览器，然后访问一个网站，单击按钮，移动鼠标……相当费时费力。如果能够通过代码与互联网交互，岂不是更好吗？在 Python 的 requests 模块的帮助下，你可以使用 Python 从互联网
......
257
0
0
2022-07-01
爬虫程序采集网站必须使用动态代理，才能避免出现网站访问频繁的限制，这是众所周知的。但是在具体采集网站的过程中，即使使用了动态代理依然会出现403、503或429的反爬错误，这是为什么呢？根据以往的经验，一般来说是因为以下几个原因造成的：1、动态User-Agent的修改爬虫程序采集网站，正常的HTTP请求都需要进行ua（User-Agent）优化，因为ua是
......
196
0
0
2022-05-14
前言今天完成我的博客页面剩下的内容，并将该页面的所有内容整合起来，弄出一个归纳与提醒的小程序。归档与标签根据前面获取到的内容可以很容易的就完成归档与标签的获取，代码如下：month_post_count = result.xpath('//div [@class = "ui list readmore"]/a/@href')
label_list = re
......
209
0
0
2022-04-27