Python之JavaScript逆向系列——接口JSON信息获取与操作

Python
182
0
0
2024-02-19

Python之JavaScript逆向系列——Python之JavaScript逆向系列——接口JSON信息获取与操作

前言

大家好,本系列文章主要为大家提供的价值方向是网络信息获取,自动化的提取、收集、下载和记录互联网上的信息,加之自身分析,可以让价值最大化。整个内容中不会涉及到过为敏感的内容。

在这个AI+云计算+大数据时代,我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的,不论是PC端、网页端还是移动端,数据渲染还是基于HTML+JavaScript进行的,而大多数的数据都是通过request请求后台API接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口,必须知道它的【URL】、【Headers】、【Params】、【Body】等数据是如何生成的。我们需要了解浏览器开发者工具的功能,入门JS逆向,入门后还需要掌握例如如何【反编译js混淆】等内容,为了避免封本机IP,还需要对每次访问的IP进行代理,当我们拥有了JS逆向的能力后,根据JS所返回的动态请求参数信息便可以进行Python的具体信息获取操作,需要的知识点非常的多,故而本系列文章理论+实践会达到上百篇的文章,这篇文章是总篇,为了方便大家来直接查找所有知识点,建议之间关注收藏本篇,期望能给大家带来更高的价值。

环境准备

系统环境:win11

开发工具:PyCharm: the Python IDE for Professional Developers by JetBrains

api工具:Eolink - 一体化API在线管理平台_API接口管理_接口自动化测试

数据库:MySQL5.7.32——阿里RDS数据库

主要python库:requests、PyExecJS、parsel

正文

想要具体的搞会操作,那么JS操作就是必须要掌握的内容,很多的数据都是通过json返回到主页进行动态加载的。

我们用上一篇文章举例:Python之JavaScript逆向系列——通过IP代理高频获取全篇小说-CSDN博客

在获取文章列表的时候我们获取的就是JSON格式的数据,那么我们就在在理开始分析了。

json格式

JSON,全称JavaScript Object Notation,是一种轻量级的数据交换格式。它采用完全独立于语言的文本格式,简洁、易读且便于机器解析和生成。JSON基于JavaScript Programming Language, Standard ECMA-262 3rd Edition-December 1999 (PDF)标准,易于人类阅读和编写,同时也易于机器解析和生成,并具有自己的数据类型。这些数据类型包括对象(Object)、数组(Array)、数字(Number)、字符串(String)、布尔值(Boolean)、null七种类型。此外,由于JSON语义与JavaScript完全兼容,在Web开发中常被用作数据交换的格式。它常常被用作API返回结果或者用于本地数据存储等场景。值得注意的是,虽然JSON的名字中包含"Object",但它并非是一种编程语言,而是一种数据格式。JSON本身并没有提供任何处理逻辑或方法,而是提供了一种方式来描述数据结构。在实际使用中,JSON通常会被转换为其他格式(如XML、CSV等)以适应特定的需求。

json格式示例

以下是一个简单的中文的JSON格式示例:

{
  "姓名": "张三",
  "年龄": 25,
  "性别": "男",
  "职业": "软件工程师",
  "技能": ["编程", "数据分析", "机器学习"],
  "项目经验": {
    "项目1": {
      "任务": "开发一个社交网络应用",
      "职责": "负责后端开发",
      "完成情况": "已完成"
    },
    "项目2": {
      "任务": "参与一个电商平台的开发",
      "职责": "负责前端设计",
      "完成情况": "正在进行中"
    }
  },
  "教育背景": {
    "学校": "清华大学",
    "专业": "计算机科学与技术",
    "学历": "本科",
    "时间": "2015-2019"
  }
}

这是一个包含姓名、年龄、性别、职业、技能、项目经验和教育背景等信息的JSON对象。每个字段都用双引号括起来的字符串表示,并且字段和值之间使用冒号分隔,多个字段之间使用大括号 {} 隔开。JSON是一种轻量级的数据交换格式,易于人类阅读和编写,同时也易于机器解析和生成。

POST请求访问API示例

请求的api地址可以看到,访问的方法是:POST,我们需要单独的加上参数与请求头就能访问了。

基础POST请求

如果我们不给参数和请求头,可以看到访问了,但是没有任何返回,因为接口不知道你要什么信息。

import requests

url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
re = requests.post(url=url)
print(re.text)

添加参数的POST请求

在荷载中能看到具体的请求参数名称与参数值。

import requests

url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
print(re.text)

请求信息:

我们已经获取了对应的整个大json信息,但是这个json是字符串的,需要我们进行json格式化了。

json格式化

我们使用json的库来loads我们的json字符串。

import requests
import json

url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
json_re = json.loads(re.text)
print(json_re)

当我们输出后看到所有的双引号都变成了单引号。

现在我们就能使用json的获取格式来获取数据了。

获取json格式具体数据
import requests
import json

url = "https://bookapi.zongheng.com/api/chapter/getChapterList"
data = {
    "bookId": 1201723
}
re = requests.post(url=url, data=data)
json_re = json.loads(re.text)
result = json_re["result"]["chapterList"][0]["chapterViewList"]
for item in result:
    print("文章编号:{0}\t文章标题:{1}\t文章字数:{2}".format(item["chapterId"], item["chapterName"], item["wordNums"]))

这里可以看到具体我们需求的参数了:

python的json库loads与dumps的区别

Python的json库中的dumps和loads函数都是用于处理JSON数据的,但是它们的功能和用途有一些不同。

dumps函数(也称为JSON.dumps)是用于将Python对象转换为JSON格式的字符串。这个函数接收一个Python对象作为输入,并返回一个字符串,该字符串表示将该对象转换为JSON格式后的结果。

例如,如果你有一个Python字典,你可以使用dumps函数将其转换为JSON格式的字符串:

import json

data = {'name': 'John', 'age': 30}
json_string = json.dumps(data)
print(json_string)  # 输出:{"name": "John", "age": 30}

另一方面,loads函数(也称为JSON.loads)是用于将JSON格式的字符串转换回Python对象。这个函数接收一个JSON格式的字符串作为输入,并返回一个Python对象,该对象表示从JSON字符串转换回Python对象的结果。

例如,如果你有一个表示Python字典的JSON格式字符串,你可以使用loads函数将其转换回一个字典:

import json

json_string = '{"name": "John", "age": 30}'
data = json.loads(json_string)
print(data)  # 输出:{'name': 'John', 'age': 30}

总结一下,dumps用于将Python对象转换为JSON格式的字符串,而loads用于将JSON格式的字符串转换回Python对象。这两种功能对于处理JSON数据来说是非常常见的。