前言

大家好!我是古月星辰，大三本科生，数学专业，Python爬虫爱好者一枚。今天给大家带来JD数据的简单采集和可视化分析，希望大家可以喜欢。

一、目标数据

随着移动支付的普及，电商网站不断涌现，由于电商网站产品太多，由用户产生的评论数据就更多了，这次我们以京东为例，针对某一单品的评论数据进行数据采集,并且做简单数据分析。

二、页面分析

这个是某一手机页面的详情页，对应着手机的各种参数以及用户评论信息，页面URL是：

https://item.jd.com/10022971060622.html#none 

然后通过分析找到评论数据对应的数据接口，如下图所示:

它的请求url:

https://club.jd.com/comment/productPageComments手把.action?callback=fetchJSON_com ment98& productId=10022971060622 &score=0&sortType=5& page=0 &pageSize=10&isShadowSk u=0&fold=1 

注意看到这两个关键参数

1. productId: 每个商品有一个id

2. page: 对应的评论分页

三、解析数据

对评论数据的url发起请求:

url:https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comm&n手教bsp;ent98& productId=10022971060622 &score=0&sortType=5& page=0 &pageSize=10&isShado wSku=0&fold=1 

json.cn 打开json数据(我们的评论数据是以json形式与页面进行交互传输的)，如下图所示:

分析可知,评论url中对应十条评论数据,对于每一条评论数据,我们需要获取3条数

据,contents,color,size(注意到上图的maxsize,100,也就是100*10=1000条评论)。

四、程序 1.导入相关库 import  request你采s import  json import  time import  openpyxl  #第三方模块，用于操作Excel文件的 #模拟浏览器发送请求并获取响应结果 import random  2.获取评论数据 def get_comments(productId,page):     url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment9集京8&productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1'.format(productId,page) # 商品id     resp=requests.get(url,headers=headers)     #print(resp.text)  #响应结果进行显示输出     s1=resp.text.repla东销ce('fetchJSON_comment98(','') #fetchJSON_comment98(     s=s1.replace(');','')     #将str类型的数据转成json格式的数据     # print(s,type(s))     # print('*'*100)     res=json.loads(s)    &nb售数sp;print(type(res))     return res  3.获取最大页数(也可以不写) def get_max_page(productId):     dic_data=get_comments(productId,0)  #调用刚才写的函数，向服务器发送请求，获取字典数据     return dic_data['maxPage']  4.提取数据 def get_info(productId):   据并;  #调用函数获取商品的最大评论页数     #max_page=get_max_page(productId)     # max_page=10     lst=[]  #用于存储提取到的商品数据     for page in range(0,get_max_page(productId)):   #循环执行次数    &做简nbsp;    #获取每页的商品评论         comments=get_comments(productId,page)         comm_lst=comments['comments']   #根据key获取value，根据comments获取到评论的列表（每页有10条评论）         #遍历评论列表，分单的别获取每条评论的中的内容，颜色，鞋码         for item in comm_lst:   #每条评论又分别是一个字典，再继续根据key获取值             content=item['content']  #获取评论中的内容          &nb数据sp;  color=item['productColor'] #获取评论中的颜色             size=item['productSize'] #鞋码             lst.append([content,color,size])  #将每条评论的信息添加到列表中     &nbs分析p;   time.sleep(3)  #延迟时间，防止程序执行速度太快，被封IP     save(lst)  #调用自己编写的函数，将列表中的数据进行存储  5.用于将爬取到的数据存储到Excel中 def save(lst):     wk=openpyxl.Workbook () #创建工作薄对象     sheet=wk.active  #获取活动表   &n和可bsp; #遍历列表，将列表中的数据添加到工作表中,列表中的一条数据，在Excel中是 一行     for item in lst:         sheet.append(item)     #保存到磁盘上     wk.save('销售数据.xlsx')  6.运行程序 if __name__ == '__main__': &视化nbsp;   productId='10029693009906' # 单品id     get_info(productId) 

五、简单数据 1.简单配置 # 导入相关库 import pandas as pd  import matplotlib.pyplot as plt # 这两行代码解决 plt 中文显示的问题 plt.rcParams['font.sans-serif'] = ['Sim手把Hei'] plt.rcParams['axes.unicode_minus'] = False # 由于采集的时候没有设置表头,此处设置表头 data = pd.read_excel('./销售数据.xlsx', header=None, names = ['comments','color','intro'] ) #  data.head() 

2.手机颜色数量对比 x = ['白色','黑色','绿色','

• ·前DeepMind大神创业一年估值飙至80亿美元：Reflection AI要做美国版DeepSeek
• ·搜索引擎新技能，阿里新研究用2D图片搜出3D模型
• ·阿里Mobile-Agent-v3横空出世！GUI自动化领域迎来跨时代突破
• ·谷歌云游戏业务Stadia麻烦不断 产品总监已离职
• ·生数科技获数亿元融资，视频生成引领AI商业化新潮流
• ·谷歌员工宣布成立工会 与管理层紧张关系升级
• ·DeepSeek-R1 论文登上 Nature 封面，彰显人工智能推理新突破
• ·标签: 佰维存储 华泰国际
• ·OpenAI以11亿美元收购 Statsig，成立新技术高管职位！
• ·阿里通义万相预告Wan 2.2-S2V模型：解锁AI视频音频同步生成
• ·标签: 鸿蒙 英伟达 微信 小米YU7GT
• ·标签: 主线科技 L4无人卡车 港股上市 自动驾驶
• ·Salesforce 因 AI 模型侵权被起诉，或引发企业对 AI 信任危机
• ·标签: SAS 赛仕软件 数据分析 中国裁员
• ·标签: 普昂医疗 糖尿病护理 胰岛素笔针 医疗器械
• ·标签: 商汤-W 多模态大模型 Agent原生 物理AI