1.power query抓取数据
最近在群里收到非常多的小伙伴提问分享一些关于Python爬虫相关的知识,其实如果是单纯的想简单采集数据,利用Excel就可以了在Excel 2016及之后的版本就内置了一个非常强大的数据处理神器——Power Query
2.power query应用案例
,无论是数据采集还是基础的数据处理/分析,实现起来都非常简单。最重要的是相比Python需要强大的数学逻辑+编程功底,Power Query几乎无需写代码就能实现数据采集!
3.power query入门到精通教程
今天小北就来给大家分享 2 种不同结构的PQ采集大法,拒绝低效率数据采集!- 01 -带有table的网页表格首先是第一种采集的办法,它们的最主要区别是看网页的结构如果在网页中,使用的是「table标签。
4.power query 教程
」,那么就可以直接讲网页导入到Excel中自动提取出表格。如何查看网页使用的是否是table标签呢?很简单,选中任意一个数据,右击,选择「检查」即可。
5.power query教程入门
这里我们以「豆瓣电影」为例子,即将上映的电影列表就是一个以table标签布局的网页。
采集的网址:首先选择「数据」选项卡下的「新建查询」-「自Web」,在弹出的对话框中,粘贴需要采集的网址,点击「确定」,如下:
这个时候Excel会打开一个「导航器」,在左边的选择table0,右侧就可以看到PQ自动将表格数据识别出来了。
接下来点击「加载」,就可以将网页数据自动加载到Excel中了,并且还是一个智能表格。
使用PQ加载的表格数据,如果网页的数据更新了,也不需重复再次加载数据,直接右键「刷新」既可以快速同步数据了。
这是PQ的第一种采集数据的办法,是不是非常简单呢,一行代码都不用写,轻松将数据导入到Excel中但是使用的限制也非常多,网页中必须使用table标签(table、td、tr等等)才可以使用- 02 -非table结构的网
页然而使用table来展示数据已经组件被淘汰,在80%甚至更多的网页中,都会使用div、ul、span等标签来更加灵活的呈现数据。想利用 Exc。
因为在这个网页中,并没有用到「table标签」,导进去的时候也看不到table0这个选项:
这个时候可以怎么做呢?其实现代的绝大部分网页都是利用API接口来获取渲染数据的,这句话怎么理解呢?网页会先加载出来,然后再向后台发起一个请求,单纯获取数据,而这些常用的数据格式为JSON那么怎么看到这些数据呢?很简单,仍然打开。
「检查」,在「network」下找到「xhr」,这里都是请求的数据。芒种学院,这里就可以找到对应的请求数据。
在页面滚动的时候,可以发现,列表里多了一个「search_v3?」,点开来查看发现是我们想要的数据:
接着我们右击链接,选择「copy link address」将链接复制出来。将这个链接按照方法 1 再次将这个网址导入到Excel中,如下:
这里获取的数据就是json的结构数据,可以看到有paging、data等等。因为数据是在data中,所以我们右击「data」,选择「深化」,然后点击「到表中」。这里就是我们想要的数据列表。
然后一次将「数据」详细展开,如下,就得到我们的明细数据:
是不是非常简单呢?可以看到,接口里的数据全部被采集出来了,但是我们一句代码也没有写。
当然在这里面的话还有非常多的一些标签等等是我们不需要的,这里如果要处理干净就需要我们去写PQ的自定义函数了最后,如果针对一些更加复杂的场景,就不推荐使用Power Query去采集了,尽量可以使用Python或者是可视化的专业爬虫工具来实现~。
如果对你有帮助,记得点个「好看」哦,如果你有想学的Excel技巧,不妨在下方留言哦~还想了解数据处理和信息图表的更多思路与技巧?「Excel实战课,让你的图表会说话」超值 Excel 课程了解一下——
芒种零基础 Excel 商务图表训练营,教你如何快速拆分数据、如何制作美观大方的动态图表报告,搞定你的老板,为升职加薪提速!新课发布,更新完毕,作业打卡,5小时成为图表高手!今天咨询报名,仅需69 元,5小时共计58节课教你零基础学会制作高大上的Excel商务图表
!?
↑一课解决你的图表问题掌握真正的可视化表达思维,并且做出合适的图表,你就能脱颖而出,让身边的人眼前一亮。学完课程,你也能在10分钟内做出这种动态仪表盘(课程案例):
————— 常见问题 —————Q: 课程有时间、次数限制吗?A: 课程不限时间和次数,随时可学,长期有效Q: 手机上可以学习吗?A: Q: 课程学不会有老师答疑吗?A:当然有,作业点评,课程长期答疑,不怕学。
不下去Q: 除了课程还有其他学习资料么?A:课程学习完后,还会赠送你一份Excel图表大全,碰上不懂的数据结构,可以直接查询使用什么图表,另外还有16种配色方案模板,让你一键配色Q: 如何添加助理A:新课上线购课,还送配色卡、送图表大全……
?猛戳【】抓住更多优惠!