Python网络爬虫之微信公众号(待改进)
前言
近日得到一任务:需要爬取某个公众号的文章并保存到本地,然后进行分析。那么对于公众号爬取确实是比较少见而且有点难度,在搜集资料后,结合网络文章的经验以及自己的改进,实现了这一功能。参考文章会在文末列出。
准备
Python环境
电脑或是服务器
一个自己能登陆的微信公众号
批量获取公众号推送链接
由于公众号的每一篇文章的链接似乎是随机生成的,相互之间没有关联,因此要批量获取某公众号的文章链接需要用到一定的方法,搜狗微信只能获取到最近的几篇文章,并不能做到全部收录。这里就需要用到自己的微信公众号的后台了。
登录微信公众平台,新建文章,点击超链接。此时打开浏览器的检查模式,选择网络(Network),然后在窗口中选择你要爬取的公众号。
获取fakeid和token
这时我们可以看到,网络中出现了一个“appmsg”开头的内容,这就是我们需要的目标。将它的请求URL记录在下面(*隐去了部分内容):
1https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI ...
主页源码修改记录(简单网页倒计时+跳转+文本替换)
网站模板
我的主页ANINEGの小屋模板是使用的来自https://html5up.net的免费模板,以下是网页的介绍:
Fully Responsive
Built on intelligent HTML5 + CSS3
Super Customizable
100% Free under the Creative Commons
有需要的同学们可以去自行下载。
源码修改
在原有模板的基础上,我增添了如下功能:
它会在页面上显示10秒倒计时,结束后后自动跳转到博客页。
在倒计时这10秒中可以对博客网页进行预加载。
当用户单击网页任何位置时,倒计时停止,并将显示倒计时的文本替换为“欢迎访问ANINEG的小屋”
以下是实现过程:
12345678910111213141516171819202122232425<script> var preloadUrl = "https://blog.anineg.space/"; // 需要预加载的页面地址 var iframe = document.createElement("iframe"); // 创建一个 ...
反弹Shell:通过Excel表格进行远控
讲在前面
很久没有更新啦,自从12月新冠开始再加上过年和开学考试再加上亿点点的划水,不知不觉就过去这么久了。那么今天刚好开完了社团的分享会,也一起在这里更新一下内容,也算是作为这次分享的记录了。
什么是宏?
Office宏,译自英文单词Macro。宏是Office自带的一种高级脚本特性,通过VBA代码,可以在Office中去完成某项特定的任务,而不必再重复相同的动作,目的是让用户文档中的一些任务自动化。
Visual Basic for Applications(VBA)是Visual Basic的一种宏语言,是微软开发出来在其桌面应用程序中执行通用的自动化(OLE)任务的编程语言。主要能用来扩展Windows的应用程序功能,特别是Microsoft Office软件,也可说是一种应用程式视觉化的Basic 脚本。
如何利用?
我们创建一个启用宏的excel表格,例如值日名单.xlsm。
点击视图-宏-查看宏,在这里创建一个AutoOpen
1.弹出计算器
在弹出的VBA中,修改为如下代码,点击运行,即可弹出计算器。
1234567Sub AutoOpen() Launch ...
搭建几乎0成本的个人网盘
Onedrive-Vercel-Index
最近在网上发现了一个挺有意思的项目onedrive-vercel-index,它可以在Vercel上部署一个属于你自己的网盘。那么相比于百度网盘,你对他有着很高的控制权,并不需要担心你的资源会被河蟹。那么至于网速,Onedrive给的带宽不太稳定,有时可以跑到满速,有时只有3MB/s,但怎么说也比某度网盘良心多了。
但这个网盘最大的缺点就在于空间上。现在注册Onedrive默认是5GB的空间,这显然不够用。但是也并非没有办法,我们在某宝上花个大概三块钱就可以把一个账号的空间永久提升至15GB。当然,如果你是购买了office365的话,那你就可以拿到1T的容量,就不需要担心什么容量的问题。网上还有一种教育版的,容量为1-5T,但是我不建议大家使用,因为这个账号的管理员可以看到你的文件,大家应该都知道数据的重要性,所以不要贪便宜使用这种。
最后一个问题,Vercel给你提供默认的域名大概率由于某些原因无法访问,所以你还需要拥有一个自己的域名,并把它解析到Vercel上。购买一个域名其实并不贵,如果是新用户就会更便宜了。例如.space .top ...
ZoomEye-网络空间搜索引擎
ZoomEye (钟馗之眼)
一个针对网络空间的搜索引擎
ZoomEye
得益于科技的高速发展,现在接入互联网的设备五花八门。除了PC和服务器,还有路由器、物联网家电、平板电脑、手机等,甚至还有监控探头、工业控制中的SCADA系统等比较敏感的设备。这些设备被视作节点,共同组成了我们所处的的网络空间(Cyberspace)。
ZoomEye(“钟馗之眼”)网络空间搜索引擎正是一个检索网络空间节点的搜索引擎。通过后端的分布式爬虫引擎(无论谁家的搜索引擎都是这样)对全球节点的分析,对每个节点的所拥有的特征进行判别,从而获得设备类型、固件版本、分布地点、开放端口服务等信息。
ZoomEye 是什么?怎么用?https://zhuanlan.zhihu.com/p/19710755
其他网络空间搜索引擎
目前国内外的网络空间搜索引擎有 shodan、zoomeye、cnesys、fofa
Shodan
Shodan是目前最为知名的黑客搜索引擎,它是由计算机程序员约翰·马瑟利(John Matherly)于 2009 年推出的,他在 2003 年就提出了搜索与 Internet 链接的设备的想法 ...
桥接模式、NAT模式和仅主机模式
虚拟机网络
在VMware中,虚拟机的网络连接主要是由VMware创建的虚拟交换机(也叫做虚拟网络)负责实现的,VMware可以根据需要创建多个虚拟网络。
在Windows系统的主机上,VMware最多可以创建20个虚拟网络,每个虚拟网络可以连接任意数量的虚拟机网络设备;在Linux系统的主机上,VMware最多可以创建255个虚拟网络,但每个虚拟网络仅能连接32个虚拟机网络设备。VMware的虚拟网络都是以"VMnet+数字"的形式来命名的,例如 VMnet0、VMnet1、VMnet2……以此类推(在Linux系统的主机上,虚拟网络的名称均采用小写形式,例如 vmnet0 )。
当我们安装VMware时,VMware会自动为3种网络连接模式各自创建1个虚拟机网络(如下图):VMnet0(桥接模式)、VMnet8(NAT模式)、VMnet1(仅主机模式)。此外,我们也可以根据需要自行创建更多的虚拟网络。
桥接模式
VMware桥接模式,也就是将虚拟机的虚拟网络适配器与主机的物理网络适配器进行交接,虚拟机中的虚拟网络适配器可通过主机中的物理网络适配器直接访问到外部网络。简而言之,这就 ...
TCP协议传输数据还原测试
相关原理:
TCP(Transmission Control Protocol,传输控制协议)是基于连接的协议,也就是说,在正式收发数据前,必须和对方建立可靠的连接。一个TCP连接必须要经过三次“对话”才能建立起来,其中的过程非常复杂,我们这里只做简单、形象的介绍,你只要做到能够理解这个过程即可。我们来看看这三次对话的简单过程:主机A向主机B发出连接请求数据包:“我想给你发数据,可以吗?”,这是第一次对话;主机B向主机A发送同意连接和要求同步(同步就是两台主机一个在发送,一个在接收,协调工作)的数据包:“可以,你什么时候发?”,这是第二次对话;主机A再发出一个数据包确认主机B的要求同步:“我现在就发,你接着吧!”,这是第三次对话。三次“对话”的目的是使数据包的发送和接收同步,经过三次“对话”之后,主机A才向主机B正式发送数据。QQ的文件发送是怎样的过程呢?通常,发送文件的计算机首先要通过消息服务器将其IP地址发送给接收计算机,当接收计算机同意接收的确认消息反馈到消息服务器后,消息服务器将据此设置好文件传输对话。随即,发送计算 ...
Metasploitable2靶机学习记录
关于Metasploitable2
这是Metasploitable2(Linux)
Metasploitable是一个故意易受攻击的Linux虚拟机。此VM可用于进行安全培训、测试安全工具和实践常见的渗透测试技术。
默认登录名和密码为msfadmin:msfadmin。
切勿将此VM暴露于不受信任的网络(如果您有任何疑问,请使用NAT或仅主机模式)。
要联系开发者,请发送电子邮件至msfdev@metasploit.com
有关详细信息,请参阅以下URL:
https://community.rapid7.com/docs/DOC-1875
名称
Metasploitable2
发布日期
2012年6月13日
作者
rapid7user
系列
-
网页
https://sourceforge.net/projects/metasploitable/files/Metasploitable2/
环境
靶机:Metasploitable2(IP:未知)
攻击机:KALI(IP:192.168.198.131)
平台:VMware 16.2.4
信息 ...
VulnHub——DC-1靶机学习记录
bed7a276ba7847d76277538a14c701d513208fcd9bec01ee5395d46614c8a8d77a7487d3838d985e6244ba9499c43727f0817a7c1d48622c8c2bfb7b6a8aba9bebac452a3380872edb394f4ce5260c0b543356768910e99ec6ced4db139df77114896906cb314cd3d31b36bd2e2976fdaf780288d9be00c3207d30101f1ba4c6f0247443ff05f8fa65f91ea64bda0236e442d53cd761dd272e7adda3365808d99fe2c4ce47eb10db32512dc5eaa5efc39976d5e25393539c4d229126208ff59e2f615950e2aefdd8cbc9f76f06e5e19194ad1b525da4b6b98b49926d2f2eadfdf5194511986954bdff328871779b0cc3cc29726bf67cd4edb ...
2022/9/10,来自广西桂林
79a05bc0503f79b89e0f5d9d72ac9997b09e5d0a25b18f16a09e58ce90dc1e21bb01420021ea6a43e142f7c9163160abf3a14d91734cdb8328d6d609ad5106e899e44c5692ce09afdbd4a329ea905b3ff8efdf03c9a12c5e974c6788d974f481c8dfb7cecd22e3ff945df573b6e37de1818df9a7ca812010c51f53a2f4d2ba689f900e10248e3efbcca1fdbfbbbea5497f025ad24be869a03732a72eddaac9e1536442db45699077aac43b10098af845d025eca6d135ca90ccffb2d96ef163357c8be346e663527a27ccbe490d446202cffa3906b25b09dbfe791af5e2736436629f7ff154b8352b53d65bf81ebc290938a8788107779cb25 ...