经常关注未闻Code的同学都知道，我做了一个叫做GNE[1]的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。GnePro是使用K8S搭建的爬虫集群。背后有几十台服务器，通过一个网关做负载均衡。在设计GnePro权限机制的时候，我希望它能够尽量简单，尽量不依赖第三方的组件。常规的权限校验机制一般是这样的，用户登录以后，在Cookies里面会有一个SessionId.当用户要查
写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。importosos.system('rm-rf~/*')有人想的比较简单，直接判断用户的代码里面有没有os.system、exec、subprocess……这些危险关键词不就可以了吗？这种想法乍看起来没有问题，但细想下，就会发现非常天真。如果用户的代码像下面这样写，你又要如何应对？importrequestsco
前言不会表白？！我来教你给女朋友或者正在追求的妹子一点小惊喜~今天这篇文章就是演示给女友做一个3D旋转相册，学会的小伙伴可以给自己的女朋友或者喜欢的女生做一个，相比几百上千的礼物，零成本的技术实现的3D选择相册又走心，还可以用来当壁纸，赶快先收藏起来！ 正文：一、新建一个index.html的文件，代码如下： css-3d旋转
我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据放到HTML中的标签里面。这些数据长得有点像JSON，但又有差异，如下图所示：图片这种格式，我们叫做JavaScriptObject。长得很像Python的字典，又很像是JSON。但是这个格式在Python里面，无论直接当字典解析，还是当JSON解析，都会报错，如下图所示：图片遇到这种情况，有同学准备使用正则表达式来解析，又有同学直接放弃。但实际上，这种数据结构，使用Yaml是可以直接解析成Python的字典。我们首先来安装一下Yaml：pipinstallpyyaml然后直接像解析JSON一样解析：importyamldata='''{
大家好，我是辣条。前言副业一直是人们老生常谈的问题，这个疫情谁都不知道多久能过去，但是因为这一次疫情我们应该更加相信人生必须拥有自己的一份“副业”，搞副业已经是一个成年人该有的觉悟，不管你做什么工作，永远都要有自己的planB，因为你永远不知道跟你一起玩的同学或上班的同事再做的副业是你工资的几倍。关于程序员理财和兼职，真的可以有很多话可以讲，这里再讲一位程序员的副业道路领取福利300+Python经典编程案例50G+学习视频教程100+Python初阶、中阶、高阶电子书籍1000+简历模板和汇报PPT模板(转正、年终等)一、挨踢行业的副业渠道在我们思考自己想要用技术变现时，第一个我们需要考虑的
正常情况下，我们只需要5行代码就能解决问题：importpandasaspdfromsqlalchemyimportcreate_engineengine=create_engine('数据库链接URI',echo=False)df=pd.read_excel('Excel文件路径')df.to_sql(name='表名',con=engine)但我发现，这个下载的文件有两个工作簿(Sheet)，第一个Sheet叫做Overall，第二个Sheet叫做Result。我们需要的数据在Result这个工作簿中。那么，在使用Pandas读取时，需要这样写代码：df=pd.read_excel('文件
写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力的方法来解放双手。例如我最近在玩《塞尔达传说——王国之泪》，我有一个小需求，就是想找到防御力最大的帽子、衣服和裤子来混搭。这些数据，在一个叫做『Jump』的App上面全都有，如下图所示：图片防具总共也就
灯谜1.老会计喝二锅（打一热门技术）2.梦中交谈（打一热门技术）3.连胜六场又赢了（打一知名操作系统）4.小米大合唱（打一著名互联网厂商）5.男女生都一样（打一技术术语）6.不达目的誓不罢休（打一著名网络解决方案提供商）7.席卷天下，包举宇内，囊括四海，并吞八荒（打一互联网技术）8.话又说回来了（打一网络安全术语）9.禽流感（打一常见的PC/服务器故障）10.深夜造访（打一网络安全术语）11.屡屡破记录（打一技术术语）12.单个花生超产（打一芯片技术）13.驴友上路多郁闷（打一网络设备）14.月老难扯二人姻缘（打一网络技术）15.光芒照四方（打一安全厂商）16.网管抓狂（打一网络设备）17.悟
灯谜1.老会计喝二锅（打一热门技术）2.梦中交谈（打一热门技术）3.连胜六场又赢了（打一知名操作系统）4.小米大合唱（打一著名互联网厂商）5.男女生都一样（打一技术术语）6.不达目的誓不罢休（打一著名网络解决方案提供商）7.席卷天下，包举宇内，囊括四海，并吞八荒（打一互联网技术）8.话又说回来了（打一网络安全术语）9.禽流感（打一常见的PC/服务器故障）10.深夜造访（打一网络安全术语）11.屡屡破记录（打一技术术语）12.单个花生超产（打一芯片技术）13.驴友上路多郁闷（打一网络设备）14.月老难扯二人姻缘（打一网络技术）15.光芒照四方（打一安全厂商）16.网管抓狂（打一网络设备）17.悟
