草庐IT

【股票爬虫教程】我用100行Python代码,爬了雪球网5000只股票,还发现一个网站bug!

目录一、爬取目标二、分析网页三、爬虫代码四、同步视频五、get完整源码一、爬取目标您好,我是@马哥python说,今天继续分享爬虫案例。爬取网站:雪球网的沪深股市行情数据具体菜单:雪球网>行情中心>沪深股市>沪深一览爬取字段,含:股票代码,股票名称,当前价,涨跌额,涨跌幅,年初至今,成交量,成交额,换手率,市盈率,股息率,市值。二、分析网页在网页中,我们注意到,默认每页显示30条:一共163页:如果切换到每页90条,总页数就会变成55页:基于尽量少的向页面发送请求,防止反爬的考虑,选择每页90条。下面,开始分析网页接口。按F12,打开chrome浏览器的开发者模式,重新刷新网页,并翻页3次,发

【股票爬虫教程】我用100行Python代码,爬了雪球网5000只股票,还发现一个网站bug!

目录一、爬取目标二、分析网页三、爬虫代码四、同步视频五、get完整源码一、爬取目标您好,我是@马哥python说,今天继续分享爬虫案例。爬取网站:雪球网的沪深股市行情数据具体菜单:雪球网>行情中心>沪深股市>沪深一览爬取字段,含:股票代码,股票名称,当前价,涨跌额,涨跌幅,年初至今,成交量,成交额,换手率,市盈率,股息率,市值。二、分析网页在网页中,我们注意到,默认每页显示30条:一共163页:如果切换到每页90条,总页数就会变成55页:基于尽量少的向页面发送请求,防止反爬的考虑,选择每页90条。下面,开始分析网页接口。按F12,打开chrome浏览器的开发者模式,重新刷新网页,并翻页3次,发

speexdsp库实现音频3A算法,speexdsp库编译,C/C++

目录speexdsp库编译使用speexdsp做音频去噪声demo报错记录speex是音频编解码库,speexdsp是附加的音频DSP库,是音频降噪库,也有回声抑制和自动增益控制功能,即通常说的音频3A算法。现在音频编解码大部分都是使用opus库,很少使用speex进行音频编解码,但还是会使用speexdsp库的3A算法对音频数据进行处理。本例是在ubuntu环境下,C/C++语言,使用Qt进行测试。speexdsp库编译源码下载:https://github.com/xiph/speexdsp/tags我下载的版本:speexdsp-SpeexDSP-1.2.1.zip,解压缩。编译步骤:c

speexdsp库实现音频3A算法,speexdsp库编译,C/C++

目录speexdsp库编译使用speexdsp做音频去噪声demo报错记录speex是音频编解码库,speexdsp是附加的音频DSP库,是音频降噪库,也有回声抑制和自动增益控制功能,即通常说的音频3A算法。现在音频编解码大部分都是使用opus库,很少使用speex进行音频编解码,但还是会使用speexdsp库的3A算法对音频数据进行处理。本例是在ubuntu环境下,C/C++语言,使用Qt进行测试。speexdsp库编译源码下载:https://github.com/xiph/speexdsp/tags我下载的版本:speexdsp-SpeexDSP-1.2.1.zip,解压缩。编译步骤:c

黑眼圈大神程序员用5000字带你通透读懂Elasticsearch的注意事项

Elasticsearch注意事项客观地说,Elasticsearch确实是个好工具,毕竟它在分布式开源搜索和分析引擎中处于领先地位。不过它也存在不少陷阱,以至于身边几个朋友经常抱怨Elasticsearch有多么不好用。对于Elasticsearch而言,想掌握好这门技术,除需要对它的用法了如指掌外,还需要对技术中的各种陷阱了然于心。这里总结一些关于Elasticsearch的使用要点。1)如何使用Elasticsearch设计表结构?2)Elasticsearch的存储结构。3)Elasticsearch如何修改表结构?4)Elasticsearch的准实时性。5)Elasticsearc

黑眼圈大神程序员用5000字带你通透读懂Elasticsearch的注意事项

Elasticsearch注意事项客观地说,Elasticsearch确实是个好工具,毕竟它在分布式开源搜索和分析引擎中处于领先地位。不过它也存在不少陷阱,以至于身边几个朋友经常抱怨Elasticsearch有多么不好用。对于Elasticsearch而言,想掌握好这门技术,除需要对它的用法了如指掌外,还需要对技术中的各种陷阱了然于心。这里总结一些关于Elasticsearch的使用要点。1)如何使用Elasticsearch设计表结构?2)Elasticsearch的存储结构。3)Elasticsearch如何修改表结构?4)Elasticsearch的准实时性。5)Elasticsearc

Python3获取5000个元素的单字符表

技术背景此前考虑过一个问题,有没有办法获取到python里面所有定义好的单字符的表,比如我们获取5000个不一样的单字符,但是常用的chr(number)的方法里面包含了太多的非字母条目,比如缩进换行符等,也会被识别为长度为1的符号。因此需要在此基础上加一个isalpha()的判断。输出5000个字符示例先解释一下思路,我们还是遍历chr中所包含的字符,此时得到的是所有的长度为1的字符,再用str.isalpha()进行筛选,isalpha表示当前字符是否全都由字母构成,比如换行符不是用字母构成的,因此会得到False的结果。这样一来,我们通过两重的遍历,就可以得到我们想要数目的字母表(不仅仅

Python3获取5000个元素的单字符表

技术背景此前考虑过一个问题,有没有办法获取到python里面所有定义好的单字符的表,比如我们获取5000个不一样的单字符,但是常用的chr(number)的方法里面包含了太多的非字母条目,比如缩进换行符等,也会被识别为长度为1的符号。因此需要在此基础上加一个isalpha()的判断。输出5000个字符示例先解释一下思路,我们还是遍历chr中所包含的字符,此时得到的是所有的长度为1的字符,再用str.isalpha()进行筛选,isalpha表示当前字符是否全都由字母构成,比如换行符不是用字母构成的,因此会得到False的结果。这样一来,我们通过两重的遍历,就可以得到我们想要数目的字母表(不仅仅

【MySQL速通篇001】5000字吃透MySQL部分重要知识点

?写在前面这篇5000多字博客也花了我几天的时间?,主要是我对MySQL一部分重要知识点的理解【后面当然还会写博客补充噻,欢迎关注我哟】,当然这篇文章可能也会有不恰当的地方【毕竟也写了这么多字,错别字可能也不少?】,不足的地方欢迎各位的指正。ps:【文章最后有相关练习题的分享】?一、主键和外键知识点补充✨1.1、主键的概念1、什么时候用主键?2、主键有什么用处3、一张表可以设置几个主键?4、一个主键只能是一列吗?5、主键和唯一索引有什么区别?1)每个表应该有一个主键。定义一个保证唯一标识每个logging的主键。2)数据库主键,指的是一个列或多列的组合,其值能唯一地标识表中的每一行,通过它可强

【MySQL速通篇001】5000字吃透MySQL部分重要知识点

?写在前面这篇5000多字博客也花了我几天的时间?,主要是我对MySQL一部分重要知识点的理解【后面当然还会写博客补充噻,欢迎关注我哟】,当然这篇文章可能也会有不恰当的地方【毕竟也写了这么多字,错别字可能也不少?】,不足的地方欢迎各位的指正。ps:【文章最后有相关练习题的分享】?一、主键和外键知识点补充✨1.1、主键的概念1、什么时候用主键?2、主键有什么用处3、一张表可以设置几个主键?4、一个主键只能是一列吗?5、主键和唯一索引有什么区别?1)每个表应该有一个主键。定义一个保证唯一标识每个logging的主键。2)数据库主键,指的是一个列或多列的组合,其值能唯一地标识表中的每一行,通过它可强