兄弟们，上一个系列大家多少有点不太喜欢，那今天上点不一样的。
来吧，直接整活~
首先咱们需要安装一下这两个第三方模块
requests >>> # pip install requests
parsel >>> # pip install parsel
不会安装的小伙伴，键盘按住win+r 在弹出来的运行框 输入cmd 按确定，然后弹出黑色的框框，即命令提示符窗口，输入上面的注释 ，然后按回车即可安装成功。
第一步：找数据对应的链接地址
第二步：python代码发送指定地址的请求
第三步：数据解析(筛选 过滤咱们需要的数据)
解析了每一个相册地址之后
第四步：保存数据
import requests
import parsel # 解析数据
import os
# Python学习交流 1群 815624229 快满了加2裙
# Python学习交流 2群 279199867
for page in range(1, 12):
response = requests.get(f'https://www.jdlingyu.com/tag/%e8%85%bf%e6%8e%a7/page/{page}')
# <Response [200]>: 请求成功
# 静态页面的网页源代码
# 把静态页面的 字符串 变成可选的对象
selector = parsel.Selector(response.text)
# 3. 数据解析(筛选 过滤咱们需要的数据)
# re: 可以直接提取网页字符串数据
# css / xpath: 通过HTML标签进行提取
lis = selector.xpath("//ul[@class='b2_gap ']/li")
for li in lis:
# text(): 提取标签的文本内容
title = li.xpath('.//h2/a/text()').get()
print(f'-------------正在爬取{title}-------------')
# a 如果当前文件夹不存在 那么就新建一个
if not os.path.exists('./img/'+title):
os.mkdir('./img/'+title)
# 每一个相册所在的 网页地址
# 获取a标签属性内容 /@src
href = li.xpath('.//h2/a/@href').get()
# b 请求每一个相册详情页
data_html = requests.get(href).text
# 把字符串对象转变为 可选的selector对象
selector_2 = parsel.Selector(data_html)
img_p = selector_2.xpath('//div[@class="entry-content"]/p')
for img in img_p:
# (2) 解析数据 提取图片链接
img_list = img_p.xpath('.//img/@src').getall()
for img_1 in img_list:
# content: 获取二进制数据 图片 视频 音频
# 文本: text
try:
img_data = requests.get(img_1).content
# 图片文件名
except:
continue
img_name = img_1.split('/')[-1]
with open(f'img\\{title}\\{img_name}', mode='wb') as f:
f.write(img_data)
print('下载完成:', img_name)
这个分类总共是12页，我就不全部展示了，大家可以自己去试试！
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
在rails源中:https://github.com/rails/rails/blob/master/activesupport/lib/active_support/lazy_load_hooks.rb可以看到以下内容@load_hooks=Hash.new{|h,k|h[k]=[]}在IRB中，它只是初始化一个空哈希。和做有什么区别@load_hooks=Hash.new 最佳答案 查看rubydocumentationforHashnew→new_hashclicktotogglesourcenew(obj)→new_has
我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden
我的主要目标是能够完全理解我正在使用的库/gem。我尝试在Github上从头到尾阅读源代码，但这真的很难。我认为更有趣、更温和的踏脚石就是在使用时阅读每个库/gem方法的源代码。例如，我想知道RubyonRails中的redirect_to方法是如何工作的:如何查找redirect_to方法的源代码？我知道在pry中我可以执行类似show-methodmethod的操作，但我如何才能对Rails框架中的方法执行此操作？您对我如何更好地理解Gem及其API有什么建议吗？仅仅阅读源代码似乎真的很难，尤其是对于框架。谢谢! 最佳答案 Ru
我的假设是moduleAmoduleBendend和moduleA::Bend是一样的。我能够从thisblog找到解决方案,thisSOthread和andthisSOthread.为什么以及什么时候应该更喜欢紧凑语法A::B而不是另一个，因为它显然有一个缺点？我有一种直觉，它可能与性能有关，因为在更多命名空间中查找常量需要更多计算。但是我无法通过对普通类进行基准测试来验证这一点。 最佳答案 这两种写作方法经常被混淆。首先要说的是，据我所知，没有可衡量的性能差异。(在下面的书面示例中不断查找)最明显的区别，可能也是最著名的，是你的
几个月前，我读了一篇关于rubygem的博客文章，它可以通过阅读代码本身来确定编程语言。对于我的生活，我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗？ 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem？，我们在StackOverflow上找到一个类似的问题：
我目前正在使用以下方法获取页面的源代码:Net::HTTP.get(URI.parse(page.url))我还想获取HTTP状态，而无需发出第二个请求。有没有办法用另一种方法做到这一点？我一直在查看文档，但似乎找不到我要找的东西。 最佳答案 在我看来，除非您需要一些真正的低级访问或控制，否则最好使用Ruby的内置Open::URI模块:require'open-uri'io=open('http://www.example.org/')#=>#body=io.read[0,50]#=>"["200","OK"]io.base_ur
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht