草庐IT

scrapy-pipeline

全部标签

ruby-on-rails - Rails Asset Pipeline 更好的错误或堆栈跟踪

刚刚将应用程序从rails3.0.9升级到3.2.1,当我运行bundleexecrakeassets:precompile时出现错误,这很好,但是回溯没有告诉我在哪里语法问题来self的css或scss文件。我尝试对“0ee5c0e69c92af0”进行greping,但该字符串没有出现在我的项目中。bundleexecrakeassets:precompile:allRAILS_ENV=productionRAILS_GROUPS=assets--trace**Invokeassets:precompile:all(first_time)**Executeassets:precom

ruby - 设置 rake-pipeline 以与 handlebars 和 Google App Engine 一起使用

这就是我正在尝试做的事情。我正在构建一个ember.js应用程序,其java后端在GAE上运行。我正在使用Handlebars,但我希望将它们分成单独的文件,而不是全部粘贴到index.html中。通过ember.jsirc,我打开了rake-pipeline连同minispade连同webfilters和自定义handlebarsfilter我开始构建Assets文件。我不知道Ruby或gem文件等。因此,我正在尝试找出能够即时编译我的coffeescript/handlebars文件的最佳方法,对它们进行minispade,但在开发模式下保持单个文件可访问,以便我可以调试它们。困难

ruby-on-rails - Rails 4 中的 Asset-Pipeline/Turbolinks 对于大型应用程序的优缺点是什么?

按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭9年前。我们正在开发一个相当大且广泛的应用程序。该网站将有许多不同的部分,具有一些非常不同的用户界面要求和行为。展望future,Rails4将Assets管道分离到一个单独的gem中,因此我们可以选择包含或不包含它。turbolinks可能会发生同样的事情。这些天我一直在问自己但找不到答案的问题是:我是否应该在我们的项目中使用这些库?我反射(reflect)的主

javascript - Django + Django-Pipeline with Javascript "Require"

我有一个在Javascript库上调用require的模块。我正在尝试使用Django-Pipeline压缩我的.js文件,但是在collectstatic之后网页出现错误:UncaughtReferenceError:requireisnotDefined如果我不使用Django-Pipeline压缩文件,则正常测试/部署与collect-static一起工作正常。在不破坏依赖性的情况下缩小我的.js文件的正确设置是什么-文档有点稀疏。django-pipeline是正确的选择吗?编辑:我试图确保“必需”模型首先在管道中被压缩,但我似乎无法压缩调用require的模块而不返回它一个错

javascript - 使用 PostBack 数据爬取页面 javascript Python Scrapy

我正在通过Scrapy使用ASP.NET编程爬取一些目录。要抓取的页面是这样编码的:javascript:__doPostBack('ctl00$MainContent$List','Page$X')其中X是1到180之间的整数。MainContent参数始终相同。我不知道如何爬进这些。我很想在SLE规则中添加一些像allow=('Page$')或attrs='__doPostBack'这样简单的东西,但我想我必须为了从javascript“链接”中提取信息,需要一些技巧。如果更容易从javascript代码中“揭开”每个绝对链接并将它们保存到csv,然后使用该csv将请求加载到新的抓

javascript - 如何将scrapyjs功能集成到Scrapy项目中

我使用ScrapyFramework制作了一个网络爬虫,从thiswebsite获取音乐会门票数据.我已经能够成功地从页面上每张票的内部元素中抓取数据,除了只能通过单击“门票”按钮转到门票页面并从门票中抓取票价才能访问的价格在页面上。经过广泛的谷歌搜索,我发现Scrapy.js(基于Splash)可以在Scrapy中使用来与页面上的JavaScript进行交互(例如需要点击的按钮)。我看过一些关于如何使用Splash与JavaScript交互的基本示例,但没有一个示例介绍了Splash与Scrapy的集成(甚至在文档中也没有)。我一直遵循这样的格式,即使用项目加载器将抓取的元素存储在解

javascript - Scrapy 之类的 Nodejs 工具?

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。关闭2年前。Improvethisquestion我想知道是否有类似Scrapyfornodejs的东西?。如果不是,您如何看待使用简单的页面下载并使用cheerio对其进行解析?有没有更好的办法。

amazon-web-services - 使用 Go SDK 检查 AWS Data Pipeline 的状态

情况:我有2个按需运行的数据管道。在流水线A完成之前,流水线B无法运行。我正在尝试在单个脚本/程序中自动运行两个管道,但我不确定如何在Go中执行所有这些操作。我有一些激活数据管道的Go代码:funcawsActivatePipeline(pipelineID,regionstring)(*datapipeline.ActivatePipelineOutput,error){svc:=datapipeline.New(session.New(&aws.Config{Region:aws.String(region)}))input:=&datapipeline.ActivatePipel

go - {{template "name"pipeline}} 是什么意思

这个问题在这里已经有了答案:Golangtemplateenginepipelines(1个回答)关闭4年前。在https://golang.org/pkg/text/template/#hdr-Actions,有如下解释{{template"name"pipeline}}Thetemplatewiththespecifiednameisexecutedwithdotsettothevalueofthepipeline.这是什么意思?什么是点?例如,我看到下面的模板代码——{{define"header"}}{{template"top".}}{{template"needs"}}..

python - 如何在 scrapy 中订购带有项目字段的 xml?

我编写了一个蜘蛛,它会抓取网页并填充项目中的字段。该项目具有如下字段classexampleitem():ex1=Field()ex2=Field()ex3=Field()...andsoforth当我抓取并导出到xml文件时,字段的顺序变得困惑并返回类似这样的内容xyzabcghi...soforth我想让xml的格式完全按照它在我的item.py文件的Fields()中写入的顺序进行格式化。过去一个小时左右,我一直在做研究,我知道这与我的管道和使用xmlitemexporter有关,但我完全不知道如何定制我的管道,甚至不知道从哪里开始。简而言之,我在行话中迷路了,如果有人能给我指明