草庐IT

IO_wide_data

全部标签

javascript - 如何检测请求是来自 prerender.io(爬虫)还是来自 JavaScript 中的真实用户(浏览器)?

我想检测请求是来自prerender.io(当请求来自爬虫时用于呈现angularjs应用程序的库)还是来自真实用户。如果请求来自prerender,那么我必须重定向到仅包含专为SEO目的而设计。我尝试设置cookie来检测,但它不起作用,因为prerender.io执行javascript代码,甚至cookie/session存储在prerender.io中工作。经过一些研究,我发现我们可以检测到用户代理,因为prerender.io在headless浏览器(即phantomJS)中调用站点if(/PhantomJS/.test(window.navigator.userAgent)

google-analytics - 谷歌分析 : How to merge canonical URLs for historical data

我有一个依赖于查询字符串的单页在线应用程序。添加了GoogleAnalytics跟踪,但是直到几天后才添加规范元,因此现在Analytics显示同一页面的多个条目,因为查询字符串不同,例如“/app/?s=4324,543,12421"和"/app/?s=5234,86754"而规范只是"/app/"。有没有办法合并GA中已规范化的额外页面(在报告>行为>概述中)的数据? 最佳答案 据我所知,没有办法更改历史数据(除了针对交易数据的骇人听闻的解决方案)。虽然我不记得文档中有一句话说“我们不重新处理历史数据”,但在多个场合都暗示了这一

angularjs - Prerender.io 不缓存我的页面

所以我正在尝试设置prerender.io对于我的带有ExpressJS后端的AngularJS应用程序,遵循此tutorial.我完全按照指示做了,唯一的区别是我启用了HTML5mode.我已经包含了meta(name="fragment"content="!")在我的index.jade和我的server.js的预呈现token文件(使用prerender-node包),但不知何故我的页面似乎没有被缓存或生成任何抓取统计信息。config.coffeeangular.config['$stateProvider','$urlRouterProvider','$locationPro

angular - 仅使用 prerender.io 客户端预渲染 Angular 7 SPA

我有一个Angular7应用程序,我在其中尝试预呈现页面以支持网络爬虫/搜索引擎优化。我已经决定要使用prerender.io来促进预渲染、缓存和为这些爬虫提供静态HTML,但我正在努力将它们的中间件安装到我的Angular7应用程序中。我想弄清楚我是否可以以纯粹的客户端方式使用prerender.io,因为我不是从节点服务器提供Angular服务,我只是在CDN中托管静态文件。根据theirdocs,有一个我可以安装的中间件,它会检测网络爬虫何时发出页面请求,并将请求重定向到预渲染服务器。但是,我找到的所有示例都涉及修改某些后端节点服务器。我不能全部在客户端执行此操作吗?我的问题是:

学习selenium+python使用 XPath 表达式来实现找到目标元素时智能封装等待,执行测试代码启动Chrome浏览器后,地址栏只显示data;

背景学习使用XPath表达式来实现找到目标元素时智能封装等待执行测试代码启动Chrome浏览器后,地址栏只显示data;代码如下importunittestfromseleniumimportwebdriverfromselenium.common.exceptionsimportNoSuchElementExceptionfromselenium.webdriver.support.waitimportWebDriverWaitfromHTMLTestRunner_cnimportHTMLTestRunnerclassMyTest(unittest.TestCase):defsetUp(se

Data 属性中的 HTML 标记

在弄乱Twitter标记时,我刚刚发现他们将HTML标记放在data-expanded-footer中,它看起来像这样:data-expanded-footer="12:11PM-10Apr13·Details"这是一个有效的html元素吗(此属性是类tweet的div元素的子元素)如果这是有效的,这是一个好主意,如果不是为什么?这对SEO有那么不利吗?编辑只是尝试从data属性解析HTML并且它有效,但如果你想让它像这样工作,应该有一个单引号:http://jsfiddle.net/burimshala/crEXU/如果你像推特一样在标记中使用双引号离开,并且如果你用双

seo - 关于面包屑的 Data-Vocabulary.org 和 Schema.org 的问题

我对模式还很陌生(这是我第一次接触),我对此信息有些困惑。我正在阅读面包屑的模式,我遇到了两种不同的方法:Google方式:根据我从here中读到的内容,Google展示了使用http://data-vocabulary.org/Breadcrumb添加微数据的示例Schema.org示例:Schema.org中的示例展示了一种非常不同的方法。像这样:Books>Literature&Fiction>Classics我的问题是:(1)我在2014年使用Schema.org方法而不是Data-Vocabulary.org方法更好吗?当我阅读本主题的讨论时here有人说Data-Vocab

asp.net-mvc - prerender.io 的问题总是呈现客户端路由列表的默认 Angular 路由

只想说我真的很喜欢prerender.io,但我目前遇到了一个问题,我想知道我是否做错了什么,有更多服务经验的人可以帮助我。我在prerender.io网站和DebianLinux机器上遇到了同样的问题,我为本地执行设置了prerender。我的新站点是ASP.NetMVC和Angular的混合体,其中Angular表示服务器上MVC路由中的工作流(或内容类别)。内容类别的示例如下:http://[somesitename]/PublicContent/#!/newshttp://[somesitename]/PublicContent/#!/welcomeMVC服务器端路由是:htt

angularjs - 使用 HTML Unit 和 prerender.io 的 Angular SEO

我有一个使用Angular开发的Ajax重型网站。我尝试使用HTMLUnit来处理SEO来为机器人呈现我的页面。但是HTMLUnit真的很慢,需要将近12秒来呈现我的页面。然后我转向基于phantomjus的prerender.io..性能在3秒左右更好。但是幻影服务器在加载10个用户仅2分钟时崩溃。我是否真的应该担心我的SEO服务器响应机器人程序的响应时间,以及机器人程序在具有约100个不同页面的网站中的负载。我的SEO服务器应该处理多少并行请求。页面排名是否取决于机器人的响应时间。 最佳答案 Google确实关心响应速度。如果您

reactjs - React prerender.io fetch 因为谷歌不工作

我正在为ExpressJS使用预渲染应用程序。我保留了在index.html页。当我使用mywebsite.com/?_escape_fragment_=时它工作正常,但是当我将fetchasgoogle用于mywebsite.com/时我没有看到任何数据。但是对于?_escape_fragment_=的丑陋格式它就像魅力一样工作。Googlebot会抓取mywebsite.com作为mywebsite.com/?_escape_fragment_=什么时候它被编入索引或者我需要为此做些什么? 最佳答案 FetchasGoogle有