我正在寻找有关如何确保正确执行此操作的最佳解决方案:
我的网站上有一个日历,用户可以在其中获取日历 iCal 提要并将其导入他们喜欢的外部日历(Outlook、iCal、Google 日历等...)。
为了阻止坏人在我的网站上抓取/搜索 *.ics 文件,我设置了 Robots.txt 以禁止存储提要的文件夹。
因此,从本质上讲,iCal 提要可能如下所示:webcal://www.mysite.com/feeds/cal/a9d90309dafda390d09/feed.ics
我知道以上内容仍然是一个公共(public) URL。但是,我有一个功能,用户可以根据需要更改其提要的地址。
我的问题是:所有外部日历在导入/订阅日历提要时都没有问题,Google 日历除外。它会抛出消息:由于 robots.txt 限制,Google 无法抓取 URL。 Google's Answer to This .
因此,在四处搜索之后,我发现以下方法有效:
1) 设置一个 PHP 文件(我正在使用),该文件实际上会强制下载该文件。它基本上看起来像这样:
<?php
$url = "/home/path/to/local/feed/".$_GET['url'];
$file = fopen ($url, "r");
if (!$file) {
echo "<p>Unable to open remote file.\n";
exit;
}
while (!feof ($file)) {
$line = fgets ($file, 1024);
print $line;
}
fclose($file);
?>
我尝试使用此脚本,它似乎可以与 Google 日历一起使用,没有任何问题。 (不过,我不确定它是否会更新/刷新。我还在等着看这是否有效)。
我的问题是:是否有更好的方法来处理此类问题?我想保留当前的 Robots.txt 以禁止在我的目录中抓取 *.ics 文件并隐藏这些文件。
最佳答案
我最近遇到了这个问题,这个 robots.txt 对我有用。
User-agent: Googlebot
Allow: /*.ics$
Disallow: /
User-agent: *
Disallow: /
这允许访问任何知道地址的 .ics 文件,并防止机器人搜索该站点(它是一个私有(private)服务器)。您需要更改服务器的禁止标记。
我不认为 allow 标签是规范的一部分,但有些机器人似乎支持它。这是 robots.txt 上的 Google 网站站长工具帮助页面
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
关于php - Robots.txt 和谷歌日历,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4687617/
按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭9年前。我来自C、php和bash背景,很容易学习,因为它们都有相同的C结构,我可以将其与我已经知道的联系起来。然后2年前我学了Python并且学得很好,Python对我来说比Ruby更容易学。然后从去年开始,我一直在尝试学习Ruby,然后是Rails,我承认,直到现在我还是学不会,讽刺的是那些打着简单易学的烙印,但是对于我这样一个老练的程序员来说,我只是无法将它
我是ruby新手,对某些日期函数有疑问。我正在尝试将日历月添加到提供的日期,以便“2002年4月30日”输出“2002年5月31日”。这是我的代码date='30thApr2002'parseDate=Date.parse(date)(parseDate>>1)#Thisreturns2002-05-30也许这不是该函数应有的工作方式,在这种情况下,如果提供的日期是该月的最后一天,我将需要编写一些代码来返回下个月的最后一天?如有任何帮助,我们将不胜感激。 最佳答案 >>只是增加月份并在月份内保持同一天,正如Skeet在评论中指出
我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗?下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit
按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。我使用PHP的时间太长了,对它感到厌倦了。我也想学习一门新语言。我一直在使用Ruby并且喜欢它。我必须在Rails和Sinatra之间做出选择,那么您会推荐哪一个?Sinatra真的不能用来构建复杂的应用程序,它只能用于简单的应用程序吗?
我很确定Ruby有这些(等同于__call、__get和__set),否则find_by将如何在Rails中工作?也许有人可以举一个简单的例子来说明如何定义与find_by相同的方法?谢谢 最佳答案 简而言之你可以映射__调用带有参数的method_missing调用__设置为方法名称以'='结尾的method_missing调用__获取不带任何参数的method_missing调用__调用PHPclassMethodTest{publicfunction__call($name,$arguments){echo"Callingob
Lisp是否适合Web编程/应用程序(交互式),就像ruby和php一样?需要考虑的事情是:易于使用可部署性难度(尤其是对于编程初学者而言)(编辑)在阅读PaulGraham'sessay之后,我特别提到了CommonLisp.将是我的第一门编程语言。在这方面。这样做合适吗?我听说Clojure的宏功能不如CommonLisp的强大,这就是我尝试学习Clojure的原因。它教授编程并且非常强大。 最佳答案 Lisp是一个语系,而不是单一的语言。为了稍微回答您的问题,是的,存在用于各种Lisp方言的Web框架,例如用于Common
项目背景和意义 目的:本课题主要目标是设计并能够实现一个基于微信校园跑腿小程序系统,前台用户使用小程序发布跑腿任何和接跑腿任务,后台管理使用基于PHP+MySql的B/S架构;通过后台管理跑腿的用户、查看跑腿信息和对应订单。意义:手机网络时代,大学生通过手机网购日常用品、外卖外卖、代取快递等已不再是稀奇的事情。此外,不少高校还流行着校园有偿工作,校园跑腿就成了大学生创业服务项目。 因为你在校园里,所以不会有进入的限制。并不是所有的外卖平台都可以随意进入校园,比如小黄和小蓝的双打外卖平台。许多大学禁止送餐进入学校,更不用说送餐进入宿舍了。这一措施使得校园服务市场的竞争相对不
前言 前端时间PHP项目部署升级需要,需要把Laravel开发的项目部署K8s上,下面以laravel项目为例,讲解采用yaml文件方式部署项目。一、部署步骤1.创建Dockerfile文件Dockerfile是一个用来构建镜像的文本文件,在容器运行时,需要把项目文件和项目运行所必须的组件安装其中。#基础镜像FROMphp:7.4-fpm#时区ARGTZ=Asia/Shanghai#更换容器时区RUNcp"/usr/share/zoneinfo/$TZ"/etc/localtime&&echo"$TZ">/etc/timezone#替换成阿里apt-get源RUNsed-i"s@http
Dir.glob("*.txt"){|f|pf}打印文件名。Dir.glob("*.txt").sort{|f|pf}因ArgumentError失败。Dir.glob("*.txt").sort.each{|f|pf}按字母顺序打印文件名。为什么第二个失败了?更好的是,为什么第一个工作,有或没有.each?Dir.glob和Dir.glob.sort都是数组。Dir.glob.methods==Dir.glob.sort.methods。(受AlphabetizeresultsofDir.glob启发。不是Dir.globwithsortissue的副本,因为“第三个”已经回答了那个
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,describetheproblem以及迄今为止为解决该问题所做的工作。关闭9年前。Improvethisquestion我对学习Rails很感兴趣已经有一段时间了,我觉得现在正是浸入其中并实际动手实践的好时机。在过去的一周里,我阅读了所有我能找到的关于Ruby和RubyonRails的免费电子书。我刚刚读完RubyEssentials。我也一直在玩htt