在执行大型循环时,我总是遇到 PHP 问题。我将它分解成非常小的循环,并在我们谈论的大量循环中执行数百次。
这是我现在正在处理的一个例子:
$stmt = $GLOBALS['link']->prepare('SELECT * FROM tracking_redirect');
$stmt->execute();
$tracking = new tracking();
while($click = $stmt->fetch()){
$tracking->checkClickIP($click['blogid'], $click['campaignid'], $click['id'], $click['ipaddress']);
}
tracking_redirect 是一个表,其中包含有关将哪个用户重定向到哪个站点的大量信息。我保存用户的 ip 地址、cookie 数据、日期和 ID 等数据。该表目前有大约 60,000 行。
checkClickIP() 是一个检查点击/重定向是否合法或有效的函数。确保同一用户不会点击太多次的示例。
public function checkClickIP($userid, $campaignid, $clickid, $ipaddress = null) {
if(!isset($ipaddress)){
$ipaddress = $_SERVER['REMOTE_ADDR'];
}
$datestmt = $GLOBALS['link']->prepare('SELECT crdate FROM tracking_redirect WHERE id=:clickid');
$datestmt->execute(array('clickid' => $clickid));
$datestmt = $datestmt->fetch();
$stmt = $GLOBALS['link']->prepare('SELECT COUNT(*) as total FROM tracking_redirect WHERE ipaddress=:ipaddress AND campaignid=:campaignid AND blogid=:userid AND crdate<:clickdate');
$stmt->execute(array(
'ipaddress' => $ipaddress,
'campaignid' => $campaignid,
'userid' => $userid,
'clickdate' => $datestmt['crdate']
));
$totalclicks = $stmt->fetch();
//Same computer has clicked more than 5 times on the same campaign. ALERT WARNING!
if($totalclicks['total'] >= 5){
//Disable the click
$disable = $GLOBALS['link']->prepare('UPDATE tracking_redirect SET disabled=:disabled WHERE id=:clickid');
$disable->execute(array(
'disabled' => 1,
'clickid' => $clickid
));
//Send a warning to the user if this person clicked 5 times on the same campaign.
if($totalclicks['total'] == 5){
$stmt = $GLOBALS['link']->prepare('SELECT * FROM user_login_history WHERE userid=:userid AND usertype=:usertype AND ipaddress=:ipaddress AND date(visitdate) BETWEEN :startdate AND :currentdate LIMIT 1');
$stmt->execute(array(
'userid' => $userid,
'usertype' => 1,
'ipaddress' => $ipaddress,
'startdate' => date('Y-m-d', strtotime('-3 months')), //If user logged in 3 months ago or closer from this IP
'currentdate' => date('Y-m-d')
));
//The computer belongs to the blogger who published the ad. ALERT WARNING! USER CLICKING HIS OWN ADS
if($loginhistory = $stmt->fetch()){
//Send warning to user.
}
//The computer does not belong to the blogger, but it's suspicious behavior. ALERT WARNING! CHECK POST
else{
//Send warning to user.
}
}
}
}
我知道最好在 While 循环之外准备语句。但我仍然希望能够使用函数并拥有干净的代码。这段代码只是一个例子,说明我无法运行 while 循环而不让服务器返回错误,因为它超时等等。
所以在这种情况下请不要太在意细节。但是请提供也可以应用于其他代码的一般信息。我该怎么做才能执行这种循环 ~10,000 或 ~100,000 次?
最佳答案
当我们处理大量数据时,这总是一个问题。我目前正在开发一种产品,有时会在一个 GO 中更新 20K 条记录。该软件的另一部分使用简单的 LINQ 查询,但在需要上传或更新甚至获取批量数据的地方,我们总是使用存储过程。
在这方面,您可能需要查看此链接 MySQL Stored Procedure vs. complex query
关于php - 循环查询 10'000 次以上的最佳方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20468300/
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
总的来说,我对ruby还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
我正在尝试设置一个puppet节点,但rubygems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter,它工作正常,但如果我通过由rubygems(/usr/bin/facter)安装的二进制文件,它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby
我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.
我脑子里浮现出一些关于一种新编程语言的想法,所以我想我会尝试实现它。一位friend建议我尝试使用Treetop(Rubygem)来创建一个解析器。Treetop的文档很少,我以前从未做过这种事情。我的解析器表现得好像有一个无限循环,但没有堆栈跟踪;事实证明很难追踪到。有人可以指出入门级解析/AST指南的方向吗?我真的需要一些列出规则、常见用法等的东西来使用像Treetop这样的工具。我的语法分析器在GitHub上,以防有人希望帮助我改进它。class{initialize=lambda(name){receiver.name=name}greet=lambda{IO.puts("He
我有多个ActiveRecord子类Item的实例数组,我需要根据最早的事件循环打印。在这种情况下,我需要打印付款和维护日期,如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询,用于查找maintenance和payment项目(非排他性查询),并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代