草庐IT

cURL 适用于终端，但不适用于 PHP

codeneng 2023-03-28 原文

cURL works from Terminal, but not from PHP

我遇到了一个相当奇怪的问题。

我正在尝试使用 PHP 中的 curl 登录远程 moodle 安装。

我有一个 curl 命令，可以在终端中完美运行。

当我将同样的东西翻译成 PHP 时，它可以工作，但它只是无法登录。通过终端成功登录的完全相同的值，以某种方式通过 PHP 跳闸登录系统并且它没有登录。相反，它会再次返回登录页面。

我的 cURL 命令(数据部分省略，因为它有我的用户名和密码)：

1
2
3
4
5
6
7
8
9
10
11
12
curl 'http://moodle.tsrs.org/login/index.php'
-H 'Pragma: no-cache'
-H 'Origin: http://moodle.tsrs.org'
-H 'Accept-Encoding: gzip, deflate'
-H 'Accept-Language: en-US,en;q=0.8'
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
-H 'Content-Type: application/x-www-form-urlencoded'
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
-H 'Cache-Control: no-cache'
-H 'Referer: http://moodle.tsrs.org/login/index.php'
-H 'Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)'
-H 'Connection: keep-alive'

对应的PHP代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
function login() {
    $username = $_POST['username'];
    $password = $_POST['password'];

    if(!isset($_POST['username']) || !isset($_POST['password'])) {
        echo"No login data received";
        return;
    }

    $creq = curl_init();

    $data = array('username' => $username, 'password' => $password, 'testcookies'=> '1');

    $headers = array('Pragma: no-cache', 'Origin: http://moodle.tsrs.org', 'Accept-Encoding: ', 'Accept-Language: en-US,en;q=0.8', 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36', 'Content-Type: application/x-www-form-urlencoded', 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Cache-Control: no-cache', 'Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)', 'Connection: keep-alive' );
        curl_setopt_array($creq, array(
        CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_POST => true,
        CURLOPT_ENCODING => '',
        CURLINFO_HEADER_OUT => true,
        CURLOPT_POSTFIELDS => $data,
        CURLOPT_HTTPHEADER => $headers,
        CURLOPT_FOLLOWLOCATION => false
    ));

    $output = curl_exec($creq);

    echo print_r(curl_getinfo($creq));

    echo"\
" . $output ."\
";
}

以及 curlinfo 的输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
Array
(
    [url] => http://moodle.tsrs.org/login/index.php
    [content_type] => text/html; charset=utf-8
    [http_code] => 200
    [header_size] => 541
    [request_size] => 945
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 1.462409
    [namelookup_time] => 0.002776
    [connect_time] => 0.330766
    [pretransfer_time] => 0.330779
    [size_upload] => 365
    [size_download] => 8758
    [speed_download] => 5988
    [speed_upload] => 249
    [download_content_length] => -1
    [upload_content_length] => 365
    [starttransfer_time] => 0.694866
    [redirect_time] => 0
    [certinfo] => Array
        (
        )

    [primary_ip] => 125.22.33.149
    [redirect_url] =>
    [request_header] => POST /login/index.php HTTP/1.1
Host: moodle.tsrs.org
Pragma: no-cache
Origin: http://moodle.tsrs.org
Accept-Language: en-US,en;q=0.8
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Cache-Control: no-cache
Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
Connection: keep-alive
Content-Length: 365
Expect: 100-continue
Content-Type: application/x-www-form-urlencoded; boundary=----------------------------83564ee60d56


)

有人知道这有什么可能的原因吗？我尝试用 COOKIEFILE 和 COOKIEJAR 替换硬编码的 cookie，但它没有改变任何东西。

  • 我以前做过同样的事情，但找不到代码-我认为是因为它在登录后重定向，所以您需要允许它重定向-使用 curl_setopt($curl, CURLOPT_MAXREDIRS, 10); 之类的东西
  • 问题中的标题不一样。命令行 cURL 包括 Referer 标头和 Accept-Encoding 的值。 PHP cURL 根本不包括Referer 和Accept-Encoding 的空白区域。 @RichardTheKiwi，只是为了澄清一下，您的问题是否也是特定于模型的？
  • 重新加载后，您是否在浏览器中找到任何cookie？

这可以通过查看 cURL 实际完成的所有内容来更好地调试。这是通过在命令中添加详细标志来完成的：-v.

1
$ curl localhost/login [...] -v

我们可以通过添加 CURLOPT_VERBOSE 选项从 PHP 的 curl 中获得相同的输出。请注意，通过添加此行，您将指示 cURL 将相同的信息输出到 STDOUT - 它不会被返回并且内容不会被发送到浏览器，因此必须在终端中进行调试。

1
curl_setopt($curl, CURLOPT_VERBOSE, 1);

通过这样做，您可以获得两个 HTTP 请求的一致且可比较的输出，它应该看起来像这样：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
POST / HTTP/1.1
Host: localhost:3000
Pragma: no-cache
Origin: http://moodle.tsrs.org
Accept-Language: en-US,en;q=0.8
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Cache-Control: no-cache
Cookie: MoodleSession=ngcidh028m37gm8gbdfe07mvs7; MOODLEID_=%25F1%25CD%2519D%25B2k%25FE%251D%25EFH%25E5t%25B1%2503%258E; MoodleSessionTest=NhzaTNij6j; _ga=GA1.2.925953522.1416155774; _gat=1; __utmt=1; __utma=147409963.925953522.1416155774.1416642544.1416692798.3; __utmb=147409963.1.10.1416692798; __utmc=147409963; __utmz=147409963.1416155774.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
Connection: keep-alive
Content-Length: 250
Expect: 100-continue
Content-Type: application/x-www-form-urlencoded; boundary=------------------------b4d79f17a3887f2d

< HTTP/1.1 100 Continue
< HTTP/1.1 200 OK
< X-Powered-By: Express
< Content-Type: application/json; charset=utf-8
< Content-Length: 2
< ETag: W/"2-mZFLkyvTelC5g8XnyQrpOw"
< Date: Thu, 22 Dec 2016 19:13:40 GMT
< Connection: keep-alive

左：问题中提供的命令行 cURL(带有额外的 -v 标志)

右：问题中发布的 PHP cURL(启用 CURLOUT_VERBOSE)

如您所见，标题并不相同，这说明了这一点。 PHP 调用缺少 Accept-Encoding 和 Referer 标头。

如果没有出现任何问题，让我们尝试将 PHP 中的一些 cURL 设置改回原来的 cURL 默认值。

在内部，PHP 选择在不告诉您的情况下覆盖 cURL 中的一些默认值。虽然这些设置应该没问题，但让我们通过将它们显式重置回 cURL 默认值来更改它们：

1
2
3
4
curl_setopt($curl, CURLOPT_DNS_CACHE_TIMEOUT, 60);
curl_setopt($curl, CURLOPT_DNS_USE_GLOBAL_CACHE, 0);
curl_setopt($curl, CURLOPT_MAXREDIRS, -1);
curl_setopt($curl, CURLOPT_NOSIGNAL, 0);

  • Moodle 有一个验证 HTTP_REFERER 的选项。在看到您的答案之前，我将发布相同的答案。即使可能存在更多问题，Referer 标头也绝对需要检查。
  • 完美的。我认为自己受过教育。非常感谢

在传递给 curl 之前在 $data 数组上使用 http_build_query 以避免 Content-Type: application/x-www-form-urlencoded; boundary=---。这也确保对密码中的任何特殊字符进行编码。

1
curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data));

如下重塑你的 curl 请求：

向登录页面发出 GET 请求，并将 cookie 文件指向 $cookies = '/tmp/some/dir/xyz.cookie.txt'。确保使用 cookie 名称的完整路径。然后关闭卷曲手柄。这会将 cookie 存储在 cookie 文件中。

1
2
3
4
5
6
7
8
9
10
11
12
$creq = curl_init();
curl_setopt_array($creq, array(
  CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => '',
  CURLINFO_HEADER_OUT => true,
  CURLOPT_HTTPHEADER => $headers,
  CURLOPT_FOLLOWLOCATION => false,
  CURLOPT_COOKIEJAR => $cookies // save cookie
));
$output = curl_exec($creq);
curl_close($creq);

现在使用第二个 curl 请求发出 POST 请求。这个时间点与 COOKIEFILE 选项相同的 cookie 文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$creq = curl_init();
curl_setopt_array($creq, array(
  CURLOPT_URL => 'http://moodle.tsrs.org/login/index.php',
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_POST => true,
  CURLOPT_ENCODING => '',
  CURLINFO_HEADER_OUT => true,
  CURLOPT_POSTFIELDS => http_build_query ($data),
  CURLOPT_HTTPHEADER => $headers,
  CURLOPT_FOLLOWLOCATION => false,
  CURLOPT_COOKIEJAR => $cookies, // save cookie
  CURLOPT_COOKIEFILE => $cookies // load cookie
);
$output = curl_exec($creq);
curl_close($creq);

有时服务器会在发出登录请求时查找 cookie(以确保请求是在访问登录页面后发出的)。

  • This also ensures to encode any special characters from the password 具有误导性，multipart/form-data 编码的数据是二进制安全的，当传递一个数组时，curl 会自动对其进行编码。此外，在传输大型非 ascii 数据时，它使用的带宽比 application/x-www-form-urlencoded 少得多，form-data 的标头开销更大(因此它不会对小数据使用更少的 bw)，但它不对数据进行编码一点也不。使用 urlencoded，(几乎)每个非 ascii 字节都是 3 个字节编码的。在表单数据中，所有字节(包括非 ascii 字节)正好是 1 个字节。
  • 但是，是的，这可能就是它不起作用的原因。 curl 命令行使用 application/x-www-form-urlencoded 编码，而 php curl(使用他的代码)使用 multipart/form-data 编码，服务器可能会拒绝。使用 http_build_query 将使 php curl 代码也使用 application/x-www-form-urlencoded

您的问题很可能与 cURL 默认为每个 POST 请求发送的 HTTP 标头 Expect: 100-continue 有关。

当客户端不确定服务器是否会接受此类请求时，在包含大数据的 POST 请求中使用 Expect: 100-continue 标头。在这种情况下，客户端首先发送仅包含 Expect: 100-continue 的标头的请求，如果服务器的响应成功，则发送带有正文(POST 数据)的相同请求。

问题在于并非所有的 Web 服务器都能正确处理此标头。在这种情况下，不希望发送此标头。

解决方案是通过将 array('Expect:') 传递给 CURLOPT_HTTPHEADER 选项从发送标头中手动删除 Expect 标头。
在您的情况下，您可以简单地将 \\'Expect:\\' 字符串添加到 $headers 数组：

1
$headers[] = 'Expect:';

  • 刚才试了一下。没变化
  • @Raghav Sood 您必须显示响应标头。这可能有助于找到问题的根源。将 CURLOPT_HEADER 添加到选项数组并输出响应标头。您还必须提供 CLI cURL 请求的响应标头

我怀疑您第一次尝试使用 curl 命令是在 index.php 文件中使用 GET 方法。我建议您在命令行中的第一个 curl 请求上启用 --trace-ascii 并查看页面是否正在发出 GET 请求。如果是，您应该更改使用 POST 方法的 PHP 脚本。如果将 CURLOPT_POST 更改为 false，PHP 脚本应该可以工作。

  • 我相当肯定这是一个 POST 请求，因为我从 Chrome 开发工具中提取了它，而 Moodle 的文档严格说只能通过 POST 登录。此外，我正在卷曲的页面似乎确实收到了我的 POST 数据，因为它返回给 PHP 的登录页面预先填写了我的用户名，该用户名作为 POST 变量发送

cURLPHPspanclassbrcurlmoodlephp

有关cURL 适用于终端，但不适用于 PHP的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  3. ruby - inverse_of 是否适用于 has_many？ - 2

    当我使用has_one时，它​​工作得很好，但在has_many上却不行。在这里您可以看到object_id不同，因为它运行了另一个SQL来再次获取它。ruby-1.9.2-p290:001>e=Employee.create(name:'rafael',active:false)ruby-1.9.2-p290:002>b=Badge.create(number:1,employee:e)ruby-1.9.2-p290:003>a=Address.create(street:"123MarketSt",city:"SanDiego",employee:e)ruby-1.9.2-p290

  4. ruby - "undefined method"用于 rails 模型 - 2

    我正在使用带有Rails的Devise，我想添加一个方法“getAllComments”，所以我这样写:classUser在我的Controller中:defdashboard@user=current_user@comments=@user.getAllComments();end当我访问我的url时，我得到了undefinedmethod`getAllComments'for#我做错了什么？谢谢 最佳答案 因为getAllComments是一个类方法，而您正试图将其作为实例方法访问。您要么需要访问它:User.getAllCom

  5. Ruby on Rails regexp equals-tilde 与 array include 用于检查选项列表 - 2

    我正在使用Rails3.2.3和Ruby1.9.3p0。我发现我经常需要确定某个字符串是否出现在选项列表中。看来我可以使用Ruby数组.includemethod:或正则表达式equals-tildematchshorthand用竖线分隔选项:就性能而言，一个比另一个好吗？还有更好的方法吗？ 最佳答案 总结:Array#include?包含String元素，在接受和拒绝输入时均胜出，对于您的示例只有三个可接受的值。对于要检查的更大的集合，看起来Set#include?和String元素可能会获胜。如何测试我们应该根据经验对此进行测试

  6. ruby - 在 Ubuntu 14.04 中使用 Curl 安装 RVM 时出错 - 2

    我试图在Ubuntu14.04中使用Curl安装RVM。我运行了以下命令:\curl-sSLhttps://get.rvm.io|bash-sstable出现如下错误:curl:(7)Failedtoconnecttoget.rvm.ioport80:Networkisunreachable非常感谢解决此问题的任何帮助。谢谢 最佳答案 在执行curl之前尝试这个:echoipv4>>~/.curlrc 关于ruby-在Ubuntu14.04中使用Curl安装RVM时出错，我们在Stack

  7. ruby-on-rails - Ruby "Undefined Method"用于类方法 - 2

    Ruby初学者努力简单地将这个@@people散列的值打印到控制台classPerson#haveafirst_nameandlast_nameattributewithpublicaccessorsattr_accessor:first_nameattr_accessor:last_name#haveaclassattributecalled`people`thatholdsanarrayofobjects@@people=[]#havean`initialize`methodtoinitializeeachinstancedefinitialize(first_name,last_

  8. python - 用于 Python 或 Ruby 的 Amazon Book API？ - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:AmazonAPIlibraryforPython?我正在寻找一个AmazonAPI，它可以让我:按书名或作者查找书籍显示书籍封面获取有关每本书的信息(价格、评级、评论数、格式、页数等)Python或Ruby库都可以(我只想要最容易使用的库)。有什么建议么？我知道在SO上还有其他一些关于此的帖子，但这些API似乎很快就过时了。[几个月前我尝试了几个建议的Ruby库，但无法让它们中的任何一个工作。]

  9. ruby-on-rails - 用于门户的 Ruby 技术 - 2

    我刚刚看到whitehouse.gov正在使用drupal作为CMS和门户技术。drupal的优点之一似乎是很容易添加插件，而且编程最少，即重新发明轮子最少。这实际上正是Ruby-on-Rails的DRY理念。所以:drupal的缺点是什么？Rails或其他基于Ruby的技术有哪些不符合whitehouse.org(或其他CMS门户)门户技术的资格？ 最佳答案 Whatarethedrawbacksofdrupal?对于Ruby和Rails，这确实是一个相当主观的问题。Drupal是一个可靠的内容管理选项，非常适合面向社区的站点。它

  10. ruby - 优雅的链式 'or' 用于测试 Ruby 中的相同变量 - 2

    怎样说才是明智的呢？if@thing=="01"or"02"or"03"or"04"or"05"(数字包含在数据类型字符串的列中。) 最佳答案 制作数组并使用.include?if["01","02","03","04","05"].include?(@thing)如果值真的都是连续的，你可以使用像(1..5).include?这样的范围对于字符串，你可以使用:if("01".."05").include?(@thing) 关于ruby-优雅的链式'or'用于测试Ruby中的相同变量，我

随机推荐