草庐IT

log-scale

全部标签

Hadoop MapReduce log4j - 将消息记录到 userlogs/job_ 目录中的自定义文件?

我不清楚应该如何在作业级别配置HadoopMapReducelog4j。谁能帮我回答这些问题。1)如何从客户端计算机添加对log4j日志记录的支持。即我想在客户端机器上使用log4j属性文件,因此不想干扰集群中的Hadooplog4j设置。我认为在项目/jar中拥有属性文件就足够了,hadoop的分布式缓存应该完成其余的传输map-reducejar。2)如何将消息记录到$HADOOP_HOME/logs/userlogs/job_/目录中的自定义文件中。3)mapreduce任务会同时使用log4j属性文件吗?一个由客户端作业提供,一个存在于hadoop集群中?如果是,那么log4j

java - Spark 强制 log4j

我在Scala中有一个简单的spark项目,并且想使用logback,但spark/hadoop似乎强制我使用log4j。这似乎与我对slf4j目的的理解不一致;是这不是对spark/hadoop的疏忽?我必须放弃logback并使用log4j吗?解决方法?在build.sbt中我尝试了排除..."org.apache.spark"%%"spark-core"%"1.4.1"excludeAll(ExclusionRule(name="log4j"),ExclusionRule(name="slf4j-log4j12")),"org.slf4j"%"slf4j-api"%"1.7.12

performance - Spark : Inconsistent performance number in scaling number of cores

我正在使用排序基准对Spark进行简单的扩展测试——从1个核心到8个核心。我注意到8核比1核慢。//runsparkusing1corespark-submit--masterlocal[1]--classjohn.sortsort.jardata_800MB.txtdata_800MB_output//runsparkusing8coresspark-submit--masterlocal[8]--classjohn.sortsort.jardata_800MB.txtdata_800MB_output每种情况下的输入和输出目录都在HDFS中。1core:80secs8cores:1

hadoop - 为什么 Hadoop 报告 "Unhealthy Node local-dirs and log-dirs are bad"?

我正在尝试在我的PC上设置单节点Hadoop2.6.0集群。访问时http://localhost:8088/cluster,我发现我的节点被列为“不健康节点”。在健康报告中,它提供了错误:1/1local-dirsarebad:/tmp/hadoop-hduser/nm-local-dir;1/1log-dirsarebad:/usr/local/hadoop/logs/userlogs怎么了? 最佳答案 local-dirs坏的最常见原因是节点上的可用磁盘空间超过了yarn的max-disk-utilization-per-di

php - 为什么 Symfony 仍然记录到 dev.log 文件,即使我没有在 loghandler 中定义它?

在Symfony命令执行期间,我想将消息记录到不同的文件中。我已经阅读了Symfony和Monolog文档,它应该像我在这里描述的那样工作。(请注意,我知道来自“原则”、“事件”……channel的消息仍将由主处理程序记录,但这对我来说无关紧要)在我的config.yml中,我有这个:monolog:channels:[commandline]handlers:main:type:streampath:"%kernel.logs_dir%/%kernel.environment%.main.log"level:debugchannels:[!commandline]commandlin

php - Laravel 5.6 : config/logging. php 文件丢失?

在Laravel5.6的文档中声明了here那个人可以在config/logging.php中配置他的日志记录channel。我已经从Larvel5.5更新到Laravel5.6,但我找不到这个配置文件。我是否需要为此或类似的东西调用特殊的artisan命令? 最佳答案 此文件在5.5中不存在。你可以找到原来的here并将其复制粘贴到您的项目中。有完整的升级指南here. 关于php-Laravel5.6:config/logging.php文件丢失?,我们在StackOverflow上

php - application.ini 中的 Zend_Log

是否有任何示例如何从application.ini设置zend日志实例?我只找到了一个记录到文件的示例,但我想登录到SQLITE数据库表?ZendLogresource 最佳答案 好问题。我找不到从Bootstrap配置实例化Zend_Log_Writer_Db的方法。编写器类需要一个Zend_Db_Adapter对象。它不接受字符串。ZF项目需要进一步开发此用例。他们甚至没有任何包含Db编写器的Zend_Application_Resource_Log单元测试。到那时我能建议的最好的是,您的Bootstrap类需要在_initLo

php - 自定义 codeigniter log_message() 的日志文件名

在CodeIgniter2.1.0中,是否可以自定义log_message()生成的日志文件名?默认情况下,它的文件名是根据当前日期生成的。 最佳答案 log_message()函数是常用的系统函数。它使用Log::write_log()方法记录错误。它不好破解核心文件。因此,您可以扩展Log库并覆盖write_log()函数。如果您还没有扩展您的Log类。创建文件application/libraries/MY_Log.phpclassMY_LogextendsCI_Log{functionMY_Log(){parent::__c

php - 如何创建一个安全的 php 登录系统,允许 "keep me logged in"功能?

我使用一个基于session变量的简单登录系统。一旦用户登录,就会设置一个session变量,告诉我的脚本用户将被接受。我不使用任何自定义客户端cookie变量。我想在登录屏幕上提供“让我全天登录”的选项。如何以安全的方式做到这一点? 最佳答案 首先:配置session.cookie_lifetime指令,在php.ini、配置文件或通过session_set_cookie_params().接下来,将用户名和密码的哈希值存储在session中,并在每个页面上验证该登录。只要它仍然有效,他们就可以保持登录状态。sessioncook

php - 警告 : ftp_login(): User cannot log in, 主目录不可访问

我正在尝试连接服务器并从服务器检索文件,但出现以下错误:Warning:ftp_login():Usercannotlogin,homedirectoryinaccessible.define('FTP_HOST','example.com');define('FTP_USER','xxxx');define('FTP_PASS','xxxx');$conn_id=ftp_connect(FTP_HOST)ordie("Couldn'tconnect");echovar_dump($conn_id);$c=ftp_login($conn_id,FTP_USER,FTP_PASS);ec