草庐IT

python - 确保多个线程中的Python登录是线程安全的

coder 2023-05-25 原文

我有一个log.py模块，该模块至少在另外两个模块(server.py和device.py)中使用。

它具有以下全局变量:

fileLogger = logging.getLogger()
fileLogger.setLevel(logging.DEBUG)
consoleLogger = logging.getLogger()
consoleLogger.setLevel(logging.DEBUG)

file_logging_level_switch = {
    'debug':    fileLogger.debug,
    'info':     fileLogger.info,
    'warning':  fileLogger.warning,
    'error':    fileLogger.error,
    'critical': fileLogger.critical
}

console_logging_level_switch = {
    'debug':    consoleLogger.debug,
    'info':     consoleLogger.info,
    'warning':  consoleLogger.warning,
    'error':    consoleLogger.error,
    'critical': consoleLogger.critical
}

它具有两个功能:
def LoggingInit( logPath, logFile, html=True ):
    global fileLogger
    global consoleLogger

    logFormatStr = "[%(asctime)s %(threadName)s, %(levelname)s] %(message)s"
    consoleFormatStr = "[%(threadName)s, %(levelname)s] %(message)s"

    if html:
        logFormatStr = "<p>" + logFormatStr + "</p>"

    # File Handler for log file
    logFormatter = logging.Formatter(logFormatStr)
    fileHandler = logging.FileHandler( 
        "{0}{1}.html".format( logPath, logFile ))
    fileHandler.setFormatter( logFormatter )
    fileLogger.addHandler( fileHandler )

    # Stream Handler for stdout, stderr
    consoleFormatter = logging.Formatter(consoleFormatStr)
    consoleHandler = logging.StreamHandler() 
    consoleHandler.setFormatter( consoleFormatter )
    consoleLogger.addHandler( consoleHandler )

和:
def WriteLog( string, print_screen=True, remove_newlines=True, 
        level='debug' ):

    if remove_newlines:
        string = string.replace('\r', '').replace('\n', ' ')

    if print_screen:
        console_logging_level_switch[level](string)

    file_logging_level_switch[level](string)

我从LoggingInit调用server.py，这会初始化文件和控制台记录器。然后，我从各处调用WriteLog，因此多个线程正在访问fileLogger和consoleLogger。

我的日志文件是否需要任何进一步的保护？文档指出线程锁由处理程序处理。

最佳答案

好消息是，您不需要为线程安全做任何额外的事情，或者不需要额外做任何事情或执行干净关机几乎是无关紧要的事情。稍后再详细介绍。

坏消息是，您的代码甚至在达到这一点之前就存在严重的问题:fileLogger和consoleLogger是同一对象。从the documentation for getLogger() :

Return a logger with the specified name or, if no name is specified, return a logger which is the root logger of the hierarchy.



因此，您将获取根记录器并将其存储为fileLogger，然后将其获取为根记录器并将其存储为consoleLogger。因此，在LoggingInit中，您可以初始化fileLogger，然后以不同的名称用不同的值重新初始化相同的对象。

您可以将多个处理程序添加到同一个记录器中，并且由于您实际对每个记录器进行的唯一初始化是addHandler，因此您的代码将按预期进行工作，但这只是偶然。而且只是一种。如果您传递print_screen=True，您将在两个日志中获得每个消息的两个副本，即使您传递print_screen=False，您也将在控制台中获得副本。

实际上，根本没有理由使用全局变量。 getLogger()的全部要点是，您可以在每次需要它时调用它，并获得全局根记录器，因此您无需将其存储在任何地方。

一个更小的问题是您没有转义插入HTML的文本。在某些时候，您将尝试记录字符串"a < b"并最终遇到麻烦。

不太严重的是，不在<p>内的<body>内的<html>标记序列不是有效的HTML文档。但是，很多查看器会自动处理此问题，或者您可以在显示日志之前对日志进行简单的后处理。但是，如果您确实希望这样做是正确的，则需要将FileHandler子类化，如果给定一个空文件，则让__init__添加 header ，如果存在则删除页脚(如果存在的话)，然后让close添加页脚。

回到您的实际问题:

您不需要任何其他锁定。如果处理程序正确实现了createLock，acquire和release(并且在具有线程的平台上调用)，则日志记录机制将在需要时自动确保获取锁定，以确保每条消息都被原子记录。

据我所知，文档并没有直接说明StreamHandler和FileHandler实现了这些方法，它确实暗示了这一点(the text you mentioned in the question说:“日志记录模块旨在实现线程安全，而无需通过其进行任何特殊的工作客户”等)。您可以查看实现的来源(例如CPython 3.3)，看看它们都从logging.Handler继承了正确实现的方法。

同样，如果处理程序正确实现了flush和close，则日志记录机制将确保在正常关闭期间正确完成了该操作。

在这里，文档确实说明了StreamHandler.flush()，FileHandler.flush()和FileHandler.close()。它们是大多数您所期望的，但StreamHandler.close()是禁止操作的，这意味着到控制台的最终日志消息可能会丢失。从文档中:

Note that the close() method is inherited from Handler and so does no output, so an explicit flush() call may be needed at times.



如果这对您很重要，并且您想修复它，则需要执行以下操作:
class ClosingStreamHandler(logging.StreamHandler):
    def close(self):
        self.flush()
        super().close()

然后使用ClosingStreamHandler()代替StreamHandler()。
FileHandler没有这样的问题。

将日志发送到两个地方的通常方法是只将root logger与两个处理程序一起使用，每个处理程序都有自己的格式化程序。

同样，即使您确实想要两个记录器，也不需要单独的console_logging_level_switch和file_logging_level_switch映射；调用Logger.debug(msg)与调用Logger.log(DEBUG, msg)完全相同。您仍然需要某种方式将自定义级别名称debug等映射到标准名称DEBUG等，但是您只能进行一次查找，而不是对每个记录器都进行一次查找(此外，如果您的姓名只是使用不同的标准名称进行转换，您可以作弊)。

在Multiple handlers and formatters部分以及日志记录食谱的其余部分中都对此进行了很好的描述。

标准执行此操作的唯一问题是，您无法轻松地逐个消息地关闭控制台日志记录。那是因为这不是正常的事情。通常，您只需要按级别记录日志，然后在文件日志中将日志级别设置为更高。

但是，如果您想要更多控制权，则可以使用过滤器。例如，给FileHandler一个可以接受所有内容的过滤器，给ConsoleHandler一个需要以console开头的内容的过滤器，然后使用过滤器'console' if print_screen else ''。这样可以将WriteLog减少到几乎一线。

您仍然需要额外的两行来删除换行符，但是您甚至可以在过滤器中进行此操作，或者根据需要通过适配器进行操作。 (再次，请参阅 cooking 手册。)然后WriteLog确实是单线的。

关于python - 确保多个线程中的Python登录是线程安全的，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16929639/

pythoncodeloggingbrmultithreading

有关python - 确保多个线程中的Python登录是线程安全的的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  4. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  5. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  6. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  7. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  8. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  9. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  10. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

随机推荐