草庐IT

Python中class内置方法__init__与__new__作用与区别探究

To be a better programmer 2023-04-19 原文

背景

最近尝试了解Django中ORM实现的原理,发现其用到了metaclass(元类)这一技术,进一步又涉及到Python class中有两个特殊内置方法__init__与__new__,决定先尝试探究一番两者的具体作用与区别。
PS: 本文中涉及的类均为Python3中默认的新式类,对应Python2中则为显式继承了object的class,因为未继承object基类的旧式类并没有这些内置方法。

__init__方法作用

凡是使用Python自定义过class就必然要和__init__方法打交道,因为class实例的初始化工作即由该函数负责,实例各属性的初始化代码一般都写在这里。事实上之前如果没有认真了解过class实例化的详细过程,会很容易误认为__init__函数就是class的构造函数,负责实例创建(内存分配)、属性初始化工作,但实际上__init__只是负责第二步的属性初始化工作,第一步的内存分配工作另有他人负责--也就是__new__函数。

__new__方法作用

__new__是一个内置staticmethod,其首个参数必须是type类型--要实例化的class本身,其负责为传入的class type分配内存、创建一个新实例并返回该实例,该返回值其实就是后续执行__init__函数的入参self,大体执行逻辑其实可以从Python的源码typeobject.c中定义的type_call函数看出来:

 955 static PyObject *
 956 type_call(PyTypeObject *type, PyObject *args, PyObject *kwds)
 957 {
 958     PyObject *obj;
 959
 960     if (type->tp_new == NULL) {
 961         PyErr_Format(PyExc_TypeError,
 962                      "cannot create '%.100s' instances",
 963                      type->tp_name);
 964         return NULL;
 965     }
 ...
 974     obj = type->tp_new(type, args, kwds); # 这里先执行tp_new分配内存、创建对象返回obj
 975     obj = _Py_CheckFunctionResult((PyObject*)type, obj, NULL);
 ...
 992     type = Py_TYPE(obj); # 这里获取obj的class类型,并判定有tp_init则执行该初始化函数
 993     if (type->tp_init != NULL) {
 994         int res = type->tp_init(obj, args, kwds);
 995         if (res < 0) {
 996             assert(PyErr_Occurred());
 997             Py_DECREF(obj);
 998             obj = NULL;
 999         }
1000         else {
1001             assert(!PyErr_Occurred());
1002         }
1003     }
1004     return obj;
1005 }

执行代码class(*args, **kwargs) 时,其会先调用type_new函数分配内存创建实例并返回为obj,而后通过Py_TYPE(obj)获取其具体type,再进一步检查type->tp_init不为空则执行该初始化函数。

__init__ && __new__联系

上面已经明确__new__负责内存分配创建好实例,__init__负责实例属性的相关初始化工作,乍看上去对于实例属性的初始化代码完全可以也放在__new__之中,即__new__同时负责对象创建、属性初始化,省去多定义一个__init__函数的工作,那为什么要把这两个功能拆分开来呢?
stackoverflow上有一个回答感觉比较合理:

As to why they're separate (aside from simple historical reasons): __new__ methods require a bunch of boilerplate to get right (the initial object creation, and then remembering to return the object at the end). __init__ methods, by contrast, are dead simple, since you just set whatever attributes you need to set.

大意是__new__方法自定义要求保证实例创建、并且必须记得返回实例对象的一系列固定逻辑正确,而__init__方法相当简单只需要设置想要设置的属性即可,出错的可能性就很小了,绝大部分场景用户完全只需要更改__init__方法,用户无需感知__new__的相关逻辑。
另外对于一个实例理论上是可以通过多次调用__init__函数进行初始化的,但是任何实例都只可能被创建一次,因为每次调用__new__函数理论上都是创建一个新实例返回(特殊情况如单例模式则只返回首次创建的实例),而不会存在重新构造已有实例的情况。
针对__init__可被多次调用的情况,mutable和immutable对象会有不同的行为,因为immutable对象从语义上来说首次创建、初始化完成后就不可以修改了,所以后续再调用其__init__方法应该无任何效果才对,如下以list和tuple为例可以看出:

In [1]: a = [1, 2, 3]; print(id(a), a)
4590340288 [1, 2, 3]
# 对list实例重新初始化改变其取值为[4, 5]
In [2]: a.__init__([4, 5]); print(id(a), a)
4590340288 [4, 5]

In [3]: b = (1, 2, 3); print(id(b), b)
4590557296 (1, 2, 3)
# 对tuple实例尝试重新初始化并无任何效果,符合对immutable类型的行为预期
In [4]: b.__init__((4, 5)); print(id(b), b)
4590557296 (1, 2, 3)

这里可以看出将实例创建、初始化工作独立拆分后的一个好处是:要自定义immutable class时,就应该自定义该类的__new__方法,而非__init__方法,对于immutable class的定义更方便了。

使用__new__的场景

上面已经说过对于绝大部分场景自定义__init__函数初始化实例已经能cover住需求,完全不需要再自定义__new__函数,但是终归是有一些“高端”场景需要自定义__new__的,经过阅读多篇资料,这里大概总结出了两个主要场景举例如下。

定义、继承immutable class

之前已经说过__int__与__new__的拆分使immutable class的定义更加方便了,因为只需要自定义仅在创建时会调用一次的__new__方法即可保证后面任意调用其__init__方法也不会有副作用。
而如果是继承immutable class,要自定义对应immutable 实例的实例化过程,也只能通过自定义__new__来实现,更改__init__是没有用的,如下尝试定义一个PositiveTuple,其继承于tuple,但是会将输入数字全部转化为正数。
首先尝试自定义__init__的方法:

In [95]: class PositiveTuple(tuple):
    ...:     def __init__(self, *args, **kwargs):
    ...:         print('get in init one, self:', id(self), self)
    ...:         # 直接通过索引赋值的方式会报: PositiveTuple' object does not support item assignment
    ...:         # for i, x in enumerate(self):
    ...:         #     self[i] = abs(x)
    ...:         # 只能尝试对self整体赋值
    ...:         self = tuple(abs(x) for x in self)
    ...:         print('get in init two, self:', id(self), self)
    ...:

In [96]: t = PositiveTuple([-3, -2, 5])
get in init one, self: 4590714416 (-3, -2, 5)
get in init two, self: 4610402176 (3, 2, 5)

In [97]: print(id(t), t)
4590714416 (-3, -2, 5)

可以看到虽然在__init__中重新对self进行了赋值,其实只是相当于新生成了一个tuple对象4610402176,t指向的依然是最开始生成好的实例4590714416。
如下为使用自定义__new__的方法:

In [128]: class PositiveTuple(tuple):
     ...:     def __new__(cls, *args, **kwargs):
     ...:         self = super().__new__(cls, *args, **kwargs)
     ...:         print('get in init one, self:', id(self), self)
     ...:         # 直接通过索引赋值的方式会报: PositiveTuple' object does not support item assignment
     ...:         # for i, x in enumerate(self):
     ...:         #     self[i] = abs(x)
     ...:         # 只能尝试对self整体赋值
     ...:         self = tuple(abs(x) for x in self)
     ...:         print('get in init two, self:', id(self), self)
     ...:         return self
     ...:
     ...:
In [129]: t = PositiveTuple([-3, -2, 5])
get in init one, self: 4621148432 (-3, -2, 5)
get in init two, self: 4611736752 (3, 2, 5)

In [130]: print(id(t), t)
4611736752 (3, 2, 5)

可以看到一开始调用super.__new__时其实已经创建了一个实例4621148432,而后通过新生成一个全部转化为正数的tuple 4611736752赋值后返回,最终返回的实例t也就最终需要的全正数tuple。

使用metaclass

另一个使用__new__函数的场景是metaclass,这是一个号称99%的程序员都可以不用了解的“真高端”技术,也是Django中ORM实现的核心技术,目前本人也还在摸索、初学之中,这里推荐廖老师的一篇文章科普:https://www.liaoxuefeng.com/wiki/1016959663602400/1017592449371072 ,以后有机会再单独写一篇blog探究。
转载请注明出处,原文地址: https://www.cnblogs.com/AcAc-t/p/python_builtint_new_init_meaning.html

参考

https://stackoverflow.com/a/4859181/11153091
https://www.liaoxuefeng.com/wiki/1016959663602400/1017592449371072
https://xxhs-blog.readthedocs.io/zh_CN/latest/how_to_be_a_rich_man.html
https://blog.csdn.net/luoweifu/article/details/82732313
https://www.cnblogs.com/wdliu/p/6757511.html

有关Python中class内置方法__init__与__new__作用与区别探究的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点,但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter,它工作正常,但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件,它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  5. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  6. Ruby 方法() 方法 - 2

    我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索,但这不是我需要的。我也看过ruby​​-doc.org,但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗?更新我用methods()方法做了实验,得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

  7. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  8. ruby - Highline 询问方法不会使用同一行 - 2

    设置:狂欢ruby1.9.2高线(1.6.13)描述:我已经相当习惯在其他一些项目中使用highline,但已经有几个月没有使用它了。现在,在Ruby1.9.2上全新安装时,它似乎不允许在同一行回答提示。所以以前我会看到类似的东西:require"highline/import"ask"Whatisyourfavoritecolor?"并得到:Whatisyourfavoritecolor?|现在我看到类似的东西:Whatisyourfavoritecolor?|竖线(|)符号是我的终端光标。知道为什么会发生这种变化吗? 最佳答案

  9. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  10. ruby - 多个属性的 update_column 方法 - 2

    我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法,但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2

随机推荐