草庐IT

关于python：大数据集上的广义最小二乘

codeneng 2023-03-28 原文

Generalized least square on large dataset

我想对未独立采样的数据进行线性拟合。我遇到了广义最小二乘法：

1
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Y

方程为Matlab格式； X 和 Y 是数据点的坐标，V 是"方差矩阵"。

问题在于，由于它的大小(1000 行和列)，V 矩阵变得奇异，因此不可逆。有关如何解决此问题的任何建议？也许使用解决 GLS 以外的广义线性回归问题的方法？我可以使用并且(稍微)熟悉的工具是 Numpy/Scipy、R 和 Matlab。

代替：

1
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Y

使用

1
b= (X'/V *X)\\X'/V*Y

即用X/Y 替换X*(Y^-1) 的所有实例。 Matlab 将跳过计算逆(这很困难，而且容易出错)并直接计算除法。

编辑：即使使用最好的矩阵操作，某些操作也是不可能的(例如导致您描述的错误)。

可能与您的问题相关的一个示例是，如果尝试在多个测量值完美、100% 相关的约束下解决最小二乘问题。除了在极少数情况下，这在数学或物理上都无法实现。您需要在测量中具有一定的独立性，以解决测量噪声或建模错误。例如，如果您有两个测量值，每个测量值的方差为 1，并且完全相关，那么您的 V 矩阵将如下所示：

1
2
V = [1   1; ...
     1   1];

而且你永远无法适应数据。 (这通常意味着你需要重新制定你的基函数，但那是一篇更长的文章。)

但是，如果您调整测量方差以允许测量之间存在少量独立性，那么它会毫无问题地工作。例如，95% 的相关测量看起来像这样

1
2
V = [1      0.95; ...
     0.95   1  ];

  • 不幸的是，它也崩溃了："警告：矩阵对于工作精度来说是奇异的。警告：矩阵是奇异的，接近奇异或缩放不良。结果可能不准确。RCOND = NaN。警告：矩阵对于工作精度来说是奇异的。"

您可以使用奇异值分解作为求解器。它会尽力做到最好。

我通常以另一种方式考虑最小二乘。你可以在这里阅读我的想法：

http://www.scribd.com/doc/21983425/Least-Squares-Fit

看看这是否更适合你。

我不明白大小是个问题。如果您有 N 个 (x, y) 对，您仍然只需要求解 M 阶多项式中的 (M 1) 个系数：

1
y = a0 + a1*x + a2*x^2 + ... + am*x^m

大数pythonspansectionclasslarge-datalinear-regressionmatlab

有关关于python：大数据集上的广义最小二乘的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby-on-rails - date_field_tag，如何设置默认日期？ [ rails 上的 ruby ] - 2

    我想设置一个默认日期，例如实际日期，我该如何设置？还有如何在组合框中设置默认值顺便问一下，date_field_tag和date_field之间有什么区别？ 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag，如何设置默认日期？[rails上的ruby]，我们在StackOverflow上找到一个类似的问

  4. ruby-on-rails - openshift 上的 rails 控制台 - 2

    我将我的Rails应用程序部署到OpenShift，它运行良好，但我无法在生产服务器上运行“Rails控制台”。它给了我这个错误。我该如何解决这个问题？我尝试更新ruby​​gems，但它也给出了权限被拒绝的错误，我也无法做到。railsc错误:Warning:You'reusingRubygems1.8.24withSpring.UpgradetoatleastRubygems2.1.0andrun`gempristine--all`forbetterstartupperformance./opt/rh/ruby193/root/usr/share/rubygems/rubygems

  5. ruby-on-rails - 相关表上的范围为 "WHERE ... LIKE" - 2

    我正在尝试从Postgresql表(table1)中获取数据，该表由另一个相关表(property)的字段(table2)过滤。在纯SQL中，我会这样编写查询:SELECT*FROMtable1JOINtable2USING(table2_id)WHEREtable2.propertyLIKE'query%'这工作正常:scope:my_scope,->(query){includes(:table2).where("table2.property":query)}但我真正需要的是使用LIKE运算符进行过滤，而不是严格相等。然而，这是行不通的:scope:my_scope,->(que

  6. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  7. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  8. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  9. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  10. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

随机推荐