草庐IT

learning_curve

全部标签

Machine Learning 学习笔记 03 最小二乘法、极大似然法、交叉熵

损失函数神经网络里的标准和人脑标准相比较相差多少的定量表达。最小二乘法首先要搞明白两个概率模型是怎么比较的。有三种思路,最小二乘法、极大似然估计,交叉熵当一张图片人脑判断的结果是\(x1\),神经网络判断的结果是\(y1\),直接把它们相减\(\left|x_{1}-y_{1}\right|\)就是他们相差的范围。我们将多张图片都拿过来判断加起来,当最终值最小的时候,\(\min\sum_{i=1}^{n}\left|x_{i}-y_{i}\right|\)就可以认定两个模型近似。但是绝对值在定义域内不是全程可导的,所以可以求平方\(\min\sum_{i=1}^{n}\left(x_{i}-

Machine Learning 学习笔记 03 最小二乘法、极大似然法、交叉熵

损失函数神经网络里的标准和人脑标准相比较相差多少的定量表达。最小二乘法首先要搞明白两个概率模型是怎么比较的。有三种思路,最小二乘法、极大似然估计,交叉熵当一张图片人脑判断的结果是\(x1\),神经网络判断的结果是\(y1\),直接把它们相减\(\left|x_{1}-y_{1}\right|\)就是他们相差的范围。我们将多张图片都拿过来判断加起来,当最终值最小的时候,\(\min\sum_{i=1}^{n}\left|x_{i}-y_{i}\right|\)就可以认定两个模型近似。但是绝对值在定义域内不是全程可导的,所以可以求平方\(\min\sum_{i=1}^{n}\left(x_{i}-

pandas learning

pandaslearningmatplotlib设置中文显示matlotlib默认不支持中文字符,默认英文字体无法显示汉字查看inux/mac下面支持的字体:fc-list:lang=zh#windows、linux、macos系统通用设置#导入font_manager=>实例化FontProperties对象my_font=>在设置字体的地方使用这个对象,比如xticksfrommatplotlibimportfont_managermy_font=font_manager.FontProperties(fname="/System/Lirary/Fonts/PingFang.ttc")lt

pandas learning

pandaslearningmatplotlib设置中文显示matlotlib默认不支持中文字符,默认英文字体无法显示汉字查看inux/mac下面支持的字体:fc-list:lang=zh#windows、linux、macos系统通用设置#导入font_manager=>实例化FontProperties对象my_font=>在设置字体的地方使用这个对象,比如xticksfrommatplotlibimportfont_managermy_font=font_manager.FontProperties(fname="/System/Lirary/Fonts/PingFang.ttc")lt

用HTTP服务的方式集成 learned cardinality estimation 方法进 Postgresql

代码地址:postgresql-13.1-ml:IntegrationofCardEstMethodsintoPostgreSQLbyHTTPServer(github.com)当前进度:可以支持单表查询、多表innerjoin的基数估计模块的替换。注意:本文的重点在于PG的修改。记录一下我的修改思路。整体流程PG作为http客户端,向基数估计服务端发送http请求。内容为需要基数估计的SQL语句。基数估计服务端返回该语句的selectivity。PG收到该查询的selectivity后乘以当前表的大小,即得到rows项目的难点主要在于获取需要基数估计的SQL查询语句。PG原版基数估计调用逻辑

用HTTP服务的方式集成 learned cardinality estimation 方法进 Postgresql

代码地址:postgresql-13.1-ml:IntegrationofCardEstMethodsintoPostgreSQLbyHTTPServer(github.com)当前进度:可以支持单表查询、多表innerjoin的基数估计模块的替换。注意:本文的重点在于PG的修改。记录一下我的修改思路。整体流程PG作为http客户端,向基数估计服务端发送http请求。内容为需要基数估计的SQL语句。基数估计服务端返回该语句的selectivity。PG收到该查询的selectivity后乘以当前表的大小,即得到rows项目的难点主要在于获取需要基数估计的SQL查询语句。PG原版基数估计调用逻辑

A New Elliptic Curve Based Analogue of RSA

refer:ANewEllipticCurveBasedAnalogueofRSA椭圆曲线令p和q是素数,都大于3。并且满足\(4a^3+27b^2\not\equiv0\pmod{p}\)。用\(E_p(a,b)\)表示模p参数为a,b的椭圆曲线。\(y^2\equivx^3+ax+b\pmod{p}\)。椭圆曲线的加法计算定义为\[P+Q=R\tag1\]设\(P=(x_1,y_1),Q=(x_2,y_2),R=(x_3,y_3)\)\[x3\equiv\lambda^2-x_1-x_2\mod{p}\tag2\]\[y_3\equiv\lambda(x_1-x_3)-y_1\pmod{p

A New Elliptic Curve Based Analogue of RSA

refer:ANewEllipticCurveBasedAnalogueofRSA椭圆曲线令p和q是素数,都大于3。并且满足\(4a^3+27b^2\not\equiv0\pmod{p}\)。用\(E_p(a,b)\)表示模p参数为a,b的椭圆曲线。\(y^2\equivx^3+ax+b\pmod{p}\)。椭圆曲线的加法计算定义为\[P+Q=R\tag1\]设\(P=(x_1,y_1),Q=(x_2,y_2),R=(x_3,y_3)\)\[x3\equiv\lambda^2-x_1-x_2\mod{p}\tag2\]\[y_3\equiv\lambda(x_1-x_3)-y_1\pmod{p

Deep Transfer Learning综述阅读笔记

这是一篇linkedin发表的深度迁移学习综述,里面讲了一些对于search/recommendsystem中的迁移学习应用.有不少指导性的方法,看完后摘录出来对于ranking方向的TL,主要有两种transfer方式:Modeltransfer对于参数量非常大的预训练模型,Fine-tuning训练代价比较大,这里基本没介绍,不太可行.更适合应用的方式是multi-tasktraining.(尤其是在多个产品线通过user来联系的场景)Crossdomain:适用场景为冷启问题(新用户/新场景),提升accuracy(减少数据稀疏性,学到更多的健壮特征),增强用户模型,主要有下面这几种实现

Deep Transfer Learning综述阅读笔记

这是一篇linkedin发表的深度迁移学习综述,里面讲了一些对于search/recommendsystem中的迁移学习应用.有不少指导性的方法,看完后摘录出来对于ranking方向的TL,主要有两种transfer方式:Modeltransfer对于参数量非常大的预训练模型,Fine-tuning训练代价比较大,这里基本没介绍,不太可行.更适合应用的方式是multi-tasktraining.(尤其是在多个产品线通过user来联系的场景)Crossdomain:适用场景为冷启问题(新用户/新场景),提升accuracy(减少数据稀疏性,学到更多的健壮特征),增强用户模型,主要有下面这几种实现