草庐IT

C++浮点精度

全部标签

Ruby - 将字符串转换为浮点返回 0.0

在一个变量中存储了这个值:$10.00我需要得到这个10.00我已尝试将此值转换为float:new_price='%.2f'%(price.to_f)但我只得到0.0。这有什么问题?我也试过了price=price.stripprice[0]=""new_price='%.2f'%(price.to_f)但即使这样也没有帮助我......哪里有问题?谢谢 最佳答案 您需要先删除$。整个事情是这样的:'%.2f'%'$10.00'.delete("$").to_f或'%.2f'%'$10.00'[1..-1].to_f如果你喜欢密度

ruby - Ruby 矩阵计算中的浮点错误

我正在编写一些涉及查找给定矩阵的特征向量的代码,令我惊讶的是Ruby在简单情况下会产生一些不合理的结果。例如,以下矩阵具有与特征值1关联的特征向量:>m=Matrix[[0r,1/2r,1/2r,1/3r],[0r,0r,1/4r,1/3r],[0r,1/4r,0r,1/3r],[1r,1/4r,1/4r,0r]]Ruby很好地找到了特征值,但是特征向量爆炸了:>m.eigen.eigenvalues[2]=>1.0000000000000009m.eigen.eigenvectors[2]=>Vector[5.957702309312754e+15,5.957702309312748

ruby-on-rails - 确定字符串是否为有效的浮点值

有没有一种方法可以简单地检查字符串值是否是有效的浮点值。如果字符串不是数值,则对字符串调用to_f会将其转换为0.0。使用Float()会在传递一个更接近我想要的无效浮点字符串时引发异常,但我不想处理捕获异常。我真正想要的是像nan这样的方法?它确实存在于Float类中,但这无济于事,因为如果不将非数字字符串更改为0.0(使用to_f),则无法将其转换为float。"a".to_f=>0.0"a".to_f.nan?=>falseFloat("a")=>ArgumentError:invalidvalueforFloat():"a"对此是否有简单的解决方案,或者我是否需要编写代码来检查

ruby - 设置Ruby中 float 的显示精度

在Ruby中可以设置float的显示精度吗?类似于:z=1/3z.to_s#=>0.33333333333333z.to_s(3)#=>0.333z.to_s(5)#=>0.33333或者我是否必须覆盖Float的to_s方法? 最佳答案 z.round(2)或x.round(3)是最简单的解决方案。参见http://www.ruby-doc.org/core-1.9.3/Float.html#method-i-round.也就是说,这只会确保它不超过那么多位数。在1/3的情况下没问题,但如果你说0.25.round(3)你会得到0

javascript - 使用 JSON.stringify 时强制浮点值

我想在JSON.stringify()之后强制一个Number成为一个Float。不幸的是,JSON.stringify()删除了1.0。示例:JSON.stringify(1.0)//"1"想要的结果:JSON.stringify(1.0)//"1.0"我使用的API需要JSON格式的对象,但它只能理解十进制值。所以我想问一下是否可以使用JSON.stringify生成具有十进制值的字符串而不使用Regex-.replace-magic 最佳答案 对您的问题的直接且合理的简短回答是否,您不能使用JSON.stringify自定义数

javascript - 数字的比例和精度

我希望从以下示例中的数字中获取小数位数和精度。varx=1234.567;我没有看到任何内置的.scale或.precision函数,我不确定正确的最佳方法是什么。 最佳答案 您可以使用Number.prototype.toFixed()varx=1234.56780123;x.toFixed(2);//output:1234.57x.toFixed(3);//output:1234.568x.toFixed(4);//output:1234.5680 关于javascript-数字的比

javascript - 如何将低精度数字(2-10 位)写入数组缓冲区/blob?

问题:在视频游戏中,有大量低精度数字可以通过网络打包在一起,与发送字符串相比可以显着节省带宽。字符串分配给每个字符使用1个字节的UTF-8。理想情况下,应该有一种方法可以将这些数字写在一起:playeridingame-precision0-1023range,10bits玩家轮换-四元数-经过一些数学简化后,一些数字最终为24位玩家输入-0-1范围x2,2位如何将这样的低精度数字放入数组缓冲区/blob中? 最佳答案 您可以使用Uint32Array,然后使用位移和掩码操作将值存储在该数组中。例如,如果您想存储一个4位数字,然后是

javascript - Javascript 中的单精度 float 仿真 (float32)

是否有可能以某种方式在Javascript中模拟单精度float?根据DougCrockford的博客“Numberis64-bitfloatingpoint”,但我必须使用单个来移植计算单精度float误差的C++算法。 最佳答案 ES6标准有Math.fround()将float64转换为float32然后再返回,有效地将float舍入为float32精度。参见thisarticle了解详情。 关于javascript-Javascript中的单精度float仿真(float32),

javascript - 为什么我不能在不损失 JS 精度的情况下将字符串转换为数字?

我们都知道+、Number()和parseInt()可以将字符串转为整数。但就我而言,我得到了非常奇怪的结果。我需要将字符串'6145390195186705543'转换为数字。letstr='6145390195186705543';letnumber=+str;//6145390195186705000,butshouldbe:6145390195186705543有人能解释一下为什么以及如何解决吗? 最佳答案 您的号码高于Number.MAX_SAFE_INTEGER(9,007,199,254,740,991),这意味着js

javascript - 如何在 Jasmine 中比较两个具有浮点值的对象?

我需要在Jasmine中做一些期望,比如:letrealValue=callSomeMethod();letexpected=[{total:33,saved:1.65}];expect(realValue).toEqual(expected);但是它失败了,消息是:Expect[Object({total:33,saved:1.6500000000000001})]toequal[Object({total:33,saved:1.65})].如何进行正确的检查? 最佳答案 toBeCloseTo匹配器用于精确数学比较:expect