皕杰技术社区

 找回密码
 立即加入

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1004|回复: 2

浮点数计算问题

[复制链接]
发表于 2020-9-30 10:53:43 | 显示全部楼层 |阅读模式
5.2报表中我使用了一个校验公式!((AB9<AA9 || AB9>tofloat(5*AA9)) && (@value=null || @value=''))
AB9 AA9 均为 两位小数浮点数
这个公式的意思是  如果AB9的值小于AA9  或者 AB9的值 大于5倍的AA9 并且被校验单元格没填数据 那么会提示错误信息,
但是当输入的AB9 = 5*AA9时  这个公式仍然不成立   ,因为报表计算5*AA9的值会出现误差  除法依然也有误差  请问这个怎样解决呢
发表于 2020-10-9 09:49:02 | 显示全部楼层
计算机的计算是通过转换成二进制完成的,你不能按十进制去理解。用round的函数四舍五人,实在不行扩大位数取整后比较,总之这不是一个报表的问题,自己动动脑子吧
回复 支持 反对

使用道具 举报

发表于 2020-10-9 15:19:46 | 显示全部楼层
你自己用javascript校验即可
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

本版积分规则

QQ|小黑屋|手机版|皕杰软件 ( 京ICP备14050931号 )

GMT+8, 2025-2-5 23:52 , Processed in 1.104349 second(s), 16 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表