PB 電子会議室
| 発言No. | 更新日 | 題名（クリックすると発言内容と関連するコメントが表示されます） |
|---|---|---|
| 5126 | 99/02/18 02:05:30 | RE(1):突然、減算の結果で奇妙な数値が返ってきたのですが？ By M.M |
| 5122 | 99/02/17 20:28:12 | PB5.0.02: 突然、減算の結果で奇妙な数値が返ってきたのですが？ By HighwaySTAR |
カテゴリ：スクリプトの記述
日付：1999年02月18日 02:05 発信者：M.M
題名：RE(1):突然、減算の結果で奇妙な数値が返ってきたのですが？
「HighwaySTAR」さん、こんばんは。
＞久々にPB5.0の修正がきてテストをしたら変な結果が返ってきました。
＞
＞double ldb_a,ldb_b,ldb_c
＞ldb_a = 3652.2 //データウィンドウの項目Ａ（number型）
＞ldb_b = 3652.2 //データウィンドウの項目Ｂ（number型）
＞ldb_c = ldb_a - ldb_b
＞ldb_c に返ってきた値は「-4.547473508864641E-13」です。
＞
＞なんで「０」が返ってこないのでしょうか(T.T)
はいー、これはですね?、２進数演算の数値誤差が原因だと思われます?。
（PowerBuilderのバグではないです?）
Double型をDecimal型にすれば解決できると思います?。
詳しい説明は過去ログにあると思いますので、キーワード「浮動少数点演算」で
検索して下さい。（「題名のみ検索」のチェックボックスはオフにして検索）
付加情報：
PowerBuilder Version (記載なし)
Client SoftWare
OS Windows NT 4.0
DBMS Oracle SQL*Net 2.2
Browser (記載なし)
Server SoftWare
OS (記載なし)
DBMS Oracle 7.2
WebServer (記載なし)
Copyright © 2013 Power Future Co., Ltd.