11/10/2007

丸め

大学の友人にSqueakで少数以下2桁まで表示させるにはどうすればいいかと聞かれたので,

1.2450 printShowingDecimalPlaces:2 '1.25'

よしと思っていたのですが・・・

1.2347 printShowingDecimalPlaces:2 '1.22'

なんだこれはと思い.大学で学んだ工業規格だと確かこれだと1.23になるはず,他にないか探索

1.2347 asScaledDecimal:2 1.23s2
ScaledDecimalとして返ってくる,何かよくわからないな.返ってきたものはどうやって扱えばいいのか・・・.

他ので実験
1.2450 printShowingDecimalPlaces:2 '1.25'

1.2350 printShowingDecimalPlaces:2 '1.22'
よくわかりません.
偶数丸めでもなさそう・・・.

1.2350 asScaledDecimal:2 1.23s2
1.2450 asScaledDecimal:2 1.24s2

こちらもそうじゃないみたい.

とりあえず,もう寝ないといけないので(学生は学生なりに忙しいのです)明日にします.

0 件のコメント: