짐작이긴 하지만...몇가지 테스트 결과 의심가는 부분은 있네요.
float(n) 형태로 선언시에 자리수를 명시할 수 있구요, 명시하지 않으면 default로 53자리수를 사용하게 됩니다.
해당 결과를 자리수를 바꿔가며 확인해본결과 float(24) 까지는 round(@a,3) 이 1.156 이 나오고
그 이상부터는 1.155가 나옵니다.
mssql에서 내부에서 어떻게 구현하고 있는지 알 수 없으나, 효율 적인 처리를 위해서 float 자리수에 따라서 할당하는
bit가 다른 것으로 보이고 여기에서 나타나는 부동소수점 정밀도 문제인 듯 보입니다.
declare @a float(24)
set @a = '1.1555'
declare @a1 float(24)
set @a1 = '123456.1555'
declare @a2 float(24)
set @a2 = '1234567.1555'
declare @b float(25)
set @b = '1.1555'
declare @b1 float(25)
set @b1 = '123456.1555'
declare @b2 float(25)
set @b2 = '1234567.1555'
select round(@a,3)
select round(@a1,3)
select round(@a2,3)
select round(@b,3)
select round(@b1,3)
select round(@b2,3)
위 결과를 보면 더 흥미로울 수 있는데
a1까지는 소숫점이 156 까지 정상으로 나오나 a2에서는 125로 전혀 다른 값이 나옵니다.
이건 a2에서 정수부의 자리수가 커지면서 소수부에 할당할 bit가 정수부로 옮겨지면서 나타나는걸로 보입니다.
b의 경우는 오히려 155로 잘못 나오다가 b2에서 156으로 정상 값이 나옵니다.
역시 자리수가 커지면서 소수부의 할당할 비트가 정수부로 옮겨지면서 소수부에 할당할 bit가 줄어 들어면서 맞게 되는거지요.
아뭏든 정확한 데이터를 뽑기 원하면 float를 선언할때 자리수를 적당하게 명시해주는 것이 좋겠네요.
등록안내
![[* 비회원 *]](http://cdn2.ppomppu.co.kr/zboard/nickcon/155047.gif?v=20241108)
float(n) 형태로 선언시에 자리수를 명시할 수 있구요, 명시하지 않으면 default로 53자리수를 사용하게 됩니다.
해당 결과를 자리수를 바꿔가며 확인해본결과 float(24) 까지는 round(@a,3) 이 1.156 이 나오고
그 이상부터는 1.155가 나옵니다.
mssql에서 내부에서 어떻게 구현하고 있는지 알 수 없으나, 효율 적인 처리를 위해서 float 자리수에 따라서 할당하는
bit가 다른 것으로 보이고 여기에서 나타나는 부동소수점 정밀도 문제인 듯 보입니다.
declare @a float(24)
set @a = '1.1555'
declare @a1 float(24)
set @a1 = '123456.1555'
declare @a2 float(24)
set @a2 = '1234567.1555'
declare @b float(25)
set @b = '1.1555'
declare @b1 float(25)
set @b1 = '123456.1555'
declare @b2 float(25)
set @b2 = '1234567.1555'
select round(@a,3)
select round(@a1,3)
select round(@a2,3)
select round(@b,3)
select round(@b1,3)
select round(@b2,3)
위 결과를 보면 더 흥미로울 수 있는데
a1까지는 소숫점이 156 까지 정상으로 나오나 a2에서는 125로 전혀 다른 값이 나옵니다.
이건 a2에서 정수부의 자리수가 커지면서 소수부에 할당할 bit가 정수부로 옮겨지면서 나타나는걸로 보입니다.
b의 경우는 오히려 155로 잘못 나오다가 b2에서 156으로 정상 값이 나옵니다.
역시 자리수가 커지면서 소수부의 할당할 비트가 정수부로 옮겨지면서 소수부에 할당할 bit가 줄어 들어면서 맞게 되는거지요.
아뭏든 정확한 데이터를 뽑기 원하면 float를 선언할때 자리수를 적당하게 명시해주는 것이 좋겠네요.
지식의 깊이가 남다르네요!!
하나 배워갑니다.