정량분석 중 필요한 계산과정에서 필요한 유효숫자를 알아보자.
유효숫자의 목적
신뢰할 수 있는 숫자들을 확인할 수 있는 간단한 방법이다.
유효숫자 (Significant figures or Significant digits)는 측정된 숫자 중 의미 있는 숫자를 의미한다.
예를 들어, 오차 범위가 ± 0.01로 확인된 측정 기기에서 확인된 값이 3.984이다.
소수점 이하 3자리 3.984라고 표기하면 오차 범위 소수점 2자리보다 낮은 3자리까지 정밀하게 측정할 수 있게 과대평가되고,
반올림해서 1자리 4.0으로 표기하면 소수점 이하 2자리까지 정밀하게 값을 확인할 수 있는 내용을 잃게 되는 것이다.
신뢰할 수 있는 측정값은 오차를 고려해서 3.98라고 표기하고, 표기된 모든 숫자들을 유효숫자라고 한다.
유효숫자는 측정된 값을 이용해서 계산된 값의 숫자 중 어디까지 유효한 값이 되는지 나타낸다.
측정 불확도를 평가해서 유효한 값을 확인하는 방법도 있겠지만, 이 평가 방법은 많은 시간과 노력을 필요로 한다.
그래서 간단한 접근 방식으로 유효한 값을 확인하는 방법이 유효숫자 규칙이다.
유효숫자의 정의
유효숫자는 측정값에서 확실한 숫자(certain digits)들과 불확실한 숫자(uncertain digit) 1개로 구성된다.
측정값에서 의미 있는 유효숫자는 값들의 정밀도 (Precision) 또는 불확실성 (uncertainty)를 근거로 표현되기 때문이다.
[예시 1]
디지털 저울이 표기할 수 있는 최소 단위를 나타내는 해독도 (readability)가 "0.1 mg"인 전자저울에서
분동 100 mg의 반복 측정값이 100.0, 100.1, 100.2, 100.3, 100.4 mg라고 확인되면
여기서 일정한 값 (확실한 숫자) 100과 소수점 첫째 자리 숫자 (불확실한 숫자)까지 포함해서 유효숫자는 4개로 100.0 mg이 된다.
[예시 2]
부피를 칭량하는 100 mL메스실린더에는 1 mL 눈금 간격이 표기되어 있다.
표기된 눈금 숫자(확실한 숫자)와 눈금 사이의 숫자 (불확실한 숫자)까지 포함해서 소수점 1자리까지 유효숫자가 된다.
시료의 부피 50 mL을 100 mL 메스실린더로 측정했다면 유효숫자는 3개로 50.0 mL이 된다.
유효숫자의 규칙
덧셈 (+) & 뺄셈 (-)
덧셈과 뺄셈의 결괏값은 소수점 자릿수가 가장 적은 구성 요소의 자릿수와 같아야 한다.
[예시 3]
100 mL (눈금 1 mL)과 10 mL (눈금 0.1 mL)의 메스실린더로 측정된 다른 부피의 합은 아래와 같다.
$$50.0 (± 0.5) \ mL + 5.50 (± 0.05) \ mL = 55.5 \ mL$$
50.0 mL의 오차 ± 0.5 mL 영향으로 소수점 2 자리부터는 부정확한 값이 된다.
오차가 가장 큰 소수점 1자리를 적용해서 55.5 mL로 표기된다.
곱셈 (×) & 나눗셈 (÷)
곱셈과 나눗셈의 결과값은유효숫자의 개수가 가장 적은 수와 동일한 유효숫자를 가져야 한다.
[예시 4]
전자저울로 칭량한 100 mg 시약을 부피 플라스크 100 mL로 녹인다면 농도의 유효숫자는 다음과 같다.
전자저울의 해독도 (readability)가 1 mg이라면, 100 mg의 유효숫자는 3자리로 확인되고,
부피 플라스크의 오차 범위가 ± 0.1 mL이라면, 100.0 mL의 유효숫자는 4자리가 된다.
농도는 다음과 같이 계산되고, 유효숫자 3개로 표기된다.
$$100 \ mg / 100.0 \ mL = 1.00 \ mg/mL$$
유효숫자가 3자리가 이유는 오차 범위가 넓은 값을 기준으로 유효숫자가 정해지기 때문이다.
무게의 오차 범위는 100 ± 0.5 mg으로 상대오차는 (± 0.5 mg / 100 mg) × 100 = ± 0.5% 이고,
부피의 오차 범위는 100.0 ± 0.1 mL으로 상대오차는 (± 0.1 mL / 100 mL) × 100 = ± 0.1%이다.
계산된 농도는 무게 오차 범위가 더 크기 반영되기 때문에 무게의 유효숫자로 농도를 표기하게 된다.
로그 (Logarithm) & 지수 (Exponent)
로그의 결과값은 지수는 정수로 계수의 유효숫자와 동일한 유효숫자를 가져야 한다.
[예시 5]
수소이온 농도 값을 pH로 변환할 때 유효숫자는 다음과 같다.
$$pH = -log [H+] = - log (4.2 × 10^{-7}) = 6.3768 = 6.38$$
지수 -7은 정수로 변환되기 때문에 유효숫자에 기여하지 않고,
계수 4.2는 소수점 이하를 나타내기 때문에 계수의 유효숫자 2개를 소수점 이하 자릿수만큼 적용한다.
반대로 pH 6.38을 수소 이온 농도로 변환한다면 다음과 같이 계산된다.
$$10^{-6.38} = 10^{-0.38} \times 10^{-6} = 0.416869 \times 10^{-6} = 4.16869 ×10^{-7} = 4.2 ×10^{-7}$$
지수 계산 결과의 유효숫자는 지수로 사용된 6.38의 소수점 2자리만 유효숫자가 된다.
정수 6은 10의 곱셈 개수를 나타내기 때문에 유효숫자에 기여되지 않고,
$10^{0.38}$이 4.16869로 계산되어 유효숫자 2자리를 적용해서 4.2로 표기한다.
여러 단계 계산에서 유효숫자
기본적으로 여러 단계를 포함하는 계산이라면,
최종 결과를 얻기 전까지는 유효숫자를 적용해서 어떤 반올림도 하지 않는 것이
계산 결과의 과대평가 또는 과소평가를 피할 수 있다.
개수를 나타내는 정수, 물리확학적 상수, 보정상수, 환산계수 등은
계산값에 오차가 포함되지 않는 단위 변환 또는 통계적 계산에 필요한 값으로 유효숫자 규칙에 적용되지 않는다.
[예시 6]
NaOH 10.0 mg을 부피플라스크 100.0 mL 용액으로 녹인다면 몰농도 계산은 다음과 같다.
$$NaOH \ (M) = \dfrac{\frac{10.0 \ mg}{40 \ g/mol}}{100.0 \ mL} = 0.00250 \ mol/mL = 2.50 \ mol/L (M)$$
분자량은 단위 변환 값으로 유효숫자 규칙에서 제외되고,
가장 낮은 유효숫자 3개 10.0을 기준으로 몰농도의 유효숫자는 3개가 된다.
[예시 7]
산염기 적정 반응으로 시료의 황산의 양을 정량하려고 한다.
$$H_2SO_4+2NaOH \rightarrow 2H_2O + Na_2SO_4$$
시료 100.0 mL에 1.0 M NaOH 표준용액을 13.5 mL 추가해서 종말점을 확인하였다.
시료의 황산 농도는 NaOH 몰수와 시료 부피로 계산된다.
$$NaOH \ mole = 1.0 \ mol/L \times 83.5 \ mL = 84 \ mmol$$
가장 낮은 유효숫자는 2개 이므로 몰수는 유효숫자 2개가 된다.
$$H_2SO_4 \ mole = 2 \times 84 \ mmol = 168 \ mmol$$
기존 유효숫자 2자리가 정수의 곱으로 증가되어 유효숫자도 3개로 늘어난다.
$$H_2SO_4 \ (M) = \dfrac{168 \ mmol}{100.0 \ mL} = 1.68 \ mmol/mL = 1.68 \ mol/L (M)$$
최종 몰농도는 계산식에서 가장 낮은 유효숫자 3개로 표현된다.
위와 같은 단계별 계산과정을 한 번에 계산하면 다음과 같은 결과를 얻을 수 있다.
$$H_2SO_4 \ (M) = \dfrac{2 \times 1.0 \ mol/L \times 83.5\ mL}{100.0 \ mL} = 1.67 \ mol/L (M)$$
계산 과정 중 적합한 반올림이 있어도 결과 차이가 나타나는 것이 확인된다.
차이의 원인은 가장 큰 오차 비율로 표현된 값이 계산 과정에서 증가된 것이다.
이런 오류를 방지하기 위해서 계산 중간과정에서는 가드 숫자 (guard digits)를 적용한다.
가드 숫자는 유효숫자 보다 1자리 더 남겨둔 숫자를 지칭한다.
단계적으로 진행된 계산 과정도 가드 숫자를 적용하면 동일한 값을 얻을 수 있다.
검정곡선 기울기와 절편의 유효숫자
선형회귀분석의 기울기 (Slope)
일차방정식의 기울기는 분석기기의 반응값과 표준물질 농도의 비율이다.
$$Slope = \dfrac{Response}{Concentration}$$
기울기는 나눗쎔(÷)의 유효숫자 규칙을 적용하면 된다.
[예시 8]
분광기의 흡광도가 0.23이고 표준물질 농도가 3.00이라면
가장 작은 유효숫자 2자리로 기울기는 0.077로 표기하면 된다.
선형회귀분석의 절편 (Intercept)
절편은 검정곡선에서 y 축 값으로 분석기기의 반응값과 동일하다.
절편의 유효숫자는 분석기기의 유효숫자 기준으로 표기한다.
[예시 9]
분광기의 흡광도는 유효숫자가 2개라면
선형회귀분석으로 계산된 절편 0.01234를 유효숫자 2개 0.012로 표기하면 된다.
정량 분석 결과의 유효숫자
검정곡선으로 계산된 시료 농도의 유효숫자는 분석법의 오차 범위를 반영해서 유효숫자를 표기한다.
[예시 10]
검정곡선 수식에서 시료의 분석기기 반응값 (y) 109.3을 농도(ug/mL)로 변환하면 다음과 같다.
검정곡선 수식: $y = 100.3 x + 0.001212$
$$x = \dfrac{(y - 0.001212)}{100.3} = \dfrac{(109.3 - 0.001212)}{100.3}= 1.090$$
유효숫자 규칙을 따르면 가장 작은 유효숫자 4자리를 적용해서 1.090 ug/mL로 확인된다.
분석법의 정확성 허용기준이 ±2% 라면,
농도의 오차범위는 1.090 ug/mL × 0.02 = 0.0218 ug/mL로 확인된다.
분석법으로 발생되는 계산된 농도의 불확실한 숫자는 소수점 2번째에서 발생하기 때문에
계산된 농도는 1.09로 표기한다는 것이다.
분석법의 오차는 다양한 오차 (표준용액의 오차, 기기측정의 오차, 검정곡선의 오차 등등)들이 포함되어 있다.
정확성과 정밀성의 허용기준은 분석법 전체에서 발생되는 오차의 최대 허용기준으로
정량분석의 최종 결과인 농도는 최대 오차 범위를 고려해서 표기하면 된다.
기술통계량의 유효숫자
측정값으로 계산된 통계량 값들은 평가에 오류가 발생되지 않도록 유효숫자를 설정한다.
평균(mean) & 표준편차 (standard deviation: SD)
[예시 11] 평균 (mean)
분석물질 농도가 50.0 ug/mL 시료를 3회 반복 측정한 결과는 다음과 같다.
$$50.2, 49.1, 50.8 \ ug/mL$$
평균은 아래와 같이 계산된다.
$$Mean = \dfrac{(50.2+49.1+50.8)}{3} = \dfrac{150.1}{3} = 50.0333 = 50.03 $$
측정값의 개수를 나타내는 정수 3은 오차를 포함한 값이 아니므로 유효숫자 규칙에서 제외되고,
덧셈의 유효숫자 규칙으로 소수점 이하 1자리를 적용해서 반올림한 50.0으로 표기할 수 있다.
하지만, 유효숫자 규칙으로 반올림하면 평균의 측정 오차가 감소되는 과대평가 오류가 발생된다.
통계량의 오류를 방지하기 위해서 유효숫자보다 한자리를 더 추가해서 50.03으로 표기한다.
[예시 12] 표준편차 (SD)
예시 11의 데이터로 표준편차는 다음과 같이 계산된다.
$$SD =\sqrt{\frac{((50.2-50.03)^2 + (49.1-50.03)^2 + (50.8-50.03)^2))}{(3-1)}}$$
$$= \sqrt{\frac{0.149}{2}} = 0.8622 = 0.86$$
표준편차 계산에는 덧셈, 뺄셈, 곱셈이 모두 포함되어 있다.
나눗셈에 사용된 정수 2는 자유도 (측정값 개수 -1)로 유효숫자 규칙에 포함되지 않는다.
마지막으로 계산된 표준편차의 유효숫자는
덧셈 & 뺄셈 규칙을 적용해서 소수점 이하 1자리를 적용하면 0.9로 표기되고,
곱셈의 유효숫자 규칙으로 유효숫자 3개를 적용하면 0.862로 표기된다.
서로 다른 규칙이 적용에서 유효숫자가 다른 경우라면
처음 값의 불확실한 값 (소수점 이하 1자리)을 반영해서 0.9로 표기될 수 있다.
표준편차의 소수점 이하 2자리 값들은 측정값들의 불확실한 숫자보다 더 정밀할 수 없기 때문에
소수점 이하 1자리로 반올림해서 0.9로 표기한다는 것이다.
하지만, 유효숫자 규칙으로 반올림하면 표준편차가 증가하는 과소평가 오류가 발생된다.
통계량의 오류를 방지하기 위해서 유효숫자보다 한자리를 더 추가해서 0.86으로 표기한다.
회수율 (% Recovery)의 유효숫자
회수율은 정확성을 나타내는 지표로 사용되며, 계산식은 다음과 같다.
$$ Recovery = 100 \times \dfrac{Mean \ of \ measurement \ values}{True \ value}$$
[예시 13]
예시 11의 평균 50.03 ug/mL은 참값 (50.0 ug/mL)을 알고 있는 시료를 측정한 결과이다.
측정 결과의 정확도는 회수율로나타내며, 다음과 같이 계산된다.
$$Recovery = 100 \times \dfrac{50.03}{50.0} = 100.06\% = 100.1\%$$
회수율의 유효숫자는 참값 50.0의 유효숫자 3개로 적용할 수 있지만,
회수율 100%로 표기되어 정확성은 과대평가된다.
회수율은 참값에서 측정값이 벗어나는 비율을 나타낸 것으로
측정값의 오차 비율을 나타낸 것이 아니므로 유효숫자 규칙이 잘 적용되지 않는다.
유효숫자는 확실한 값과 불확실한 값의 조합이기 때문에
확실한 기준값 100%을 기준으로 불확실한 숫자 1자리를 포함시키는 것이 필요하다.
그래서 소수점 이하 1자리를 추가해서 100.1% 표기하는 것이 바람직하다.
분석 오차가 적을수록 오차 비율도 적기 때문에 불확실한 숫자를 포함시켜서
정확성의 과대 또는 과소 평가되는 오류를 방지할 수 있다.
상대표준편차 (% RSD)의 유효숫자
상대표준편차는정밀성을 나타내는 지표로 사용되며, 계산식은 다음과 같다.
$$RSD = 100 \times \dfrac{SD}{Mean}$$
[예시 14]
예시 11, 12의 평균 50.03 ug/mL과 표준편차 0.86 ug/mL로 상대표준편차를 계산하면 다음과 같다.
$$RSD = 100 \times \dfrac{0.86}{50.0} = 1.72\% = 1.7\%$$
유효숫자 규칙이 적용되어 가장 작은 유효숫자 2개를 적용해서 1.7%로 표기된다.
하지만, 표준편차에 유효숫자 적용 여부에 따라서 결과는 달라질 수 있다.
$RSD = 100 \times \dfrac{0.9}{50.0} = 1.72\% = 2\%$
$RSD = 100 \times \dfrac{0.8622}{50.0} = 1.7244\% = 1.72\%$
유효숫자 규칙을 표준편차 결과부터 적용하면 가장 적은 유효숫자 1자리를 적용해서 2%로 표기되고,
유효숫자 규칙을 마지막 결과에만 적용하면 유효숫자 3자리를 적용해서 1.72%로 표기될 수 있다.
유효숫자 규칙이 적용되면 2%로 정밀성이 과소평가되거나 1.72%로 과대평가될 수 있다.
정밀성을 나타내는 상대표준편차는 평균을 기준으로 데이터의 분산을 비율로 나타낸 것으로
측정값의 오차 분산을 나타낸 것이 아니므로 유효숫자 규칙이 잘 적용되지 않는다.
상대표준편차도 정밀성을 평가하기 위해서 제시되는 평가 기준 보다
불확실한 숫자 1 자리를 추가해서 표기하면 정밀성의 과대평가 또는 과소평가를 피할 수 있다.
정밀성의 평가 기준이 RSD < 2% 라면, 계산된 상대표준편차는 1.7% 로 표기하는 것이 바람직하다.
'데이터 통계 분석' 카테고리의 다른 글
| [Excel] 실험실 간 비교 - 재현성 (Reproducibility) (1) | 2026.01.18 |
|---|---|
| [Excel] 반복 측정에서 평균과 정밀도의 상관성 (0) | 2026.01.03 |
| [Excel] 다수 이상치 (Multiple outliers) 확인 : Grubbs' test (0) | 2025.09.28 |
| [Excel] 분산분석에서 이상치 (Outlier) 확인 : Cochran's C test (0) | 2025.09.27 |
| [Excel] 검정곡선의 이상치 (Outlier) 확인 : 표준화 잔차 (0) | 2025.08.19 |