파이썬 데이터 처리 마스터하기:결측값 탐색 및 처리 방법

 

안녕하세요. 파이썬으로 데이터를 분석하기전 빠져있는 데이터를 처리하는 과정을 항상 고려해야합니다. 이번에는 결측값에 대해 알아보고 어떻게 처리해야하는지에 대해 알아보도록 하겠습니다.

 

 

목차

1. 결측값이란?
2. 파이썬에서 결측값 확인하기
3. 결측값 제거하기
4. 결측값 대체하기
5. 결측값 예방하기

 

1. 결측값이란?

데이터 분석 작업을 할 때, 종종 결측값(missing data)에 직면하게 됩니다. 결측값은 값이 없거나, 측정되지 않았거나, 기록되지 않은 데이터를 의미합니다. 이러한 결측값은 데이터 분석 결과에 오류를 야기하거나, 분석의 정확성을 떨어뜨릴 수 있기 때문에 올바르게 처리해야 합니다. 본 글에서는 파이썬을 사용하여 결측값을 처리하는 방법에 대해 알아보겠습니다.

 

 

2. 파이썬에서 결측값 확인하기

파이썬에서는 pandas 라이브러리를 사용하여 결측값을 확인할 수 있습니다. 먼저 pandas를 설치하고, 데이터를 불러와 결측값을 확인해보겠습니다.

# pandas 라이브러리 불러오기
import pandas as pd

# 예시 데이터 생성
data = {
    '이름': ['홍길동', '이몽룡', '성춘향', '변학도'],
    '나이': [25, 30, 22, None],
    '성별': ['남', '남', '여', '남'],
    '키': [175.5, 180.0, 162.5, None]
}

# DataFrame 생성
df = pd.DataFrame(data)

# 누락된 데이터 확인하기
print(df.isnull())

 

위 코드를 실행하면 다음과 같은 결과가 출력됩니다.

	이름     나이     성별      키
0  False  False  False  False
1  False  False  False  False
2  False  False  False  False
3  False   True  False   True

isnull() 함수를 사용하여 결측값이 있는지 확인할 수 있습니다. 결과에서 True로 표시된 부분이 결측값을 나타냅니다.

 

3. 결측값 제거하기

결측값을 처리하는 가장 간단한 방법은 해당 데이터를 제거하는 것입니다. pandas에서는 dropna() 함수를 사용하여 결측값이 포함된 행이나 열을 제거할 수 있습니다.

 

# 누락된 데이터가 있는 행 제거하기
df_clean_row = df.dropna(axis=0)
print(df_clean_row)

# 누락된 데이터가 있는 열 제거하기
df_clean_column = df.dropna(axis=1)
print(df_clean_column)

위 코드를 실행하면 결측값이 있는 행 또는 열이 제거된 데이터프레임이 출력됩니다. 하지만 이 방법은 데이터의 손실이 발생할 수 있으므로, 다른 방법을 함께 고려해야 합니다.

 

 

4. 결측값 대체하기

데이터의 손실을 최소화하기 위해 결측값을 대체값으로 채울 수 있습니다. pandas에서는 fillna() 함수를 사용하여 결측값을 대체할 수 있습니다. 대체 방법에는 평균값, 중앙값, 최빈값 등 다양한 방법을 사용할 수 있습니다.

 

# 평균값으로 누락된 데이터 대체하기
mean_age = df['나이'].mean()
mean_height = df['키'].mean()

df_filled_mean = df.fillna({'나이': mean_age, '키': mean_height})
print(df_filled_mean)

# 중앙값으로 누락된 데이터 대체하기
median_age = df['나이'].median()
median_height = df['키'].median()

df_filled_median = df.fillna({'나이': median_age, '키': median_height})
print(df_filled_median)

# 최빈값으로 누락된 데이터 대체하기
mode_age = df['나이'].mode()[0]
mode_height = df['키'].mode()[0]

df_filled_mode = df.fillna({'나이': mode_age, '키': mode_height})
print(df_filled_mode)

 

5. 결측값 예방하기

결측값 처리는 시간과 노력이 많이 드는 작업이므로, 가능한 결측값이 발생하지 않도록 미리 예방하는 것이 좋습니다. 다음은 결측값을 예방하는 몇 가지 방법입니다.

1. 데이터 수집 단계에서의 오류 최소화: 데이터를 수집할 때 유효성 검사나 필수 입력 항목 설정 등을 통해 결측값을 줄일 수 있습니다.
2. 데이터 저장 및 전송 과정에서의 오류 방지: 데이터 저장 및 전송 과정에서 누락되지 않도록, 데이터의 무결성을 유지하고 오류를 검출하는 방법을 사용해야 합니다.
3. 데이터 정제 및 전처리 과정에서의 누락 방지: 데이터 정제 및 전처리 과정에서 결측값을 찾아 대체하거나 제거하는 작업을 통해 분석에 사용할 데이터의 품질을 높여야 합니다.

결론

파이썬에서 결측값을 처리하는 방법에는 여러 가지가 있습니다. 데이터를 확인하고, 제거하거나 대체하는 방법을 사용할 수 있으며, 가능한 결측값을 예방하는 것이 좋습니다. 본 글에서 소개한 방법들을 통해 결측값 처리를 효과적으로 수행하고, 데이터 분석의 정확성과 신뢰성을 높일 수 있습니다.