pandas 중복행 제거

import pandas as pd

# 예시 데이터프레임 생성
data = {
    'A': [1, 2, 2, 3, 4, 4, 5],
    'B': ['a', 'b', 'b', 'c', 'd', 'd', 'e'],
    'C': [' Y', 'N ', ' Y ', 'Y', ' N', ' Y', 'Y '],
    'D': ['  data1', 'data2  ', 'data 3 ', '  data4  ', 'data5', ' data6', 'data7  ']
}

df = pd.DataFrame(data)

# 'D' 열 삭제, 중복된 행 제거, 'C' 열의 값에서 공백 제거 및 'Y'인 행만 필터링을 한 번에 수행
df_filtered = df.drop(columns=['D']).drop_duplicates(subset=['A', 'B'], keep='first')
df_filtered = df_filtered[df_filtered['C'].str.strip() == 'Y']

print(df_filtered)