파이썬 판다스 - 크롤링으로 얻은 csv 파일들을 concat으로 모두 합치기

크롤링을 하면서 중간중간 백업을 하다보니 여러 csv 파일이 생겨났다.

pandas 의 concat 메소드를 사용하여 여러 csv 파일을 하나로 합치려고 한다.

 

 

---

 

import pandas as pd
import numpy as np
import os

# 파일들이 있는 폴더명으로 폴더내 파일 목록 확인
forders = os.listdir('관세')
print(forders)

 

 

df_all = pd.DataFrame()
for i in range(0,len(forders)):
    if forders[i].split('.')[1] == 'csv':
        file = '관세/'+forders[i]
        df= pd.read_csv(file,encoding='utf-8') 
        df_all = pd.concat([df_all, df])

pd.DataFrame() 새로운 데이터 프레임을 생성

.csv 로 끝나는 파일만 지정되도록 조건문으로 체크

pd.concat으로 결합, 따로 파라미터를 설정하지 않으면 속성에 맞게 세로 방향으로 합쳐진다.

 

 

---

 

하나로 합쳐진 데이터