본문 바로가기

파이썬19

파이썬 '판다스 데이터 분석' - 단위 변환, 자료형 변환 .astype('float'), unique(), nunique(), replace({ type: dict},inplace=True) 단위 변환 서로 다른 단위가 섞여 있거나 같은 대상을 다른 형식으로 표현하면 분석의 정확도는 현저히 낮아진다. 데이터 포맷을 일관성있게 표준화 하는 작업이 필요하다. 마일 야드 온스 -> 미터 평 그램 import pandas as pd df = pd.read_csv('data/auto-mpg.csv', header=None) df.columns=['mpg','cylinders','displacement','horsepower','weight','acceleration','model year','origin','name'] 마일 -> 킬로미터 mpg_to_kpl = 1.60934/3.78541 df['kpl'] = (df['mpg'] * mpg_to_kpl).round(2) df['kpl'].head().. 2021. 7. 19.
파이썬 '판다스 데이터 분석' - 결측치 처리 : replace(), dropna(subset= ), fillna(), value_counts().idxmax(), duplicated(), drop_duplicates() 데이터프레임에는 원소 데이터 값이 종종 누락되는 경우가 있다. 데이터를 파일로 입력할 때 빠트리거나 파일 형식을 변환하는 과정에서 데이터가 소실되는 것이 주요 원인이다. 일반적으로 유효한 데이터 값이 존재하지 않는 누락 데이터를 NaN( Not a Number ) 으로 표시한다. '타이타닉 데이터셋을 사용 import seaborn as sns df= sns.load_dataset('titanic') 결측된 데이터 확인 df.info() RangeIndex: 891 entries, 0 to 890 Data columns (total 15 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 survived 891 non-nul.. 2021. 7. 17.
파이썬 '판다스 데이터 분석' - 데이터프레임 구조(shape, info(),describe(),value_counts()..), 통계함수(mean(), median(), min(), max(), std(), corr()) 데이터셋의 내용과 구조를 개략적으로 살펴볼 수 있는 함수들과 통계함수들을 살펴볼 것이다. 데이터프레임 구조 import pandas as pd df = pd.read_csv('data/auto-mpg.csv', header=None) # 열 이름 지정 df.columns= ['mpg','cylinders','displacement','horsepower','weight', 'acceleration','model year','origin','name'] df.head() mpgcylindersdisplacementhorsepowerweightaccelerationmodel yearoriginname 018.08307.0130.03504.012.0701chevrolet chevelle malibu 115.0.. 2021. 7. 8.
파이썬 '판다스 데이터 분석' - 판다스 입문 판다스 공식 홈페이지 pandas - Python Data Analysis Library pandas pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now! pandas.pydata.org 데이터 활용 공모전 준비와 인공지능(AI)에 필요한 머신러닝을 익히기 위해 우선 데이터 분석을 공부하게 되었다. 판다스를 배우는 이유 - 데이터 분석에서는 데이터 자체가 가장 중요한 자원이다. - 실제로 데이터 분석 업무의 80% ~ 90%는 데이터를 수집하고 정리하는 일.. 2021. 7. 2.
파이썬을 이용한 OpenCV OpenCV (Open Source Computer Vision) 는 실시간 컴퓨터 비전을 목적으로 한 라이브러리 영상처리, 3D 구성, 추적, 기계학습, 딥러닝, 인식 다양한 영상 처리 알고리즘을 쉽게 사용가능하다. 본래 C 언어만 지원했지만 C++을 지원하기 시작했고, 현재는 C++11 을 공식으로 채택하고 있다. 딥러닝과 Python이 뜨면서 파이썬을 공식적으로 지원하고 있고 파이썬으로 랩핑하여 사용하는 추세이다. 기계학습, 딥러닝에 관련한 기능들을 다루려고 한다. 카메라 다루기 import cv2 cap = cv2.VideoCapture(0) cap.set(3,720) cap.set(4, 1080) while True: ret, frame = cap.read() frame = cv2.flip(fr.. 2021. 1. 31.
파이썬 크롤링, 스크롤링 / python crawling [크롤링] 설치 업데이트 뷰티풀숩 import requests from bs4 import BeautifulSoup html= requests.get('https://codingeverybody.github.io/scraping_sample/1.html') soup = BeautifulSoup(html.text, 'html.parser') print(soup.title.string) #title 태그 string값 articles = soup.findAll('div',{'class' : 'em'}) #클래스 명 em 인 것 print(articles[0].text) 뷰티풀숩일 경우 html만 사용가능 JSON 형태나 자바스크립트 형태일 경우 https://m.blog.naver.com/21ahn/2213.. 2020. 7. 14.
파이썬 코드 정리 업데이트 할것 import math math.ceil(2.14) //올림 math.floor(2.7) //내림 math.pow(2,10) //지수 math.pi str(Integer) //숫자를 문자열로 print('Hello ' * 3) // Hello Hello Hello print('Hello'[0]) // H 'hello'.capitalize() // 첫 문자를 대문자로 .upper() //전체 대문자 .__len__() , len('hello') .replace('h','a') “hello \”world\”” // \” 문자로 해석해라 (백슬래쉬) \n , \t, \a // 줄바꿈, 탭, 경고음 [조건문] if if False: print(“true”) print(“code3) //조건문 끝나고 실행 if r.. 2020. 7. 11.