도찐개찐

데이터 분석 환경 분석 환경은 주로 엔지니어 및 회사 고유의 상황에 따라 결정된다. 분석가는 환경적/구조적 특성과 제한점 등 여러 사항을 고려하여 분석을 진행한다. 특히 데이터 수집 과정을 분석 목적에 맞게 최적화 하는 등의 목적을 위해 분석가가 환경 및 구조에 관여하기도 한다. 물론, 분석가가 주도적으로 처음부터 환경을 설정하고 구조를 쌓아올라가는 경우도 있지만 이는 일반적인 상황이라고 보기 어렵다. 분석가가 좋은 성과를 내기 위해서는 분석 환경을 잘 이해/활용하고 때로는 (분석 관점에 맞게) 개선점을 엔지니어에게 전달하는 등 역할이 필요하다. 따라서 (실무는 엔지니어가 진행하더라도) 환경/시스템적 요소에 대한 이해와 지속적인 관여 역시 분석가의 역할이기도 하다. 스파크 소개 최근 비정형 데이터의 생성..

Python Pandas Pyrhon으로 데이터분석을 접해본다면 Python Pandas는 절대로 빠질 수 없는 모듈입니다. 모든 데이터 처리가 Pandas의 Dataframe과 Series로 이루어지기 때문에 데이터분석을 하고 싶다면 꼭 알아두어야할 모듈입니다. 오로지 데이터 분석 뿐만 아니라 다른 사람들이 만들어 놓은 모듈에서 데이터를 Dataframe으로 주는 경우도 많기 때문에 어쩌면 Python 사용자라면 필수로 알고 넘어가야하는 부분이라고 생각합니다. Python은 자료구조가 없는게 장점이자 단점인 언어라고 하는데... Python에서 다루는 자료형이 다른 언어들과는 달리, 제약이 많이 없고 자유로워서 다른 언어를 사용하던 분들에게 혼동을 줄수도 있지만, 새로운 방식이기 때문에 혁신적으로 바라..