miniverse-lab 님의 블로그

어찌 보면 우리가 실무에서 데이터 분석을 하는 과정은 Data를 모으고, 전처리 하고, EDA (Exploratory Data Analysis) 하는 과정의 반복이라고 볼 수 있습니다. 하지만 수십 개의 컬럼과 수천 개의 데이터가 주어졌을 때, 일일이 통계를 내고 시각화를 만드는 건 생각보다 번거로운 일이죠이런 문제를 해결하기 위해 파이썬에는 다양한 전처리 및 EDA(Exploratory Data Analysis) 도구가 존재하지만, 그중에서도 초보자부터 중급 분석가까지 빠르게 활용할 수 있는 도구 "Dataprep" 에 대해서 소개해보겠습니다Dataprep이란?Dataprep은 파이썬 기반의 오픈소스 라이브러리로, EDA(Exploratory Data Analysis)를 손쉽게 자동화할 수 있도록 설계..

파이썬 인코딩, 왜 알아야 할까?파이썬으로 파일을 읽거나 쓸 때, 혹은 크롤링 데이터를 처리할 때 "UnicodeDecodeError" 또는 "cp949 codec can't decode byte" 같은 오류를 본 적 한 번쯤은 있으시죠?이 문제의 원인은 바로 "인코딩 방식"의 차이에서 오는 문제 때문입니다.파이썬은 강력한 텍스트 처리 기능을 제공하지만, 문자 인코딩을 제대로 이해하지 못하면 파일을 제대로 읽지도, 쓰지도 못하는 경우가 많습니다.이 포스팅에서는 파이썬에서 자주 쓰이는 인코딩 방식과, 인코딩 에러 해결법까지 친절하게 정리해 드릴게요. 인코딩이란?인코딩(Encoding)이란 컴퓨터가 문자를 저장하거나 전달할 수 있도록 문자 → 숫자(바이트)로 변환하는 방식입니다.예를 들어 "안녕하세요"라는 ..

안녕하세요딥러닝이나 머신러닝 프로젝트를 해보신 분들이라면 아마 한 번쯤 이런 생각해보셨을 겁니다“모델 불러오고, 데이터 전처리하고, 학습시키고, 또 하이퍼파라미터까지 하나하나 조정하려니 너무 귀찮다…”이런 귀차니즘을 느끼시는 분들 혹은 빠른 프로토타이핑이 필요한 실무자분들에게 유용한 Auto M/L 라이브러리 Pycaret에 대해 소개해보겠습니다 Pycaret? PyCaret은 Python에서 사용하는 자동화 머신러닝(AutoML) 라이브러리로Scikit-learn 기반으로 구성되어 있으며, 복잡한 전처리나 모델링 과정을 단 몇 줄의 코드로 처리할 수 있게 도와줍니다. Scikit-learn, TensorFlow, PyTorch 등 대부분의 머신러닝 프레임워크는 강력하지만, 초기 설정에 시간이 많이 소요..

Jupyter Notebook으로 강의나 문서화를 하다 보면, 동영상을 삽입해서 설명을 보강하고 싶을 때가 간혹 있는데요오늘은 Jupyter Notebook에서 동영상을 삽입하는 제가 사용하는 가장 쉽고 실용적인 방법을 소개드립니다  %%html매직 커맨드? %%html은 셀 매직(Magic) 중 하나로, 해당 셀의 내용을 HTML 코드로 인식하고 바로 브라우저에 렌더링해주는 기능입니다.즉, 파이썬 코드처럼 실행되는 게 아니라, 셀 안의 내용이 HTML처럼 동작하도록 만들어주는 거예요.  이렇게 작성하면 셀 안에 있는 HTML 태그들이 실제로 웹페이지처럼 출력됩니다.  매직커맨드가 생각이 안난다면 %lsmagic을 통해서 쥬피터 노트북에서 제공하는 Magic Command를 확인할 수 있습니다.저는 이 ..

안녕하세요요즘 파이썬이나 데이터 분석을 공부하시는 분들이 정말 많아졌죠?? 그래서 오늘은 제가 쥬피터 노트북을 사용하면서 자주 쓰는 단축키들을 한눈에 보기 좋게 정리해봤어요.처음 접하시는 분들도 부담 없이 따라오실 수 있도록, 모드에 따른 차이점부터 자주 쓰는 단축키, 마크다운 팁까지 전부 담아봤답니다!조금만 익혀두면 정말 유용하게 쓸 수 있으니, 쥬피터 노트북을 자주 사용하는 분들이라면 꼭 한번 읽어보시길 추천드려요.특히 코딩 연습하실 때나 데이터 분석 프로젝트를 하실 때 생산성 향상에 큰 도움이 될 거예요 그럼 지금부터 본격적으로 알아볼까요? [단축키 모음] Help -> Keyboard Shortcuts(Default 단축키: h)  [Cell 상태 변경] MarkDown : "M" / Code :..