무 블로그 무 블로그

큰 그림 보기 문제 정의 비즈니스 목적을 정확히 아는 것이 중요하다. 비즈니스의 목적이 문제의 구성, 알고리즘의 선택, 평가 시 사용할 성능 지표, 모델 튜닝을 위한 자원 을 결정한다. 파이프라인 데이터 처리 컴포넌트들이 연속되어 있는 것 각 컴포넌트는 완전히 독립적이며, 컴포넌트 사이의 인터페이스는 데이터 저장소 밖에 없다. 시스템을 이해하기 쉽게 만들고, 각자의 컴포넌트에 집중할 수 있다. 한 컴포넌트가 고장 날 경우 하위 컴포넌트는 문제가 생긴 컴포넌트의 마지막 출력을 사용해 평상시처럼 동작할 수 있다. 성능 측정 지표 선택 평균 제곱근 오차(RMSE) 예측에 얼마나 많은 오류가 있는지 알 수 있음 평균 절대 오차(MAE) 데이터 가져오기 테스트 세트 만들기 데이터 스누핑 편향 테스트 세트를 볼 경..

왜 머신러닝을 사용하는가? 전통적인 접근 방법 문제가 단순하지 않을 경우 길고 복잡한 규칙으로 인해 유지보수의 난이도가 높아진다. 머신러닝 기반 접근 방법 패턴을 감지하여 좋은 기준을 자동으로 학습한다. 프로그램이 짧아지고 유지 보수하기 쉬우며 정확도가 더 높다. 머신러닝 기반 시스템은 변화를 자동으로 인식하고 업데이트 한다. 전통적인 방식으로는 너무 복잡하거나 알려진 알고리즘이 없는 문제를 해결할 수 있다. 머신러닝 알고리즘이 학습한 것을 조사하여 예상치 못한 연관 관계나 새로운 추세를 발견할 수도 있다. 데이터마이닝 머신러닝 기술을 적용하여 대용량의 데이터를 분석할 경우 겉으로 보이지 않던 패턴을 발견할 수 있다. 머신러닝 시스템의 종류 지도 학습과 비지도 학습 지도 학습 알고리즘에 주입하는 훈련 데..

파이프라인은 여러 처리 단계를 하나의 scikit-learn 추정기 형태로 묶어주는 파이썬 클래스이다. 파이프라인을 사용하는 가장 일반적인 경우는 지도 학습 모델과 전처리 단계를 연결할 때이다. 파이프라인을 사용하면 머신러닝 워크플로에 필요한 모든 처리 단계를 하나의 추정기로 캡슐화 할 수 있다.