덕배의 블로그

크롤링 이번 글에서는 웹 크롤링에 대해서 알아보자. 크롤링으로 텍스트, 이미지, 링크 등을 가져올 수 있는데 이미지만을 추출해보려 한다. 크롤링이란? 일단 크롤링의 개념에 대해서 알아보자. 웹 사이트에서 자신이 원하는 내용들을 가져오고 싶거나 필요할 때 프로그래밍을 이용해 추출하는 방식을 말한다. 즉 웹 페이지에서의 대량 데이터가 필요할 때 자주 쓰이는 방식이다. 라이브러리 설치 이번 글에서는 파이썬을 사용하기에 파이썬 라이브러리를 사용한다. 예제 코드에서 가장 필요로 하는 2가지 라이브러리가 있다. 둘 다 pip install을 통해 설치해 준다. 1. BeautifulSoup, request pip install requests beautifulsoup4 - 페이지를 가져오고 데이터를 추출할 수 있게..

과적합, 과소 적합 과적합과 과소 적합을 알기 전에 학습을 해야 하는데 그러기 전에 딥러닝에 대해서 알아보는 게 좋을 듯싶다. 이번 글은 과적합과 과소 적합에 대해서 알아보려 한다. 인공지능(AI) 딥러닝과 알고리즘( CNN, RNN, LSTM)에 대해 알아보자 Deep Learning이란? 딥러닝(Deep Learning)이란 여러 층을 가진 인공신경망(Artificial Neural Network, ANN)을 사용하여 머신러닝 학습을 수행하는 것으로 심층학습이라고도 부른다. 따라서 딥러닝은 머신러닝 kdbeom.com 과적합 학습 중인 데이터의 양에 비해 머신러닝 모델이 너무 복잡해지면 발생 다른 말로 하면 훈련 데이터를 과하게 학습한 경우를 말한다. 과적합 상황에서는 훈련 데이터에 대해서는 오차가 ..

MNIST MNIST를 알기 전에 로지스틱 회귀를 통해 이진 분류를 해결한다면 소프트맥스 회귀를 통해 다중 클래스 분류가 가능하다. 그렇다면 수많은 데이터를 분류하기 위해서는 다중 클래스 분류를 해야 하기에 우리는 소프트맥스 회귀를 이용한다. 로지스틱 회귀가 무엇인지 소프트맥스 회귀가 무엇인지 궁금하다면 밑에 링크를 통해 알아보자. 로지스틱 회귀, 시그모이드와 비용함수(크로스 엔트로피)에 대해 알고 파이토치로 실습해보자 로지스틱 회귀 이번 글은 로지스틱 회귀와 시그모이드 함수, 교차 엔트로피(크로스 엔트로피)에 대해서 알아보고 파이토치로 간단하게 실습까지 해보려 한다. 예를 들면 어떤 메일을 받았을 때 kdbeom.com 소프트맥스(softmax) 회귀에 대해서 알아보고 파이토치로 실습 해보자 소프트맥스..

소프트맥스 회귀 소프트 맥스를 알기 전에 2개의 선택지 중에서 1개를 고르는 이진 분류에는 로지스틱 회귀를 통해 알아보았다. 근데 3개 이상의 선택지 중에서 1개를 고르는 다중 클래스 분류에서는 소프트맥스 회귀를 사용한다. 이번 글은 소프트맥스에 대해서 알아보고 간단하게 파이토치로 구현해보려 한다. 이진 분류와 로지스틱 회귀에 대해서 다중 클래스 분류, 소프트 맥스 회귀에 대해서 공부하는 게 좋을 듯하다. 밑에 링크를 통해 이진 분류와 로지스틱 회귀부터 알아보자 로지스틱 회귀(Logistic Regression), 시그모이드(sigmoid)에 대해 알고 파이토치로 실습해보자 로지스틱 회귀 이번 글은 로지스틱 회귀와 시그모이드 함수, 교차 엔트로피(크로스 엔트로피)에 대해서 알아보고 파이토치로 간단하게 실..

One-Hot Encoding 이 글은 원 핫 인코딩이 무엇인지 왜 쓰는지 어디에 쓰는지 알 수 있는 글이다. 원 핫 인코딩을 알기 전에 벡터에 대해서 아는 게 좋다. 밑에 링크를 통해 알아보자 벡터, 행렬, 텐서를 이해하고 Numpy(넘파이)로 실습해보기 딥러닝의 기본적인 단위 딥 러닝의 가장 기본적인 단위는 벡터, 행렬, 텐서이다. 차원이 없는 값을 스칼라 딥러닝을 할 때 다루고 있는 행렬 또는 텐서의 크기를 고려하는 것은 중요하기에 딥러 kdbeom.com 원 핫 인코딩이란? 원 핫 인코딩은 주어진 범주형 데이터를 이진 형태로 변환하는 방법이다. 컴퓨터가 이해하기 쉽도록 데이터를 변환하는 기술 사과:1 배: 2 포도: 3 수박: 4 원 핫 인코딩으로 변환하면 사과: [1, 0, 0, 0] 배: [0..