박범준의 일상로그

웹툰 크롤링 시리즈 마지막 편은 카카오페이지이다 카카페의 전체 작품의 시리즈ID, 작품명, 장르, 작가, 연령가, 조회수, 마지막연재일, 연재상태 정보를 가져오는 코드이다 카카페는 GraphQL을 통해 데이터를 요청해야해서 코드가 길다 import openpyxl import requests from tqdm import tqdm import time ## 전체작품 url = 'https://page.kakao.com/graphql' query = '''query staticLandingGenreSection($sectionId: ID!, $param: StaticLandingGenreParamInput!) { staticLandingGenreSection(sectionId: $sectionId, par..

카카오웹툰에 현재 서비스 중인 연재작품과 완결작품 정보를 수집하는 코드이다 시리즈ID, 작품명, 저자, 출판사, 성연작품여부, 조회수, 좋아요수, 연재상태를 가져온다 import json import openpyxl import requests from tqdm import tqdm import time from bs4 import BeautifulSoup def epi_info(series_id, state): epi_url = 'https://webtoon.kakao.com/content/text/' + str(series_id) epi_res = requests.get(epi_url) soup = BeautifulSoup(epi_res.content, 'html.parser') result = so..

네이버에 현재 서비스 중인 모든 웹툰을 크롤링해서 결과를 엑셀 파일로 저장하는 코드이다 가져오는 정보는, 시리즈ID, 작품명, 저자, 성인작품여부, 별점, 연재요일 등이 있다 import openpyxl import requests from tqdm import tqdm import time def series_info(series_id): '''시리즈ID를 입력받아, 장르와 관심수를 반환한다''' series_info_url = 'https://comic.naver.com/api/article/list/info?titleId=' + str(series_id) series_res = requests.get(series_info_url) series_info = series_res.json() try: f..

머신러닝 파워드 애플리케이션 간단 요약 이 책만의 차별점 모델링 이론 혹은 라이브러리 튜토리얼에 초점을 맞춘 다른 책들과 달리, 머신러닝 애플리케이션 기획, 모델링, 배포, 모니터링, 개선까지 전체적인 사이클을 따라해볼 수 있을 정도로 구체적으로 설명 주관적인 인사이트 머신러닝 서비스를 만드는 과정도 린하게 보는 관점이 재미있었습니다. 데이터 분석 과정도 동일한 맥락일 것 모델 뿐만 아니라, 데이터셋도 린하게 개선해야하는 대상 머신러닝이 모든 문제를 해결하는 만능도구가 아니라는 것을 확실하게 인지 머신러닝, 마케팅, 기획 등등 모든 일은 결국 비즈니스 성과 개선을 위한 것이다 저자 현재 스트라이프에서 머신러닝 엔지니어링 담당, 데이터 과학 및 엔지니어 분야 멘토링 진행 스트라이프: 글로벌 결제 핀테크 기..

파이썬 tqdm 라이브러리 사용법 파이썬에서 반복문을 사용할 때, 반복이 얼마나 남았는지를 확인하고 싶을 때가 있다. 예전에는, 반복문 중간에 if 조건을 넣어서 얼마나 진행되는지 확인하곤했다. 이러한 문제를 해결해줄 수 있는게 tqdm 라이브러리다 반복이 얼마나 남았는지 프로그레스바로 알수있다. import tqdm for i in tqdm.tqdm(range(100000000)): i+=1 print(i) tqdm 사용법은 간단하다 1. 먼저 tqdm을 import한다 2. 반복가능한 대상(이터러블)을 tqdm() 안에 넣어준다 그러면 위와 같이, 코드 하단에 얼마나 진행되었고, 몇초가 남았는지, 몇초가 걸렸는지 등을 확인할 수 있다. trange tqdm() 말고 trange()라는 방법도 있다 아..

안녕하세요. 주피터 노트북 혹은 주피터랩에서 DB에 바로 접속하는 방법입니다. 보통 파이썬으로 DB에 있는 데이터를 가공하거나 분석할 때, csv 등으로 데이터를 다운로드한 후 파이썬으로 불러서 사용합니다. ipython-sql 라이브러리를 사용하면, 주피터에서 DB에 바로 접근할 수 있습니다. 1. 라이브러리를 설치합니다. pip install ipython-sql 2. 데이터베이스용 드라이버 라이브러리를 설치합니다. 접속하려는 DB에 해당하는 라이브러리를 설치하시면 됩니다. ex. SQL server의 DB에 접속하려면 pyodbc를 설치하시면 됩니다. # sql server pip install pyodbc # PostgreSQL pip install pyscopg2 # MySQL pip insta..

In [1]: from IPython.core.display import display, HTML display(HTML("")) Matrix Factorization을 통한 상품 추천¶ 1. 개요¶목적 상품 구매 데이터 탐색 상품 추천 모델을 만들어 고객 만족도 증대 및 매출 증대 작업 기간 2020.12.15. ~ 2020.12.29. 데이터 출처 쇼핑몰 주문 데이터 참고 Collaborative Filtering for Implicit Feedback Datasets https://yeomko.tistory.com/5 https://velog.io/@vvakki_/series/Recommendation-System https://medium.com/code-states/%EC%B6%94%EC%B2%..

네이버 자동 로그인 지난 번에 포스팅한 파이썬 쿠팡 로그인에 이어, 파이썬으로 네이버에 로그인하는 방법입니다. 쿠팡 로그인 방법과 마찬가지로 selenium 패키지를 사용하기 때문에 크롬 웹드라이버가 필요합니다. 파이썬으로 쿠팡 로그인 쿠팡 자동 로그인 파이썬과 selenium을 사용하여 자동으로 쿠팡에 로그인하는 방법입니다. 먼저 selenium을 사용하려면 크롬 웹드라이버가 필요하기 때문에, 다운로드해야 합니다. 크롬 웹드라이버 다운로드 사용.. 95pbj.tistory.com 위의 글을 참고하여, 크롬 웹드라이버를 다운로드 합니다. 네이버 로그인 먼저, 위에서 다운로드한 크롬 웹드라이버를 파이썬 코드 파일과 동일한 경로에 위치시켜줍니다. 저는 jupyter notebook을 사용하여 .ipynb이지..

쿠팡 자동 로그인 파이썬과 selenium을 사용하여 자동으로 쿠팡에 로그인하는 방법입니다. 먼저 selenium을 사용하려면 크롬 웹드라이버가 필요하기 때문에, 다운로드해야 합니다. 크롬 웹드라이버 다운로드 사용 중인 크롬의 버전을 확인합니다. 크롬 버전 정보의 앞 두 자리를 확인합니다. 아래 이미지에서 버전 정보의 앞 두 자리는 80입니다. 아래 링크로 접속합니다. https://chromedriver.chromium.org/downloads 버전에 맞는 다운로드 링크를 클릭합니다. 위에서 확인했던 제 크롬 버전은 80이었기 때문에, 80 버전에 해당하는 2번째 링크를 클릭합니다. 사용하는 운영체제에 맞는 드라이버를 다운로드합니다. 다운로드 후 압축을 풀어주면 됩니다. 리눅스 -> chromedriv..

In [61]: #티스토리 업로드를 위하여 화면 크기 조절 from IPython.core.display import display, HTML display(HTML("")) 유튜브 인기 동영상 데이터 분석¶ Data Description(kaggle)¶https://www.kaggle.com/datasnaek/youtube-new by byeongjoon Context¶YouTube (the world-famous video sharing website) maintains a list of the top trending videos on the platform. According to Variety magazine, “To determine the year’s top-trending videos, Yo..