박범준의 일상로그

웹툰 크롤링 시리즈 마지막 편은 카카오페이지이다 카카페의 전체 작품의 시리즈ID, 작품명, 장르, 작가, 연령가, 조회수, 마지막연재일, 연재상태 정보를 가져오는 코드이다 카카페는 GraphQL을 통해 데이터를 요청해야해서 코드가 길다 import openpyxl import requests from tqdm import tqdm import time ## 전체작품 url = 'https://page.kakao.com/graphql' query = '''query staticLandingGenreSection($sectionId: ID!, $param: StaticLandingGenreParamInput!) { staticLandingGenreSection(sectionId: $sectionId, par..

카카오웹툰에 현재 서비스 중인 연재작품과 완결작품 정보를 수집하는 코드이다 시리즈ID, 작품명, 저자, 출판사, 성연작품여부, 조회수, 좋아요수, 연재상태를 가져온다 import json import openpyxl import requests from tqdm import tqdm import time from bs4 import BeautifulSoup def epi_info(series_id, state): epi_url = 'https://webtoon.kakao.com/content/text/' + str(series_id) epi_res = requests.get(epi_url) soup = BeautifulSoup(epi_res.content, 'html.parser') result = so..

네이버에 현재 서비스 중인 모든 웹툰을 크롤링해서 결과를 엑셀 파일로 저장하는 코드이다 가져오는 정보는, 시리즈ID, 작품명, 저자, 성인작품여부, 별점, 연재요일 등이 있다 import openpyxl import requests from tqdm import tqdm import time def series_info(series_id): '''시리즈ID를 입력받아, 장르와 관심수를 반환한다''' series_info_url = 'https://comic.naver.com/api/article/list/info?titleId=' + str(series_id) series_res = requests.get(series_info_url) series_info = series_res.json() try: f..

파이썬 tqdm 라이브러리 사용법 파이썬에서 반복문을 사용할 때, 반복이 얼마나 남았는지를 확인하고 싶을 때가 있다. 예전에는, 반복문 중간에 if 조건을 넣어서 얼마나 진행되는지 확인하곤했다. 이러한 문제를 해결해줄 수 있는게 tqdm 라이브러리다 반복이 얼마나 남았는지 프로그레스바로 알수있다. import tqdm for i in tqdm.tqdm(range(100000000)): i+=1 print(i) tqdm 사용법은 간단하다 1. 먼저 tqdm을 import한다 2. 반복가능한 대상(이터러블)을 tqdm() 안에 넣어준다 그러면 위와 같이, 코드 하단에 얼마나 진행되었고, 몇초가 남았는지, 몇초가 걸렸는지 등을 확인할 수 있다. trange tqdm() 말고 trange()라는 방법도 있다 아..

안녕하세요. 주피터 노트북 혹은 주피터랩에서 DB에 바로 접속하는 방법입니다. 보통 파이썬으로 DB에 있는 데이터를 가공하거나 분석할 때, csv 등으로 데이터를 다운로드한 후 파이썬으로 불러서 사용합니다. ipython-sql 라이브러리를 사용하면, 주피터에서 DB에 바로 접근할 수 있습니다. 1. 라이브러리를 설치합니다. pip install ipython-sql 2. 데이터베이스용 드라이버 라이브러리를 설치합니다. 접속하려는 DB에 해당하는 라이브러리를 설치하시면 됩니다. ex. SQL server의 DB에 접속하려면 pyodbc를 설치하시면 됩니다. # sql server pip install pyodbc # PostgreSQL pip install pyscopg2 # MySQL pip insta..

파이썬에서 기본적인 추리 통계분석 패키지를 사용하는 방법입니다. In [1]: from IPython.core.display import display, HTML display(HTML("")) In [2]: import pandas as pd import numpy as np from scipy import stats 추리통계¶ t 검증¶ 독립표본 t 검증¶ In [3]: sample1=np.random.randint(1000,size=50) sample2=np.random.randint(1000,size=50) print("평균") print(np.mean(sample1)) print(np.mean(sample2)) print("표준편차") print(np.std(sample1)) print(np.s..

파이썬으로 공휴일 날짜 구하기 pytimekr pytimekr이라는 라이브러리를 사용해서 공휴일 날짜를 쉽게 할 수 있습니다. 1. 먼저 pytimekr을 인스톨합니다. 2. 라이브러리를 불러오고, 메소드를 호출하여 간편하게 사용할 수 있습니다. 아래 이미지처럼 반복문과 함께 사용하면, 연도별 공휴일 날짜를 빠르게 구할 수 있습니다. 3. 그 외 공휴일 날짜 구하기 위한 코드입니다. 전체 코드입니다. # 라이브러리 호출 from pytimekr import pytimekr # 추석 pytimekr.chuseok() # 설날 pytimekr.lunar_newyear() # 한글날 pytimekr.hangul() # 어린이날 pytimekr.children() # 광복절 pytimekr.independenc..

서든어택 크롤링 서든어택 전적을 크롤링하여, csv 파일로 저장합니다. 아래 이미지의 빨간 박스 안의 데이터를 수집합니다. 수집한 데이터를 아래 이미지의 csv 파일로 저장합니다. selenium 패키지를 사용하기 때문에 크롬 웹드라이버가 필요합니다. 파이썬으로 쿠팡 로그인 쿠팡 자동 로그인 파이썬과 selenium을 사용하여 자동으로 쿠팡에 로그인하는 방법입니다. 먼저 selenium을 사용하려면 크롬 웹드라이버가 필요하기 때문에, 다운로드해야 합니다. 크롬 웹드라이버 95pbj.tistory.com 위의 글을 참고하여, 크롬 웹드라이버를 다운로드할 수 있습니다. 코드1 필요한 라이브러리를 호출하고, 함수를 선언하는 부분입니다. import csv import time from datetime impo..

네이버 자동 로그인 지난 번에 포스팅한 파이썬 쿠팡 로그인에 이어, 파이썬으로 네이버에 로그인하는 방법입니다. 쿠팡 로그인 방법과 마찬가지로 selenium 패키지를 사용하기 때문에 크롬 웹드라이버가 필요합니다. 파이썬으로 쿠팡 로그인 쿠팡 자동 로그인 파이썬과 selenium을 사용하여 자동으로 쿠팡에 로그인하는 방법입니다. 먼저 selenium을 사용하려면 크롬 웹드라이버가 필요하기 때문에, 다운로드해야 합니다. 크롬 웹드라이버 다운로드 사용.. 95pbj.tistory.com 위의 글을 참고하여, 크롬 웹드라이버를 다운로드 합니다. 네이버 로그인 먼저, 위에서 다운로드한 크롬 웹드라이버를 파이썬 코드 파일과 동일한 경로에 위치시켜줍니다. 저는 jupyter notebook을 사용하여 .ipynb이지..

쿠팡 자동 로그인 파이썬과 selenium을 사용하여 자동으로 쿠팡에 로그인하는 방법입니다. 먼저 selenium을 사용하려면 크롬 웹드라이버가 필요하기 때문에, 다운로드해야 합니다. 크롬 웹드라이버 다운로드 사용 중인 크롬의 버전을 확인합니다. 크롬 버전 정보의 앞 두 자리를 확인합니다. 아래 이미지에서 버전 정보의 앞 두 자리는 80입니다. 아래 링크로 접속합니다. https://chromedriver.chromium.org/downloads 버전에 맞는 다운로드 링크를 클릭합니다. 위에서 확인했던 제 크롬 버전은 80이었기 때문에, 80 버전에 해당하는 2번째 링크를 클릭합니다. 사용하는 운영체제에 맞는 드라이버를 다운로드합니다. 다운로드 후 압축을 풀어주면 됩니다. 리눅스 -> chromedriv..