Python

파이썬과 관련된 다양한 프로그래밍 팁에 대해 다루고 있습니다.

  • 데이터 분석
  • 자동화
  • 머신러닝
  • 인공지능

위의 주제들에 대해 다양한 예제와 함께 파이썬 프로그래밍을 공부해 보세요. 낙서처럼 즐겁게 공부하는 코딩을 지향합니다.

[Python/데이터분석] 데이터프레임 구분자로 텍스트 분리 후 컬럼 생성하기

by
구분자 이용하여 컬럼 생성하기

안녕하세요. 파이썬으로 데이터분석을 할 때, 한 컬럼의 텍스트를 구분자로 구분한 후, 새 컬럼들로 쪼개야 하는 작업이 필요할 때가 종종 있습니다. 단순 텍스트라면 .split(delimiter)을 사용하여 쉽게 list로 쪼갤 수 있는데, 데이터 프레임에서는 어떻게 해야 할까요? 데이터프레임 컬럼 구분자 이용하여 다중 컬럼으로 쪼개기 예시 데이터프레임 data를 만들어 보겠습니다. 해당 테이블은 제가 임의로 만들었구요, 루테인 플러스라는 영양제에 대한 … Read more

[Python/MSSQL] pymssql MSSQL DB Dataframe으로 읽어오기 (+한글 깨짐 해결법)

by
pymssql DB 읽기

안녕하세요. 오늘은 pymmsql 패키지를 통해 MSSQL DB를 파이썬으로 쉽게 읽어 DataFrame으로 변환하는 방법에 대해 알아보려고 합니다. MSSQL DB 연결하기 먼저 DATABASE, IP 등의 정보를 통해 DB에 연결해 주어야 해요. 서버와 DB명, username과 password를 입력한 뒤, 연결해 줍니다. DataFrame으로 테이블 읽어오기 원하는 테이블을 읽어서 DataFrame으로 저장하는 방법입니다.query에 원하는 sql 쿼리문을 작성해주시고, pandas의 .read_sql()을 쓰면 됩니다. 짜잔 … Read more

[Python] sas7bdat 파일 읽는 방법

by

안녕하세요. 오늘은 .sas7bdat 파일 읽는 법에 대해 소개드리겠습니다. sas7bdat 파일이란? sas7bdat 파일은 SAS Institute Inc.가 개발한 SAS (통계 분석 시스템) 소프트웨어의 데이터를 저장하는 파일 확장자입니다. 파일은 주로 SAS Data Set File 형식으로 알려져 있으며 Database Files에 속합니다. sas7bdat 파일의 특징 SAS7BDAT 파일은 주로 데스크톱 및 일부 모바일 장치에서 발견되는데, 이 파일은 Windows 및 Linux에서 지원됩니다. … Read more

[Python] pdf 파일 텍스트 추출하기, pdfquery 일부분만 읽어올 때 해결 방법

by

파이썬 pdf 파일 텍스트 추출하기 오늘은 python pdfquery, pdfreader 패키지로 pdf 파일을 읽어 텍스트를 추출하는 방법을 알아보도록 하겠습니다.저는 식품안전나라에서 다운로드 받은 아래 ‘1-11_엽산.pdf’ 파일의 텍스트를 추출해보려고 합니다. 1. pdfquery로 pdf 텍스트 추출하기 위의 코드를 통해서 1-11_엽산.pdf 파일을 읽어올 수 있어요. 읽어 온 text를 출력해보면 아래와 같은 결과를 얻을 수 있습니다. 잘 읽어온 것 처럼 보이지만 … Read more

[Python/ChatGPT] chatGPT 실무 활용편: OpenAI API로 원하는 텍스트 추출하기, API 사용 비용

by

생성형 AI, 신기하긴 한데 실무에 어떻게 직접 적용할지 막막하신가요? 실제로 제가 실무에서 활용했던 것 중 하나로, ChatGPT API를 활용하여 텍스트를 추출하는 방법에 대해 포스팅 해보려고 합니다🙂 궁금한 점은 댓글로 남겨주세요! API 키 발급 먼저 OpenAI의 공식 웹사이트에서 ChatGPT API에 로그인하여 API 키를 발급받아야 합니다. 발급된 키는 다른 사람이 악용할 경우, 과금될 수 있으니 절대 절대 … Read more

[Python/Selenium] click 오류 StaleElementReferenceException 해결하기

by

파이썬 셀레니움으로 웹 크롤링을 하다보면 분명 존재하는 element임에도 불구하고 click()이 작동되지 않을 때가 종종 있습니다. 해당 element를 찾을 수 없다던지(아니 분명 있는데?) 해당 element에 수행할 수 없는 명령이라던지… 이럴 땐 javascript 명령어로 click을 실행하여 해결할 수 있어요. StaleElementReferenceException 오류 이 오류는 페이지 갱신 또는 변경으로 인해 이전에 참조했던 웹 요소가 더 이상 유효하지 않을 때 … Read more

[Python/Selenium] WebDriverException chromedriver PATH 에러 해결하기, .exe없이 실행하기

by

Selenium을 이용하여 크롤링을 할 때, 설치된 Chrome의 버전 정보와 다운로드 받아준 chromeriver.exe의 버전 정보가 맞지 않아 매번 바꾸어 주어야 하는 번거로움이 있습니다. 최근 Selenium이 업데이트 되면서 매번 chromedriver.exe를 교체해 주어야 하는 수고가 없어졌어요! 1. selenium 설치하기 먼저 파이썬 selenium 패키지를 설치해주세요. 2. 관련 패키지 import 관련된 패키지들을 import 해줍니다. 3. Webdriver 실행하기 webdriver를 실행해줍니다. 아래와 … Read more

[Python/Selenium] 파일 다운로드 경로 설정하기

by

Python Selenium을 이용하여 다운로드 받을 경로를 설정한 후 파일을 다운로드 받는 법을 알아보겠습니다. 1. 다운로드 경로 설정 먼저, webdriver의 chromeOptions()을 사용하여 download.default_directory 값을 설정해줍니다. 위의 코드에서 “다운로드 경로 입력” 부분에 실제 파일을 다운로드 받고자 하는 경로를 입력해주세요 🙂 2. 파일 다운로드 이제 파일을 다은로드 하려는 웹 페이지에서 원하는 요소를 선택하여 클릭합니다. 이제 앞서 설정한 경로에 … Read more