[Python/MSSQL] pymssql로 DB insert, 프로시저 호출 방법
파이썬 Pymssql 패키지를 통해 데이터베이스에 접근하여 테이블을 읽고 조작하는 방법에 대한 글입니다.
[Python/데이터분석] 데이터프레임 구분자로 텍스트 분리 후 컬럼 생성하기
안녕하세요. 파이썬으로 데이터분석을 할 때, 한 컬럼의 텍스트를 구분자로 구분한 후, 새 컬럼들로 쪼개야 하는 작업이 필요할 때가 종종 있습니다. 단순 텍스트라면 .split(delimiter)을 사용하여 쉽게 list로 쪼갤 수 있는데, 데이터 프레임에서는 어떻게 해야 할까요? 데이터프레임 컬럼 구분자 이용하여 다중 컬럼으로 쪼개기 예시 데이터프레임 data를 만들어 보겠습니다. 해당 테이블은 제가 임의로 만들었구요, 루테인 플러스라는 영양제에 대한 … Read more
[Python/MSSQL] pymssql MSSQL DB Dataframe으로 읽어오기 (+한글 깨짐 해결법)
안녕하세요. 오늘은 pymmsql 패키지를 통해 MSSQL DB를 파이썬으로 쉽게 읽어 DataFrame으로 변환하는 방법에 대해 알아보려고 합니다. MSSQL DB 연결하기 먼저 DATABASE, IP 등의 정보를 통해 DB에 연결해 주어야 해요. 서버와 DB명, username과 password를 입력한 뒤, 연결해 줍니다. DataFrame으로 테이블 읽어오기 원하는 테이블을 읽어서 DataFrame으로 저장하는 방법입니다.query에 원하는 sql 쿼리문을 작성해주시고, pandas의 .read_sql()을 쓰면 됩니다. 짜잔 … Read more
[워드프레스] 가비아 도메인, 카페24 호스팅 블로그 구글서치콘솔 등록하기
구글 서치 콘솔이란? 구글 서치 콘솔은 웹사이트(블로그)가 구글 검색 결과에 표시되는 방식을 관리하는 도구입니다. 블로그나 웹사이트를 등록하면, 구글은 해당 사이트를 수집하여 사용자에게 제공해줘요. 구글 서치 콘솔을 통해 검색 결과에서 어떻게 표시되는지 모니터링하고 SEO 최적화할 수 있습니다. 따라서 높은 트래픽을 얻고자 하는 분들께 필수로 꼭 하시기를 권장드려요. 구글 서치 콘솔 등록하기 1. 구글 서치 콘솔 접속하기 … Read more
[Python] sas7bdat 파일 읽는 방법
안녕하세요. 오늘은 .sas7bdat 파일 읽는 법에 대해 소개드리겠습니다. sas7bdat 파일이란? sas7bdat 파일은 SAS Institute Inc.가 개발한 SAS (통계 분석 시스템) 소프트웨어의 데이터를 저장하는 파일 확장자입니다. 파일은 주로 SAS Data Set File 형식으로 알려져 있으며 Database Files에 속합니다. sas7bdat 파일의 특징 SAS7BDAT 파일은 주로 데스크톱 및 일부 모바일 장치에서 발견되는데, 이 파일은 Windows 및 Linux에서 지원됩니다. … Read more
[Python] pdf 파일 텍스트 추출하기, pdfquery 일부분만 읽어올 때 해결 방법
파이썬 pdf 파일 텍스트 추출하기 오늘은 python pdfquery, pdfreader 패키지로 pdf 파일을 읽어 텍스트를 추출하는 방법을 알아보도록 하겠습니다.저는 식품안전나라에서 다운로드 받은 아래 ‘1-11_엽산.pdf’ 파일의 텍스트를 추출해보려고 합니다. 1. pdfquery로 pdf 텍스트 추출하기 위의 코드를 통해서 1-11_엽산.pdf 파일을 읽어올 수 있어요. 읽어 온 text를 출력해보면 아래와 같은 결과를 얻을 수 있습니다. 잘 읽어온 것 처럼 보이지만 … Read more
[Python/ChatGPT] chatGPT 실무 활용편: OpenAI API로 원하는 텍스트 추출하기, API 사용 비용
생성형 AI, 신기하긴 한데 실무에 어떻게 직접 적용할지 막막하신가요? 실제로 제가 실무에서 활용했던 것 중 하나로, ChatGPT API를 활용하여 텍스트를 추출하는 방법에 대해 포스팅 해보려고 합니다🙂 궁금한 점은 댓글로 남겨주세요! API 키 발급 먼저 OpenAI의 공식 웹사이트에서 ChatGPT API에 로그인하여 API 키를 발급받아야 합니다. 발급된 키는 다른 사람이 악용할 경우, 과금될 수 있으니 절대 절대 … Read more
[Python/Selenium] click 오류 StaleElementReferenceException 해결하기
파이썬 셀레니움으로 웹 크롤링을 하다보면 분명 존재하는 element임에도 불구하고 click()이 작동되지 않을 때가 종종 있습니다. 해당 element를 찾을 수 없다던지(아니 분명 있는데?) 해당 element에 수행할 수 없는 명령이라던지… 이럴 땐 javascript 명령어로 click을 실행하여 해결할 수 있어요. StaleElementReferenceException 오류 이 오류는 페이지 갱신 또는 변경으로 인해 이전에 참조했던 웹 요소가 더 이상 유효하지 않을 때 … Read more
[Python/Selenium] WebDriverException chromedriver PATH 에러 해결하기, .exe없이 실행하기
Selenium을 이용하여 크롤링을 할 때, 설치된 Chrome의 버전 정보와 다운로드 받아준 chromeriver.exe의 버전 정보가 맞지 않아 매번 바꾸어 주어야 하는 번거로움이 있습니다. 최근 Selenium이 업데이트 되면서 매번 chromedriver.exe를 교체해 주어야 하는 수고가 없어졌어요! 1. selenium 설치하기 먼저 파이썬 selenium 패키지를 설치해주세요. 2. 관련 패키지 import 관련된 패키지들을 import 해줍니다. 3. Webdriver 실행하기 webdriver를 실행해줍니다. 아래와 … Read more