셀레니움(Selenium)은 웹 애플리케이션을 자동화하는 오픈 소스 도구로, 주로 웹 스크래핑, 자동화 테스트, 반복적인 웹 작업을 자동화하는 데 사용됩니다.
Selenium 소개 (https://selenium.dev)
셀레니움은 자체가 웹브라우저이자 드라이버 역할을 수행합니다. 크롬인것처럼 쓰려면 크롬 드라이버로 세팅해서 쓰면 됩니다. “특정 페이지로 가서 어떤 컴포넌트를 클릭해라”라고 요청하면 그런 작업들을 수행해주는 툴이라고 생각하면 됩니다. 그러다 보니 동적으로 URL이 생성되는 페이지든 어느 페이지든 왠만하면 거의 다 (Active X를 쓰는 웹같은 경우..?) 크롤링 해올 수 있습니다.
!pip install selenium
브라우저에 맞는 WebDriver를 다운로드하고, 실행 파일의 경로를 설정해야 합니다. 아래 매니저를 한번에 설치하는 방법도 있습니다.
!pip install webdriver_manager
from selenium import webdriver
from selenium.webdriver.common.by import By
# 웹드라이버 실행 (크롬)
driver = webdriver.Chrome()
# 웹페이지 열기
driver.get("https://www.google.com")
# 검색창 찾고 입력
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Selenium Python")
search_box.submit()
# 5초 대기 후 종료
driver.implicitly_wait(5)
driver.quit()
find_element(By.ID, "id값")
find_element(By.CLASS_NAME, "class이름")
find_element(By.NAME, "name값")
find_element(By.XPATH, "//태그[@속성='값']")
element.send_keys("텍스트 입력") element.click()
driver.get("https://www.example.com") driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
driver.save_screenshot("screenshot.png")
alert = driver.switch_to.alert alert.accept() # 확인 버튼 클릭
time.sleep()
또는 WebDriverWait()
을 사용하여 적절한 대기 시간 설정 필요WebDriverWait(driver, timeout).until(EC.presence_of_element_located((By.XPATH, "XPATH값")))
활용User-Agent
변경 또는 headless mode
사용윈도우 운영체제의 노트북에서는 iPhone 유선 테더링이 잘 안되는 경우가 많습니다. 보통 iPhone의 드라이버가 설치가 안되있어서인…
안녕하세요, 혹시 이런 생각해 본 적 없으신가요? "내가 투자한 회사는 누가 감시하고, 어떻게 운영될까?" 오늘은…
1. Gemini CLI란 무엇인가요? Gemini CLI는 터미널 환경에서 직접 Gemini 모델과 상호작용할 수 있도록 만들어진…
과적합은 머신러닝에서 학습용데이터를 과하게 학습하여, 실제데이터를 예측하지 못하는 현상을 말합니다. 인공지능(AI)의 학습 방법은 우리가 시험공부를…