出雲川開発

chrome プロファイル指定して起動–ログインセッション保持
たいていは一度きりなのでクッキーに保存すれば次回からログインしなくていい

driver.get(url)


mail = driver.find_element(By.ID, "login_handle") # 次に進むボタン
mail.clear()
mail.send_keys("じぶんのあかうんと")  #入力

element = driver.find_element(By.CSS_SELECTOR, '.ar-button_medium_1i9SB [type="ar-button_medium_1i9SB"]') #複数ある
element.click()

# passwordという名前の要素が見つかるまで1秒間待機
password = WebDriverWait(driver, 1).until(EC.presence_of_element_located((By.NAME, "password")))
password.clear()

chkbox = driver.find_element_by_name('rememberMe') 
# チェックボックスが非選択の状態を確認
if not chkbox.is_selected():
    # 非選択の場合はJavaScriptでクリックする
    driver.execute_script("arguments[0].click();", chkbox)

password.send_keys("じぶんのぱすわーどとか")   #パスワード入力
element = driver.find_element(By.ID, "signInSubmit") # ログインボタン
element.click()         # button click

#''' ワンタイムパスワードが必要な場合
# otpCodeという名前の要素が見つかるまで1秒間待機
otpCode = WebDriverWait(driver, 1).until(EC.presence_of_element_located((By.NAME, "otpCode")))
otpCode.clear()

saveScreen()  # 画面キャプチャの関数呼び出し

#ワンタイムパスワード入力
time.sleep(25) # 25s待ってるあいだにワンタイムパスワードを自分で'onetime.txt'にコピペ
# ファイルを読み込んで一行取得
with open('./env/onetime.txt') as f:
    for line in f:
      otpCode.send_keys(line)   #ワンタイムパスワード入力

chkbox = driver.find_element_by_name('rememberDevice') 
# チェックボックスが非選択の状態を確認
if not chkbox.is_selected():
    # 非選択の場合はJavaScriptでクリックする
    driver.execute_script("arguments[0].click();", chkbox)

element = driver.find_element(By.ID, "auth-signin-button") # ログインボタン
element.click() 

スクリーンショット関数化,画像ファイルが複数

# ファイルを読み込んで一行取得
with open('./csv/url.txt') as f:
    for url in f:

        driver.get(url)

        element = driver.find_element(By.ID, "productTitle")
        productTitle = element.text

        element = driver.find_element(By.CSS_SELECTOR, ".a-price-whole") #複数ある
        price = element.text
        price = price.replace(",", "")  #カンマ除去

        with open('csv/tmp.csv', 'a') as f:
            writer = csv.writer(f)
            writer.writerow([productTitle, price])
            print(productTitle)

import os
from selenium import webdriver
from selenium.webdriver import ChromeOption

# chrome プロファイル指定 
userdata_dir = 'UserData'  # カレントディレクトリの直下に作る場合
os.makedirs(userdata_dir, exist_ok=True)
options = webdriver.ChromeOptions()
options.add_argument('--user-data-dir=' + userdata_dir)

options.add_argument("--headless")
options.add_argument("--no-sandbox")
options.add_argument('--blink-settings=imagesEnabled=false')  #画像を読み込まない

#WEBブラウザの起動
driver = webdriver.Chrome(options=options)

while 1:
    #対象要素 →Pager Next アクティブページ .Pager__link Pager__link--active
    element = driver.find_element(By.CSS_SELECTOR,".Pager__link--active")
    # 親要素   
    element = element.find_element_by_xpath('..')
    # その次のli要素
    element = element.find_element_by_xpath('following-sibling::li')
    # 子要素のaタグがあるか
    if len(element.find_elements_by_class_name("Pager__link--disable")) > 0 :
        break
    else:
        element = element.find_element(By.CSS_SELECTOR,".Pager__link")
        # の次の要素の子要素のaをクリック
        element.click()
        getInsert()  #関数実行

import mysql.connector

conn = mysql.connector.connect(
    host="localhost",
    user="user_name",
    password="password",
    database="amazon"
)

# カーソルを取得
cursor = conn.cursor()


#要素を取得しながらDB insert 
def getInsert():
   # otpCodeという名前の要素が見つかるまで1秒間待機
    WebDriverWait(driver, 2).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".Product")))
    elements = driver.find_elements_by_class_name('Product')
    for element in elements:
    # 要素内のテキストを取得
        # element_text = element.text
        Product__title = element.find_element_by_class_name("Product__title").text
        Product__priceValue = element.find_element_by_class_name("Product__priceValue").text
        Product__priceValue = Product__priceValue.replace(",", "")  #カンマ除去
        Product__priceValue = Product__priceValue.replace("円", "") 

        # データ挿入のクエリ
        insert_data_query = """
        INSERT INTO product (productTitle, price) VALUES (%s, %s)
        """
        # データ挿入
        price_data = (Product__title, Product__priceValue)
        cursor.execute(insert_data_query, price_data)
        # 変更を確定
        conn.commit()
        print(Product__title)


## 要素を取得する処理 とか

 getInsert()  #関数実行

# タグ名が「a」要素の中で最初に見つけた要素を取得
element = driver.find_element(By.TAG_NAME, "a")

# 検索テキストボックスの要素をname属性値(name="q")から取得
element = driver.find_element(By.NAME, "q")

element = driver.find_element(By.CSS_SELECTOR, ".Product") #ループできない
element.click()  #クリックはできる

# aタグ内の文字列がが"Gmail"の要素を取得
element = driver.find_element(By.LINK_TEXT, "Gmail")

elements = driver.find_elements_by_class_name('Product')  #ループできる
# listになると直にfind_elementsできない、回して一要素を取り出すか、find_elementで取得する

for element in elements:
    elem_p1 = element.find_element_by_class_name("rax-view-v2")   #直下の子要素
    elem_p2 = elem_p1.find_elements_by_class_name("rax-view-v2")  # 2つある
    elem_p3 = elem_p2[1].find_elements_by_tag_name("div")        #2番目の子要素たち

一番最初に見つかった要素 element.find_element_by_class_name
リストで取得           element.find_elements_by_class_name

取得とか待機処理など

 import logging

 logging.basicConfig(filename='log/example.log', encoding='utf-8', level=logging.DEBUG)

【Python3】loggerを使ってログをファイルに出力したりちゃんと扱ったりする｜yucco