スクレイピング入門

1. 3.seleniumの使い方

1.1. インストール

1.1.1. pip install selenium

1.1.2. バージョンに合ったchromedriverをダウンロード

1.1.2.1. chrome://version

1.1.2.2. Downloads - ChromeDriver - WebDriver for Chrome

1.2. driver

1.2.1. Webブラウザを自動操作するツール

1.2.2. Webブラウザ毎にdriverファイルが毎なる

1.2.2.1. Chrome:chromedriver

1.2.2.1.1. 多くの顧客のPCにインストールされてるので使いやすい

1.2.2.2. Firefox:geckodriver

1.2.2.2.1. chromeよりも高速だが、プロファイルの保存が機能しない

1.2.3. メソッド

1.2.3.1. get(url)

1.2.3.1.1. 画面遷移

1.2.3.1.2. 例）driver.get(”google.com”)

1.2.3.2. find_element*

1.2.3.2.1. DOM要素を取得

1.2.3.2.2. 例）driver.find_element_by_class_name("name")

1.2.3.2.3. find_elements_** とした場合はマッチする複数要素を取得

1.2.3.2.4. find_element_by_css_selector

1.2.3.3. get_attribute(属性)

1.2.3.3.1. DOM要素の属性の値を取得

1.2.3.3.2. 例） driver.find_element_by_class_name("name").get_attribute("href")

1.2.3.4. quit()

1.2.3.4.1. 画面を閉じる

2. 1.スクレイピングとは

2.1. Webサイトからのデータ取得

2.2. Webサイトへのデータ入力

2.3. Webサイトの操作

3. 2.使用するライブラリ

3.1. selenium

3.1.1. Webブラウザを自動操作する

3.1.2. 低速

3.1.3. ほぼどんな操作でもできる

3.2. requests

3.2.1. WebブラウザなしでWebアクセスする

3.2.2. 高速

3.2.3. できることに制限がある

3.2.4. 基本的にデータ取得のみ