スクレイピング入門

登録は簡単!. 無料です
または 登録 あなたのEメールアドレスで登録
スクレイピング入門 により Mind Map: スクレイピング入門

1. 1.スクレイピングとは

1.1. Webサイトからのデータ取得

1.2. Webサイトへのデータ入力

1.3. Webサイトの操作

2. 2.使用するライブラリ

2.1. selenium

2.1.1. Webブラウザを自動操作する

2.1.2. 低速

2.1.3. ほぼどんな操作でもできる

2.2. requests

2.2.1. WebブラウザなしでWebアクセスする

2.2.2. 高速

2.2.3. できることに制限がある

2.2.4. 基本的にデータ取得のみ

3. 3.seleniumの使い方

3.1. インストール

3.1.1. pip install selenium

3.1.2. バージョンに合ったchromedriverをダウンロード

3.1.2.1. chrome://version

3.1.2.2. Downloads - ChromeDriver - WebDriver for Chrome

3.2. driver

3.2.1. Webブラウザを自動操作するツール

3.2.2. Webブラウザ毎にdriverファイルが毎なる

3.2.2.1. Chrome:chromedriver

3.2.2.1.1. 多くの顧客のPCにインストールされてるので使いやすい

3.2.2.2. Firefox:geckodriver

3.2.2.2.1. chromeよりも高速だが、プロファイルの保存が機能しない

3.2.3. メソッド

3.2.3.1. get(url)

3.2.3.1.1. 画面遷移

3.2.3.1.2. 例)driver.get(”google.com”)

3.2.3.2. find_element*

3.2.3.2.1. DOM要素を取得

3.2.3.2.2. 例)driver.find_element_by_class_name("name")

3.2.3.2.3. find_elements_** とした場合はマッチする複数要素を取得

3.2.3.2.4. find_element_by_css_selector

3.2.3.3. get_attribute(属性)

3.2.3.3.1. DOM要素の属性の値を取得

3.2.3.3.2. 例) driver.find_element_by_class_name("name").get_attribute("href")

3.2.3.4. quit()

3.2.3.4.1. 画面を閉じる