「Python×Seleniumの自動化ってなにができるんだろう？」
「Python×Seleniumで作業の自動化に挑戦してみたい」
このような方に向けて、本記事ではPython×Seleniumの自動化について、事前準備から徹底解説します。
プログラミング未経験の方でも、順を追って進めていけば実践できるような内容となっておりますので、ぜひ最後までお読みください。
PythonのSeleniumとは？
PythonのSeleniumの特徴や注意点について解説します。
動的なページからも情報が取得できる
Seleniumは、Webページ上でJavaScriptを動かし、動的にページが生成される場合にもデータを取得できるツールです。
通常のスクレイピングツールでは取得が難しい動的なページも、Seleniumを使うことで簡単に取得できるようになります。
動的なページとは、ユーザーの入力した内容に応じて表示内容が変わるページのことです。
たとえばAmazonをイメージしてみてください。
ログイン前とログイン後では表示されているおすすめ商品が異なります。
このように、閲覧する人や入力内容に応じて表示が変わるページを動的なページといいます。
BeautifulSoupと組み合わせると効果的
Seleniumは主にブラウザの自動操作に使用されますが、BeautifulSoupと組み合わせることで、取得したデータを解析しやすくなります。
SeleniumとBeautifulSoupを利用したスクレイピングの方法については下記でも詳しく解説していますので、興味がある方は読んでみてください。
Seleniumを使用するうえで注意すること
Seleniumを使う際にはいくつか注意点があります。
ひとつはスクレイピングする際のWebサイトへのアクセス頻度です。
頻繁にアクセスをしてしまうと、サイトのパフォーマンスに影響を与える可能性があります。
したがって、過度なアクセスは避けるべきです。
もうひとつは、Webサイトの利用規約に従うことです。
スクレイピングを禁止しているサイトもありますので、事前に利用規約を確認しておきましょう。
Python×Seleniumを実行するための事前準備
Python×Seleniumを実行するには、大きく3つの準備が必要です。
Pythonの実行環境を構築する
まず最初に、Pythonの実行環境を整えましょう。
公式サイトからPythonの最新バージョンをダウンロードし、インストールします。
Windowsの場合はパスの設定に注意してください。
ターミナル（Windowsの場合はコマンドプロンプト）で「python」と入力してバージョンが表示されれば成功です。
Seleniumをインストールする
Seleniumを使用するためには、Pythonのパッケージ管理ツール「pip」をインストールしましょう。
pipがインストールできたら、ターミナルで「pip install selenium」と入力し、必要なライブラリを取得します。
これによってPythonでSeleniumを利用する準備が整います。
WebDriverをダウンロードする
WebDriverは、Seleniumがブラウザを操作するためのドライバーです。
使用するブラウザに応じて適切なWebDriverをダウンロードし、パスを設定しておきましょう。
たとえば、Google Chromeを使用する場合は「ChromeDriver」を、Mozilla Firefoxを使用する場合は「GeckoDriver」をダウンロードします。
ここまでに解説している内容をより具体的に知りたい方は以下の記事を参考にしてください。
Pythonの環境構築を含めて具体的に入力するコード例を記載しています。
Python×Seleniumで自動化を体験してみよう
実際に手を動かしながら、いくつかのパターンで自動化を体験してみましょう。
Webページの操作
以下の例では、Googleの検索ボックスにキーワードを入力し、検索ボタンをクリックするシンプルな例を紹介します。
1. Webページにアクセス
get() メソッドを使用してWebページにアクセスします。
driver.get("https://www.google.com")2. 要素の検索と操作
要素を特定して操作するために、要素を検索する方法を使用。
ここではGoogleの検索ボックスを特定し、キーワードを入力します。
search_box = driver.find_element_by_name("q") # 検索ボックスの要素を名前で検索
search_box.send_keys("自動化テスト") # キーワードを入力3. アクションの実行
要素に対してクリックやキーボード操作などのアクションを実行します。
search_button = driver.find_element_by_name("btnK") # Googleの検索ボタン
search_button.click() # ボタンをクリック4. ブラウザの操作
ブラウザの戻る、進む、リロードなどのブラウザ操作も可能です。
いずれかを選択し、入力してみてください。
driver.back() # 戻る
driver.forward() # 進む
driver.refresh() # ページをリロード5. WebDriverの終了
プログラムが終了したら、WebDriverを閉じてリソースを解放します。
driver.quit()スクレイピング
スクレイピングについては以下の記事で詳しく解説しています。
こちらはBeautifulSoupというライブラリを活用した方法です。
こちらは特定のサイトの画像を取得して保存する方法を解説しています。
上記の記事を参考にぜひ挑戦してみてください。
画面のキャプチャ
スクリーンショットは、ページのデザインや表示内容を確認する際に便利です。
特定の領域のスクリーンショットを取得したり、スクリーンショットのフォーマットを設定したりすることもできます。
1.Webページにアクセス
get() メソッドを使用してキャプチャしたいWebページにアクセスします。
driver.get("https://example.com")2. スクリーンショットを取得
save_screenshot() メソッドを使用してスクリーンショットを保存します。
driver.save_screenshot("screenshot.png") # 保存時のファイル名を指定3. WebDriverの終了
プログラムが終了したら、WebDriverを閉じてリソースを解放します。
driver.quit()ブラウザの制御
ブラウザの制御を活用することで、複数のウィンドウやタブを扱い、複雑な操作やセッションの管理を行うことができます。
テストやタスクの自動化を行う際に便利です。
1. Webページにアクセス
get() メソッドを使用してウェブページにアクセスします。
driver.get("https://example.com")2. ウィンドウとタブの制御
以下のコードでウィンドウやタブを制御できます。
driver.new_window("tab") # 新しいタブを開く
driver.switch_to.window(driver.window_handles[1]) # タブの切り替え
driver.close() # 現在のタブを閉じる3. WebDriverの終了
テストが終了したら、WebDriverを閉じてリソースを解放します。
driver.quit()Python×Seleniumのトラブルシューティング
Python×Seleniumにおいてよくあるトラブルと対処法について解説します。
よくあるエラーとその対処法
よくあるエラーとしては、コードの構文や書き方の間違い、定義されていない変数を使用している場合、タイムアウトエラーなどがあります。
それぞれ以下のようなエラーコードが表示されます。
- 構文や書き方の間違い：SyntaxError
- 定義されていない変数を使用：NameError
- タイムアウトエラー：TimeoutExceptionを含むメッセージ
SyntaxErrorやNameErrorについてはコードを見直して修正するほかありません。
タイムアウトが発生するのは、Seleniumが指定した要素が指定した時間内に操作可能な状態にならなかった場合です。
指定した要素がまだ表示されていない、クリック可能でない場合にエラーが発生することがあります。
対処法としては、一定時間が過ぎても正しい結果が得られない場合は、強制的にエラーとして処理させることです。
あわせてリトライする処理を実装しておけば、一時的な接続状況の不具合によって生じたエラーであれば、正しい結果を得られるようになります。
ブラウザの互換性問題と解決策
作成した自動化のスクリプトが、ブラウザごとの違いやバージョンアップによる影響を受けることがあります。
これを解決するためには、ブラウザごとに適切な設定や操作が必要です。
また、ブラウザのドライバーのバージョンを合わせることも重要です。
パフォーマンスの最適化と高速化
コードの書き方によっては、実行する際の処理に時間がかかる場合があります。
さまざまな対処法がありますが、一例としては以下の通りです。
- セレクタの工夫
- 指定した要素のロードタイミングの調整
- 同時に複数の処理を実行し、処理時間を短縮する並列処理
Python×Seleniumの勉強方法
Python×Seleniumによる自動化の勉強方法を3つ紹介します。
本を活用する
PythonやSeleniumに関する本は数多く存在します。
初心者向けから上級者向けまでさまざまなレベルの本がありますので、自分のレベルに合った本を選びましょう。
本を活用するメリットは、体系的な知識の習得ができる点です。
以下の記事でおすすめの本をまとめていますので、あわせて確認してみてください。
オンラインコンテンツを活用する
オンラインコンテンツもさまざまなものがあります。
個人が運営しているブログやYouTube、Udemyなどのオンライン教材販売サイトなどです。
本にも同様のことがいえますが、オンラインコンテンツを活用するメリットは、自分のペースで学習できることです。
忙しい方や自己学習が得意な方に適しています。
プログラミングスクールを活用する
Pythonの基礎から応用まで、幅広い内容をカバーするスクールが存在します。
プログラミングスクールを活用するメリットは、リアルタイムで質問できる環境や、他の受講生との交流ができる点です。
また、スクールによってはチーム開発がカリキュラムの中にあり、より実践的に学習できます。
自分でサービスを開発したい方やキャリアチェンジしたい方におすすめです。
Python×Seleniumの実践的な活用例
Python×Seleniumを活用した具体的な活用例を3つ紹介します。
ログイン処理の自動化
会員専用ページにログインした上で、スクレイピングを行う場合に有効なのがログイン処理の自動化です。
また、入力フォームが問題なく動作するか、ボタンが正常に作動するかのテストなどでもログインの自動化が役立ちます。
開発時にエラーを解消し、再度入力フォームのテストを行う際、自動化していないと自分ですべて入力・クリックしていかなければならないためです。
複雑なページのデータ取得
複数ページにわたって記載されているデータを取得することも可能です。
これまでにお伝えしているように、BeautifulSoupというスクレイピングに便利なライブラリを使用することで取得できるようになります。
テスト自動化のためのSeleniumの利用
自作した簡単なシステムであれば、テストの工数もそこまでかかりませんが、規模が大きくなるほどテストの負担は大きくなります。
人にしかできないテストもありますが、テストツールで代替できる場合はツールに任せるほうが生産的です。
具体的な事例のひとつとして、広告表示の確認が挙げられます。
Yahoo!JAPANでは1週間ほどかかっていたテストを、自動化によって1日以内に短縮しています。
参考：Yahoo!JAPAN | Seleniumを使用したテスト自動化の取り組みを紹介します
Python×Seleniumを活用して生産性を高めよう
今回はPythonのSeleniumを活用した事例や勉強方法を紹介しました。
本記事で紹介したのはほんの一部ですので、応用例はほかにもたくさんあります。
プログラミング未経験でも少しづつ勉強していけば、理解が進んで活用できるようになります。
ぜひ学んだことを応用して生産性の向上に役立ててください。
