Selenium– category –

以下の記事で11月初旬頃に行われたnetkeibaのスクレイピング対策の回避方法を紹介しました。 部分的に抜粋したコードを紹介しましたが、それでもうまくいかないとの報告がありましたらのでサンプルコードを本記事で紹介します。 サンプルコード これから紹...

PythonのSeleniumでスクレイピングを行った際、通常、待機処理を入れます。 待機処理として、timeモジュールのsleep関数やWebDriverクラスのimplicitly_waitメソッドを使用する方法があり、またベストプラクティスとして、WebDriverWaitクラスを使って特定...

PythonのSeleniumを使用してWebスクレイピングを行う際にwebdriverのChromeOptionsというメソッドを使用することで起動オプションを設定することが可能です。いろいろ解説されているサイトがありますが、どのオプション設定を使えばいいか分かりませんよね...

Webスクレイピングを行う際にSeleniumを使用することが多くあるが、その際にwebdriver_managerというモジュールを使用しています。2024年7月末頃からプログラム実行時にOSErrorが発生するようになりました。 Seleniumを使用し、実行ファイルとして納品して...