以下の記事で11月初旬頃に行われたnetkeibaのスクレイピング対策の回避方法を紹介しました。 部分的に抜粋したコードを紹介しましたが、それでもうまくいかないとの報告がありましたらのでサンプルコードを本記事で紹介します。 サンプルコード これから紹...

2024年11月9日頃からXで日本最大の競馬情報サービスであるnetkeibaのスクレイピングができなくなった等のポストが何件もされていた。 どのような方法でスクレイピングを行っているかやどのようなエラーが出ているかは不明ですが、私の方で確認したところ、...

PythonのSeleniumでスクレイピングを行った際、通常、待機処理を入れます。 待機処理として、timeモジュールのsleep関数やWebDriverクラスのimplicitly_waitメソッドを使用する方法があり、またベストプラクティスとして、WebDriverWaitクラスを使って特定...

私はPythonでrequestとbeautifulsoup4モジュールを組み合わせてWebスクレイピングをすることが多いのですが、コーディング量を減らしたいということでrequests.getからBeautifulSoupのインスタンス化までの流れを自作モジュール化しました。 本記事では作...

PythonでWebスクレイピングをする際には、requestsとbeautifulsoup4モジュールを組み合わせて使うことが多いかと思います。 BeautifulSoupクラスをインスタンス化する際、requests.getで取得したResponseオブジェクト（r）をどのように引数に指定していま...

2024年7月にPythonプログラミングVTuberサプーさんが書かれた「VTuberサプーが教える！ Python 初心者のコード／プロのコード」という書籍が発売されました。 以前からサプーさんのYouTubeの動画でPythonを学ぶこともあり、以前から知っていたので購入して...

PythonでBeautifulSoupクラスを用いてWebスクレイピングを行う際にfind系メソッドとselect系メソッドの2種類があります。select系メソッドは汎用性の高いCSSセレクタで要素を抽出できることからselect系メソッドを使用する方が多いと思います。 CSSセレク...

PythonでWebスクレイピングを行う際に単一ページでのスクレイピングはできてもページ遷移等が必要となるとできないという方も多いかと思います。 今回はWebサイト食べログを例としてrequestsモジュールとbeautifulsoupモジュールを使用したWebスクレイピン...

PythonのSeleniumを使用してWebスクレイピングを行う際にwebdriverのChromeOptionsというメソッドを使用することで起動オプションを設定することが可能です。いろいろ解説されているサイトがありますが、どのオプション設定を使えばいいか分かりませんよね...

PythonでWebスクレイピングを行う際のLINE Notify APIの使いどころを説明したと思います。以下の記事は例なので応用して使用していたければ嬉しいです。 LINE Notify APIの概要、トークン発行、基本的な使い方に関しては過去記事にて説明していますのでま...