PythonでWebサイトをスクレイピングする実践書

PythonとScrapyを使ったWebスクレイピング

PythonとScrapyを使ったWebスクレイピング

インプレスグループで電子出版事業を手がけるインプレスR&Dは、技術書典や技術書同人誌博覧会をはじめとした各種即売会や、勉強会・LT会などで頒布された技術同人誌を底本とした商業書籍を刊行し、技術同人誌の普及と発展に貢献することを目指し、最新の知見を発信する技術の泉シリーズ2021年10月の新刊として、川原英明氏著書による、「PythonとScrapyを使ったWebスクレイピング」を発売した。

川原英明Profile●ファミコンゲームの開発時代からのエンジニア。iモード登場時にはIT企業を経て、SESで大手IT企業で常駐を経験。その後はスタートアップ企業に転職。多くの案件を経験しており、対応できる開発言語は10を超える。得意言語はPerl、Python、PHP、Shell script。2021年秋からは採用関連も担当。

技術の泉シリーズについて

『技術の泉シリーズ』は、技術者の知見のアウトプットである技術同人誌を底本とした、2017年創刊の技術書シリーズとなる。NextPublishingによるスピーディーな編集制作とプリントオンデマンドによる1冊からの印刷製本により、技術の変化に追従しつつ返品や品切れのないサスティナブルな出版モデルを特徴としている。本シリーズを通じて、エンジニアの“知の結晶”である技術同人誌の世界に、より多くの人が触れられるきっかけとなることを目指している。

「PythonとScrapyを使ったWebスクレイピング」発行主旨・内容紹介

「PythonとScrapyを使ったWebスクレイピング」ではWebスクレイピングを、PythonとScrapyフレームワークを利用して行うことをソースコードとともに解説した。

Webサイトには多くの情報があり、ブラウザの利用だけでも取得できるが、Webサイトを閲覧するという行為が能動的であり手間と時間を使うことになる。

「PythonとScrapyを使ったWebスクレイピング」はPythonを使って普通のサイトからWebスクレイピングをはじめ、少しづつ難易度を高めていく実践的な内容となる。
「PythonとScrapyを使ったWebスクレイピング」は、次世代出版メソッド「NextPublishing」を使用し、出版されている。

「PythonとScrapyを使ったWebスクレイピング」目次

第1章　環境構築
第2章　最初のスクレイピング
第3章　POSTメソッドがあるサイトでスクレイピング
第4章　データベースを使用する
第5章　動的画面のスクレイピング
第6章　Lazy loading画面のスクレイピング
第7章　Dropboxと連携する
第8章　Cloudサービスを使ってスクレイピング
第9章　cloudサービスで定期的実行をする