Webスクレイピングでデータ収集の自動化【ScrapeStorm】

サービスの詳細

ScrapeStormは、プログラミングができなくても自動でスクレイピングができるサービスです。
商品の価格調査やホームページの順位検索などのマーケティングや、株価変動の調査など、インターネット上の情報を収集してまとめる必要のある方におすすめです。

それでは早速サービス内容を見ていきましょう。
対応OSのファイルをダウンロードし、起動します。
ScrapeStormには、「フローチャートモード」と「スマートモード」2種類のスクレイピングモードがあります。
フローチャートモードは、自分でスクレイピング条件をフローチャートで設定できるモードで、スマートモードはスクレイピングしたいURLを入力するだけで、AIが自動でデータを抽出してくれるモードです。
初心者の場合はスマートモードがおすすめされているので、今回はスマートモードでScrapeStormのチュートリアル画面をスクレイピングしてみます。

該当ページのURLをコピーし、上部の入力画面にペーストして「始めましょう」をクリックすることで、スマートモードの新規タスクを作成できます。 スマートモードでは、自動でWeb情報とページボタンを識別することが可能です。

チュートリアルのタイトルとURLの一覧が抽出されました。
不要な要素がある場合は、右クリックから「列を消去」で削除できます。
逆に追加したいときは、「フィールドを追加」をクリックし、画面上の追加したい要素をクリックすることで追加します。

ログインが必要なページの場合は、右上にある事前ログインボタンから、スクレイピング前にログインするように設定しておくこともできます。
この時ScrapeStorm側で個人情報が保存されることはないので、安全に利用可能です。
また他にスクレイピング前に実行したい操作がある場合は、緑色の「事前実行操作」ボタンから設定できます。
詳細ページの情報も収集したい場合は、「詳細ページに行く」ボタンまたはタイトルリンクのURLをクリックすることで収集してくれます。

基本設定の完了後、右下の起動ボタンを押してタスクの自動設定をします。
完了したら起動ボタンを押すと、実行画面に移ります。

実行画面では、スクレイピングのログが確認できます。
「ページを表示」をクリックすると、スクレイピング中のページを表示することも可能です。

完了画面です。問題なければエクスポートをクリックします。

ファイル形式や範囲を設定して、エクスポートを完了します。

筆者の視点

ScrapeStormは中国の企業が開発しているサービスですが、日本語のチュートリアルもあります。
片言で少し聞きづらい部分もありますが、完全英語のサービスより使いやすいのではないでしょうか。
筆者はスクレイピング初心者なのですが、何回かチュートリアルを見ているうちに少しずつ操作方法を理解できるようになってきたので、これからスクレイピングに挑戦してみたいという方にもおすすめです。
またコーディング知識がなくても使えるUIとなっています。
ネット上の膨大な情報の中から、毎回手動で情報収集してまとめるのは、かなり時間がかかる作業ですよね。
それをすべて自動化できれば、かなりの時間節約、生産性アップにつながります。

無料プランもあるので、生産性を上げたい方はぜひScrapeStormを利用してみてはいかがでしょうか。