検索結果のスクレイピング

このワークフローはお手元で複製可能です。方法はこちらをご参照ください。

# ブラウザを開く_AUTOROサポートサイトで「salesforce」と検索した結果 1ページ目
+open_browser_1:
  action>: OpenBrowser
  url: 'https://support.autoro.io/?s=salesforce'
  lang: 'ja-JP'
  timeZone: 'Asia/Tokyo'
  headless: true
  windowSize: '1280 x 720'
  useShadowDomSelector: false
  private: false

# 既存のスプレッドシートを取得
+get_spreadsheet_1:
  action>: GetSpreadsheet
  provider: ''
  spreadsheet_id: ''
  private: false
  meta:
    display:

# 繰り返し_次のページボタンがある限り、最大10ページ数分
+loop_1:
  loop>: 10
  _do:

    # スクレイピング
    +scrape_page_1:
      action>: ScrapePage
      browser: +open_browser_1
      selector: 'div.b_top_post_content > a'
      text_only: false
      ignoreError: true
      private: false

    # 各要素について繰り返す
    +for_each_1:
      for_each>:
        data: +scrape_page_1
      _do:

        # リストを作成
        +create_list_1:
          action>: CreateList
          items: ["${data.innerText}","${data.href}"]
          private: false

        # 末尾に値を追加
        +append_values_1:
          action>: AppendValues
          spreadsheet: +get_spreadsheet_1
          range: 'シート24!A:A'
          values: +create_list_1
          private: false

    # 要素を見つける_次のページボタンはあるか？
    +find_element_1:
      action>: FindElement
      browser: +open_browser_1
      find_by: selector
      value: 'a.next.page-numbers'
      timeout: 3000
      visible: true
      private: false

    # 変数に保存_次のページボタンの有無
    +store_value_1:
      action>: StoreValue
      key: hasNextPage
      value: +find_element_1
      private: false

    # 真のとき_次のページボタンあり
    +if_1:
      if>: ${hasNextPage}
      _do:

        # キーを送信_最下部までスクロール（本サイトではこの操作が必要ですが、必要のないサイトもあります）
        +send_keys_1:
          action>: SendKeys
          browser: +open_browser_1
          selector: body
          keys: ["End"]
          ignoreError: true
          private: false

        # クリック_次のページへ
        +click_1:
          action>: Click
          browser: +open_browser_1
          selector: 'a.next.page-numbers'
          confirm: true
          waitAfter: 2500
          ignoreError: true
          timeout: 4000
          private: false

    # 真のとき_次のページボタンなし
    +if_2:
      if>: ${!hasNextPage}
      _do:

        # テキストを作成
        +text_1:
          action>: Text
          text: '次のページボタンがありません。繰り返しを終了します'
          private: false

        # 繰り返しを終了する
        +break_if_1:
          break_if>: true

このワークフローはお手元で複製可能です。方法はこちらをご参照ください。

# ブラウザを開く_AUTOROサポートサイトで「変数」と検索した結果 1ページ目
+open_browser_1:
  action>: OpenBrowser
  url: 'https://support.autoro.io/?s=salesforce'
  lang: 'ja-JP'
  timeZone: 'Asia/Tokyo'
  headless: true
  confirm: true
  windowSize: '1280 x 720'
  useShadowDomSelector: false
  private: false

# 既存のスプレッドシートを取得
+get_spreadsheet_1:
  action>: GetSpreadsheet
  provider: ''
  spreadsheet_id: ''
  private: false
  meta:
    display: null

# テキストを作成 総件数を取得します（当サイトには総件数の表記がないため、テキストを作成しています。）
+text_2:
  action>: Text
  text: 55
  private: false

# 変数に保存
+store_value_2:
  action>: StoreValue
  key: count
  value: +text_2
  private: false

# 繰り返し回数を計算
+loop_1:
  loop>: ${Math.ceil(count / 10)}
  _do:

    # スクレイピング
    +scrape_page_1:
      action>: ScrapePage
      browser: +open_browser_1
      selector: 'div.b_top_post_content > a'
      text_only: false
      ignoreError: true
      private: false

    # 各要素について繰り返す
    +for_each_1:
      for_each>:
        data: +scrape_page_1
      _do:

        # リストを作成
        +create_list_1:
          action>: CreateList
          items: ["${data.innerText}","${data.href}"]
          private: false

        # 末尾に値を追加
        +append_values_1:
          action>: AppendValues
          spreadsheet: +get_spreadsheet_1
          range: 'シート24!A:A'
          values: +create_list_1
          private: false

    # キーを送信 本サイトではこの操作が必要ですが、必要のないサイトもあります
    +send_keys_1:
      action>: SendKeys
      browser: +open_browser_1
      selector: body
      keys: ['Enter']
      ignoreError: true
      private: false

    # クリック_次のページへ
    +click_1:
      action>: Click
      browser: +open_browser_1
      selector: 'a.next.page-numbers'
      confirm: true
      waitAfter: 2500
      ignoreError: true
      timeout: 4000
      private: false