データストアを利用する

• データストア管理画面から、+追加ボタンをクリックします。
• 変数名をtargetURLsとします。
• 値を[]とします。これは空の配列と判定されます。

• 以下のワークフローをエディタモードからコピペします。 コピペ方法はこちらをご参照ください。

# データを取得する_forEachする要素を格納した配列
+data_store_get_1:
  action>: DataStoreGet
  key: targetURLs

# 変数に保存
+store_value_1:
  action>: StoreValue
  key: urls
  value: +data_store_get_1

# 真のとき_アクセス対象のURLが存在しない
+if_1:
  if>: ${urls.length === 0}
  _do:

    # ブラウザを開く
    +open_browser_1:
      action>: OpenBrowser
      url: 'https://www.bunka.go.jp/kindai/research/index.html'
      lang: 'ja-JP'
      timeZone: 'Asia/Tokyo'
      headless: true
      windowSize: '1920 x 1080'
      useShadowDomSelector: false

    # 待機する
    +wait_1:
      action>: Wait
      time: 5000

    # スクレイピング_リンク
    +scrape_page_1:
      action>: ScrapePage
      browser: +open_browser_1
      selector: '#pref_kanagawa a.research-card__link'
      text_only: false
      ignoreError: true

    # ブラウザを閉じる
    +close_browser_1:
      action>: CloseBrowser
      browser: +open_browser_1

    # JSONを配列に変換_リンクのURLのみ抽出
    +convert_j_s_o_n_to_array_1:
      action>: ConvertJSONToArray
      json: +scrape_page_1
      header: ["href"]
      unwind: []
      stringify: []

    # テーブルデータ（二次元配列）を変換_ヘッダーを除去
    +convert_table_1:
      action>: ConvertTable
      header: false
      table: +convert_j_s_o_n_to_array_1
      transform: [{"type":"filter","column":"0","operator":"!=","operand":"href","include_blank":false},{"type":"column","columns":{"0":"0"}}]

    # データを保存する_アクセス対象のURL
    +data_store_save_1:
      action>: DataStoreSave
      key: targetURLs
      value: +convert_table_1

    # 変数に保存_ワークフローで使用するため
    +store_value_2:
      action>: StoreValue
      key: urls
      value: +convert_table_1

# 各要素について繰り返す_アクセス対象のURL
+for_each_1:
  for_each>:
    url: ${urls}
    withIndex: accessCount
  _do:

    # ブラウザを開く_対象URL
    +open_browser_2:
      action>: OpenBrowser
      url: ${url}
      lang: 'ja-JP'
      timeZone: 'Asia/Tokyo'
      headless: true
      windowSize: '1280 x 720'
      useShadowDomSelector: false

    # 待機する
    +wait_2:
      action>: Wait
      time: 3300

    # 要素のスクリーンショットを撮る
    +take_element_shot_1:
      action>: TakeElementShot
      browser: +open_browser_2
      selector: 'body > div.p-contents.research-body.research-body--detail'
      type: png
      ignoreError: false

    # ブラウザを閉じる
    +close_browser_2:
      action>: CloseBrowser
      browser: +open_browser_2

    # データを保存する_データストアのアクセス対象URL配列から現在アクセスしたURLのみ消す
    +data_store_save_3:
      action>: DataStoreSave
      key: targetURLs
      value: ${urls.shift();urls}

    # 真のとき_繰り返し10回目
    +if_3:
      if>: ${accessCount === 9}
      _do:

        # 待機する
        +wait_3:
          action>: Wait
          time: 60000

        # ワークフローを実行する
        +add_to_queue_1:
          action>: AddToQueue
          workflow_id: 

        # 繰り返しを終了する
        +break_if_1:
          break_if>: ${accessCount === 9}

このワークフローでは、以下を実行しています。

1. データストアから、AUTOROからアクセスするURLの一覧（配列）であるtargetURLsを取得する。
2. targetURLsが存在しなければ、targetURLsを作成し、データストアに保存する。（if_1による）
3. targetURLsをforEachで繰り返す。
4. 繰り返し1回毎に、現在アクセスしたURLのみをtargetURLsから除去し、データストアのtargetURLsを更新する。
   これにより、次回以降はtargetURLsのうちアクセスしていないURLの行のみがForEachされる。
5. forEachの繰り返し回数が10回に到達したら、以下を行なう
   ・if_2範囲内のAddToQueueにより、ワークフローを再実行する
   ・if_2範囲内のbreak_if_1により、forEachの範囲を抜ける。
   ・forEachの下にはアクションが存在しないため、ワークフローが終了する。