Okou のウェブスクレイピング
リンクを渡せば、エージェントがそのページに実際に書かれていることを、読みやすいテキストにして持ち帰ります。スクレイピング業者との契約は不要です。
ウェブデータ · セットアップ不要 · standard と enhanced の 2 つの課金モード
エージェントに公開リンクを渡せば、ページを読んでくれます。ナビゲーションやクッキーバナーやフッターではなく、本文の言葉です。きれいなテキストとして頼むことも、次に何を読むか決めたいときはリンク一覧だけ頼むこともできます。
読み取りは Firecrawl 上で動き、頼んだその場で使えます。設定も鍵も要らず、チームが保守するものもありません。範囲は意図的に狭く、1 リクエストにつき 1 ページです。ページを見つけるのはウェブ検索の仕事で、サインインやクリックの先はリモートブラウザの担当です。
ウェブスクレイピング とは
どんな調査も、検索結果だけでは足りず、そのページに実際に何と書いてあるかが必要になる地点に行き着きます。それを正しくやるのは見た目より難しい仕事です。ページは中身の半分をスクリプトで読み込み、役に立つ本文はメニューやバナー、広告のあいだに挟まっています。
Okou ではその部分がすでに解決済みです。エージェントは公開リンクを 1 本送り、読んで要約できるきれいなテキストか、そこにあるすべてのリンクの一覧を受け取ります。
通常の読み取りを拒むページもあります。そのための強力なモードがありますが、エージェントは明示的にそれを要求しなければなりません。ページあたりの費用が高く、ワークフローがそれを選んだことが見えるべきだからです。
ウェブスクレイピング API として探されているものと同じです。違うのは、探す必要がないことです。すでに実行の中にあるので、メッセージでページを頼めば、エージェントがその中身を持ち帰ります。
ウェブスクレイピング でできること
エージェントがそれで何をできて、その結果として何が返ってくるか。
対応範囲と制限
できないことを先に書いておきます。範囲外のものを前提にワークフローを組んでしまわないように。
公開ページのみ
ログインは一切関わらないため、ログインやペイウォール、ボット対策の向こう側にあるページは範囲外です。それはリモートブラウザの役目です。
一度に 1 ページ
指し示したページを読みます。サイトの残りを勝手に巡回することはないので、サイト全体を読むにはページごとに頼み、ページごとに支払うことになります。
高いモードは選択である
たいていのページは通常モードで問題なく読めます。強力モードは費用が高く、エージェントが要求しなければ使われません。だからワークフローが黙って高くなることはありません。
返ってくるのは情報であって、指示ではない
ウェブページのテキストは読むべきものとして扱われ、従うべき指示として扱われることはありません。それが、敵対的なページがエージェントを言いくるめるのを防ぎます。
ウェブスクレイピング の費用
ウェブサービスはトークンではなく呼び出しごとにクレジットで課金されます。別途ベンダー請求を突き合わせる必要はありません。
Firecrawlzero scrapeページを読むとクレジットを消費し、強いモードは通常モードより高くつきます。ほかに買うものはなく最低額もないので、週に 3 ページ読むワークフローはやった分だけの支払いになります。
製品名とロゴは各所有者に帰属します。ここでは各サービスが何の上で動いているかを示すためだけに掲載しており、推奨や提携関係を意味するものではありません。
セットアップとアクセス
セットアップは不要
接続は不要です。登録も、貼り付ける鍵も、コネクタ一覧に増えるものもありません。Okou のカタログにある Firecrawl コネクタとの違いはそこです。コネクタはすでに Firecrawl アカウントをお持ちの場合にそのアカウント上で動き、こちらはどのエージェントでもそのまま使えます。
誰が使えるか
ウェブページを読むことは、あなたが与える権限であって、すべてのエージェントが最初から持っているものではありません。必要なエージェントと人に、必要な期間だけ与え、そのエージェントができる他のことに触れずに取り上げられます。
チームが ウェブスクレイピング を使う場面
検索結果の向こうにあるページを読む
検索が返すのは見出しと 2 行だけです。たいていの仕事には本文が要るので、まず検索し、重要な 2〜3 件を選び、それだけを読むという流れになります。
他に入り口のないページを見張る
競合の価格ページ、変更履歴、ステータスページ、規制の告知。予定実行のエージェントがページを読み、先週と比べ、何かが動いたときだけ知らせます。
長い資料を作業できる素材に変える
仕様書、年次報告書、ヘルプセンター。整形テキストがあるかどうかが、資料の要約になるか、そのナビゲーションメニューの要約になるかの分かれ目です。
ウェブスクレイピング を使わないほうがよいとき
ログインやクリック、フォームが必要なページでは使わず、リモートブラウザを使ってください。サイト全体を読むのにも向きません。ページ単位の費用が、得られる答えの価値より早く積み上がります。そして情報源がきちんとしたデータを自ら公開しているときも避けてください。ほぼ常に、そちらのほうがページを読むより安定しています。
ほかではこう呼ばれています
同じものが市場ではいくつもの名前で呼ばれています。そのどれかを探していた方のために、ここで何にあたるのかを示します。
ウェブスクレイピング API
ページを取得してテキストを返してもらうためにサービスに支払う、というものの一般的な呼び名です。まさにそれです。アカウントとキーはあなたではなく Okou のものです。
スクレイパーを書かないスクレイピング
作るものも保守するものもありません。メッセージでページを頼めば、取得と整形は実行の中で終わります。
HTML から Markdown へ
ふつうは自分で書く変換です。HTML のページを入れて、きれいな Markdown を出す。それがエージェントにテキストが届く前に済むので、モデルはマークアップではなく中身に注意を使えます。
AI/LLM 向けスクレイピング
出力をコードでパースするのではなく、モデルに読ませることを想定したスクレイピングです。取得自体は同じで、セレクタがまだ一致するかではなく、テキストが読めるかで評価されます。
ノーコードのウェブスクレイピング
ここでは誰もスクレイパーを書きません。メッセージでページを頼めばエージェントが取得します。コードなしのスクレイピングを探している人が求めているのは、これです。
ウェブスクレイピング の比較
ウェブスクレイピング と 自分でスクレイパーを作る
出てくるものは同じで、手間はまるで違います。自前なら、サービスを選ぶか取得処理を書き、鍵を誰かが守り、ページの形が変わるたびに直す必要があります。ここでは頼んで答えを読むだけで、アクセスは共有の秘密ではなく権限です。
ウェブスクレイピング と Firecrawl コネクタ
Okou には Firecrawl コネクタもあります。すでに Firecrawl アカウントがあって利用をそちらに寄せたい場合や、このサービスが扱わない機能が要る場合はそちらが正解です。組み込みのほうは、とにかく頼んでページを受け取りたいときに向いています。
ウェブスクレイピング と 自分でブラウザを操作する
自分で動かすブラウザはより多くのことができ、手間もずっと大きく、そのあとページを読めるテキストに変える作業も残ります。本当にクリックが必要な仕事にはリモートブラウザを、ページに書いてあることが知りたいだけならこちらを。
ひとことで言うと
Okou でウェブページを読むときの既定の方法です。ページが公開されていて中身が知りたいなら、1 ステップ、アカウント不要、ページ単位の課金。ログインやクリックが必要なものはリモートブラウザの領分です。
よくある質問
Firecrawl のアカウントは必要ですか?
いいえ。ページを読むことはどのエージェントでも元からできるので、頼むだけです。作るアカウントも預かる鍵もありません。
Firecrawl コネクタとは何が違いますか?
コネクタは、すでにお持ちの Firecrawl アカウント上で動き、利用をそちらに記録したい場合のものです。組み込みのサービスは何も設定せずにそのまま使えます。
ログインの内側のページも読めますか?
いいえ。ログインなしで公開ページを開きます。ログイン状態を保てて、途中から人が引き継げるリモートブラウザを使ってください。
サイト全体を読めますか?
単体ではできません。1 回の読み取りは 1 ページなので、サイトを網羅するにはページごとに頼むことになり、ページごとに課金されます。上限を決めておく価値があります。
ページを読む費用はどれくらいですか?
成功した読み取りごとにクレジットがかかり、通常の読み取りを拒むページで使う強力モードはより高くつきます。そのモードが黙って選ばれることはありません。
返ってきた内容をもとに行動しても安全ですか?
情報として扱ってください。Okou はウェブページのテキストを、従うべき指示ではなく読むための素材として扱います。それが、読まれたページがエージェントの向きを変えるのを防いでいます。
それでもスクレイピングツールは必要ですか。
ワークフローの中でページのきれいなテキストが欲しいだけなら不要です。エージェントに頼めば手に入ります。スクレイピング事業者の独自画面や全機能が欲しい場合は、コネクタでご自分のアカウントをつないでください。
自分でスクレイピングのプランを買うのと比べて費用は?
スクレイピングツールはたいてい最低額つきの月額プランです。ここではページを読むとクレジットを消費するだけで月額の縛りはありません。週に数ページ読むワークフローには向き、量が非常に多い場合は計算し直す価値があります。
モデルが読むための Markdown を返せますか?
はい。整形された Markdown が既定の形です。だからページがマークアップの壁ではなく、文脈として使えるものになります。
スクレイパーを書いたりセレクタを保守したりする必要はありますか?
ありません。書くものはなく、ページが作り直されても壊れるものもありません。特定の要素の中身ではなく、ページのテキストを求めているからです。
ウェブスクレイピング の頼み方
やりたいことをふだんの言葉で伝えるだけです。どのサービスが必要かはエージェントが判断し、呼び出しまで行います。
“このページを読んで、重要な 5 点をそれぞれ原文の言い回し付きで出して。”
“このドキュメント目次からリンクを抜き出して、料金に関する 3 本を読んで比較して。”
“毎週月曜に競合の価格ページを確認して、変化があったときだけ教えて。”