Web scraping di Okou
Beri agen sebuah tautan dan ia kembali dengan isi halaman yang sebenarnya, dalam teks bersih yang mudah dibaca. Tanpa mendaftar ke vendor scraping mana pun.
Data web · Tanpa penyiapan · Dua mode penagihan, standar dan enhanced
Beri agen sebuah tautan publik dan ia membacakan halamannya untuk Anda: kata-katanya, bukan menu navigasi, spanduk cookie, dan bagian bawah halaman. Minta halamannya sebagai teks bersih, atau cukup daftar tautannya ketika yang perlu diputuskan adalah apa yang dibaca berikutnya.
Pembacaannya berjalan di Firecrawl dan sudah ada begitu Anda meminta: tanpa penyiapan, tanpa kunci, tanpa apa pun yang harus dirawat tim Anda. Cakupannya sengaja sempit: satu halaman per permintaan. Menemukan halaman adalah tugas pencarian web, dan apa pun di balik login atau klik adalah urusan peramban jarak jauh.
Apa itu Web scraping
Setiap riset sampai di titik ketika hasil pencarian tidak cukup dan Anda butuh isi halaman yang sebenarnya. Melakukannya dengan benar lebih sulit daripada kelihatannya. Halaman memuat separuh isinya dengan skrip, dan teks yang berguna terselip di antara menu, spanduk, dan iklan.
Di Okou bagian itu sudah dibereskan untuk Anda. Agen mengirim satu tautan publik dan menerima halamannya sebagai teks bersih yang bisa ia baca dan ringkas, atau sebagai daftar semua tautan di dalamnya.
Sebagian halaman menolak dibaca dengan cara biasa. Untuk itu ada mode yang lebih kuat, dan agen harus memintanya, karena biayanya per halaman lebih tinggi dan Anda harus bisa melihat ketika sebuah alur kerja memilihnya.
Ini hal yang sama yang dicari orang sebagai API scraping web. Bedanya, Anda tidak perlu mencari: ia sudah ada di dalam eksekusi, jadi Anda meminta halamannya lewat pesan dan agen membawa kembali isinya.
Apa yang bisa dilakukan Web scraping
Apa yang bisa dikerjakan agen dengannya, dan apa yang kembali saat ia mengerjakannya.
Cakupan dan batas
Apa yang tidak dilakukannya, disebutkan sejak awal, supaya tidak ada yang menyusun alur kerja di atas sesuatu yang di luar cakupan.
Hanya halaman publik
Tidak ada login yang terlibat, jadi halaman di balik login, paywall, atau tembok anti-bot berada di luar cakupan. Untuk itulah browser jarak jauh ada.
Satu halaman sekali jalan
Ia membaca halaman yang Anda tunjuk. Ia tidak berkeliaran ke bagian lain situs, jadi membaca satu situs penuh berarti meminta halaman demi halaman dan membayar halaman demi halaman.
Mode mahal adalah pilihan
Sebagian besar halaman terbaca baik dengan cara biasa. Mode yang lebih kuat lebih mahal dan agen harus memintanya, jadi sebuah alur kerja tidak pernah diam-diam jadi lebih mahal.
Yang kembali adalah informasi, bukan perintah
Teks dari halaman web diperlakukan sebagai bahan bacaan, tidak pernah sebagai instruksi yang harus dituruti. Itulah yang mencegah halaman bermusuhan membujuk agen mengerjakan hal lain.
Berapa biaya Web scraping
Layanan web ditagih dalam kredit per panggilan, bukan per token. Tidak ada tagihan vendor terpisah yang perlu direkonsiliasi.
Firecrawlzero scrapeMembaca sebuah halaman memakai kredit, dan mode yang lebih kuat lebih mahal daripada mode biasa. Tidak ada lagi yang perlu dibeli dan tidak ada minimum, jadi alur yang membaca tiga halaman seminggu hanya membayar pekerjaan yang dilakukannya.
Nama produk dan logo adalah milik pemiliknya masing-masing dan muncul di sini hanya untuk menyebutkan sebuah layanan berjalan di atas apa. Semua itu tidak menyiratkan dukungan maupun kemitraan.
Penyiapan dan akses
Tidak ada yang perlu disiapkan
Tidak ada yang perlu disambungkan. Tanpa pendaftaran, tanpa kunci untuk ditempel, tanpa tambahan apa pun di daftar konektor Anda. Itulah bedanya dengan konektor Firecrawl di katalog Okou: konektor bekerja pada akun Firecrawl Anda sendiri kalau memang sudah punya, dan yang ini memang tersedia begitu saja untuk dipakai agen mana pun.
Siapa yang boleh memakainya
Membaca halaman web adalah izin yang Anda bagikan, bukan sesuatu yang otomatis dimiliki setiap agen. Berikan kepada agen dan orang yang membutuhkannya, selama mereka membutuhkannya, dan tarik kembali tanpa menyentuh kemampuan lain agen itu.
Untuk apa tim memakai Web scraping
Membaca halaman di balik hasil pencarian
Pencarian memberi Anda judul dan dua baris. Sebagian besar pekerjaan butuh isi utamanya, jadi polanya adalah cari dulu, pilih dua atau tiga hasil yang penting, lalu baca hanya yang itu.
Memantau halaman yang tak punya pintu masuk lain
Harga pesaing, changelog, halaman status, pengumuman regulator. Agen terjadwal membaca halamannya, membandingkannya dengan pekan lalu, dan memberi tahu Anda hanya ketika ada yang bergeser.
Mengubah dokumen panjang jadi bahan kerja
Sebuah spesifikasi, laporan tahunan, pusat bantuan. Teks bersih adalah beda antara ringkasan dokumennya dan ringkasan menu navigasinya.
Kapan tidak memakai Web scraping
Lewati kalau halamannya butuh login, klik, atau formulir, dan pakai browser jarak jauh. Lewati untuk membaca satu situs penuh, karena biaya per halaman menumpuk lebih cepat daripada nilai jawabannya. Dan lewati kalau sumbernya menerbitkan datanya sendiri, yang hampir selalu lebih stabil daripada membaca halamannya.
Sebutan lain di tempat lain
Hal yang sama beredar di pasar dengan beberapa nama. Kalau Anda pernah mencari salah satunya, begini padanannya dengan yang Anda dapat di sini.
API web scraping
Nama umum untuk membayar layanan agar mengambil halaman dan mengembalikan teksnya. Persis itu yang ini. Akun dan kuncinya milik Okou, bukan milik Anda.
Scraping tanpa menulis scraper
Tidak ada yang perlu dibangun dan tidak ada yang perlu dirawat. Anda meminta halamannya lewat pesan, dan pengambilan serta pembersihannya terjadi di dalam eksekusi.
HTML ke Markdown
Konversi yang biasanya ditulis orang sendiri: halaman HTML masuk, Markdown bersih keluar. Itu terjadi sebelum teksnya sampai ke agen, sehingga model memakai perhatiannya pada isi, bukan markup.
Scraping untuk AI atau LLM
Scraping yang keluarannya dimaksudkan untuk dibaca model, bukan diurai kode. Pengambilan yang sama, hanya dinilai dari apakah teksnya terbaca, bukan dari apakah suatu selektor masih cocok.
Scraping tanpa kode
Di sini tidak ada yang menulis scraper. Anda meminta halamannya lewat pesan dan agen yang mengambilnya, dan itulah yang dicari orang ketika mencari scraping tanpa menulis kode.
Web scraping dibandingkan
Web scraping versus membangun scraper sendiri
Hasil yang sama, jumlah pekerjaan yang sangat berbeda. Sendirian berarti memilih layanan atau menulis pengambilnya, satu kunci yang harus dijaga seseorang, dan perawatan tiap kali sebuah halaman berubah bentuk. Di sini Anda meminta lalu membaca jawabannya, dan aksesnya adalah izin, bukan rahasia bersama.
Web scraping versus konektor Firecrawl
Okou juga menyediakan konektor Firecrawl, dan itu pilihan yang tepat kalau Anda sudah punya akun Firecrawl dan ingin pemakaiannya tercatat di sana, atau butuh sesuatu yang tidak dicakup layanan ini. Yang bawaan tepat ketika Anda lebih suka tinggal meminta lalu menerima halamannya.
Web scraping versus menjalankan browser sendiri
Browser yang Anda kendalikan lebih mampu dan jauh lebih merepotkan, dan setelahnya Anda tetap harus mengubah halamannya jadi teks yang terbaca. Pakai browser jarak jauh kalau pekerjaannya memang butuh klik, dan ini kalau Anda hanya butuh isi halamannya.
Ringkasnya
Cara baku membaca halaman web di Okou. Kalau halamannya publik dan Anda ingin isinya, ini satu langkah, tanpa akun, dengan biaya per halaman. Apa pun yang butuh login atau klik adalah urusan browser jarak jauh.
Pertanyaan yang sering diajukan
Apakah saya butuh akun Firecrawl?
Tidak. Membaca halaman adalah sesuatu yang memang sudah bisa dilakukan agen mana pun, jadi Anda tinggal meminta. Tidak ada akun yang perlu dibuat dan tidak ada kunci yang perlu disimpan.
Apa bedanya dengan konektor Firecrawl?
Konektor bekerja pada akun Firecrawl Anda sendiri ketika Anda punya satu dan ingin pemakaiannya tercatat di sana. Layanan bawaan siap dipakai tanpa mengatur apa pun.
Bisakah ia membaca halaman di balik login?
Tidak. Ia membuka halaman publik tanpa login. Pakai browser jarak jauh, yang bisa tetap masuk dan bisa diambil alih orang di tengah jalan.
Bisakah ia membaca seluruh situs web?
Sendiri tidak. Setiap pembacaan adalah satu halaman, jadi mencakup satu situs berarti meminta halaman demi halaman, dan tiap halaman ditagih. Sebaiknya tetapkan batas.
Berapa biaya membaca satu halaman?
Kredit per pembacaan berhasil, dengan biaya lebih tinggi untuk mode kuat yang dipakai pada halaman yang menolak dibaca secara biasa. Mode itu tidak pernah dipilih diam-diam.
Amankah bertindak berdasarkan yang kembali?
Perlakukan sebagai informasi. Okou menangani teks halaman web sebagai bahan bacaan, bukan instruksi yang dituruti, dan itulah yang mencegah sebuah halaman membelokkan agen yang membacanya.
Apakah saya masih butuh alat scraping?
Untuk mendapat teks bersih sebuah halaman di dalam alur kerja, tidak: Anda minta ke agen dan langsung dapat. Kalau Anda ingin antarmuka sendiri dan seluruh fitur sebuah penyedia scraping, sambungkan akun Anda lewat konektor.
Bagaimana biayanya dibanding paket scraping saya sendiri?
Alat scraping biasanya menjual paket bulanan dengan minimum. Di sini membaca halaman memakai kredit tanpa komitmen bulanan, yang cocok untuk alur yang membaca beberapa halaman seminggu dan layak dihitung ulang pada volume sangat besar.
Bisakah ia mengembalikan Markdown untuk dibaca model?
Bisa. Markdown bersih adalah bentuk bakunya, dan itulah yang membuat sebuah halaman bisa dipakai sebagai konteks, bukan sebagai tembok markup.
Apakah saya harus menulis scraper atau merawat selektor?
Tidak. Tidak ada yang perlu ditulis dan tidak ada yang rusak ketika halaman didesain ulang, karena Anda meminta teks halamannya, bukan isi satu elemen tertentu.
Cara meminta Web scraping
Anda jelaskan yang Anda mau dengan bahasa sehari-hari. Agen yang menentukan layanan mana yang dibutuhkan lalu melakukan panggilannya.
“Baca halaman ini dan beri saya lima hal yang penting, dengan kata-kata persisnya untuk tiap poin.”
“Ambil tautan dari indeks dokumentasi ini, lalu baca tiga yang soal harga dan bandingkan.”
“Cek halaman harga pesaing kami setiap Senin dan beri tahu saya hanya kalau ada yang berubah.”