
Okou의 웹 스크래핑
에이전트에게 링크를 주면 그 페이지가 실제로 말하는 내용을 깔끔한 텍스트로 가져옵니다. 스크래핑 업체에 가입할 필요 없이.
웹 데이터 · 설정 없음 · 표준과 enhanced, 두 가지 과금 방식
에이전트에게 공개된 링크를 주면 페이지를 읽어 줍니다. 내비게이션 메뉴나 쿠키 배너, 푸터가 아니라 본문의 말입니다. 깔끔한 텍스트로 달라고 해도 되고, 다음에 무엇을 읽을지 정해야 할 때는 링크 목록만 달라고 해도 됩니다.
읽기는 Firecrawl 위에서 돌고, 부탁하는 순간 바로 쓸 수 있습니다. 설정도 키도 없고 팀이 유지보수할 것도 없습니다. 범위는 일부러 좁습니다. 요청 한 번에 한 페이지입니다. 페이지를 찾는 일은 웹 검색의 몫이고, 로그인이나 클릭 뒤에 있는 것은 원격 브라우저의 몫입니다.
웹 스크래핑이란
모든 조사는 검색 결과만으로는 부족해서 페이지가 실제로 무슨 말을 하는지 필요해지는 지점에 이릅니다. 그걸 제대로 해내기는 보기보다 어렵습니다. 페이지는 내용의 절반을 스크립트로 불러오고, 쓸 만한 텍스트는 메뉴와 배너와 광고 사이에 끼어 있습니다.
Okou에서는 그 부분이 이미 해결돼 있습니다. 에이전트는 공개 링크 하나를 보내고, 읽고 요약할 수 있는 깔끔한 텍스트나 그 페이지의 모든 링크 목록을 받습니다.
보통 방식으로는 읽히지 않는 페이지가 있습니다. 그런 페이지를 위한 더 강한 모드가 있고, 에이전트가 그걸 명시적으로 요청해야 합니다. 페이지당 비용이 더 크고, 워크플로가 그 모드를 골랐다면 그 사실이 보여야 하기 때문입니다.
사람들이 웹 스크레이핑 API라고 부르며 찾는 것과 같습니다. 다른 점은 찾을 필요가 없다는 것입니다. 이미 실행 안에 있으니, 메시지로 페이지를 부탁하면 에이전트가 그 안의 내용을 가져옵니다.
웹 스크래핑으로 할 수 있는 일
에이전트가 이걸로 무엇을 할 수 있고, 그때 무엇이 돌아오는지.
범위와 한계
하지 못하는 일을 먼저 밝혀 둡니다. 범위 밖의 것을 전제로 워크플로를 짜는 일이 없도록.
공개 페이지만
로그인이 개입하지 않으므로 로그인 뒤, 유료 장벽 뒤, 봇 차단 뒤의 페이지는 범위 밖입니다. 그건 원격 브라우저가 할 일입니다.
한 번에 한 페이지
지정한 페이지를 읽습니다. 사이트의 나머지를 돌아다니지 않으므로 사이트 전체를 읽으려면 페이지마다 요청하고 페이지마다 비용을 내야 합니다.
비싼 모드는 선택입니다
대부분의 페이지는 보통 방식으로 잘 읽힙니다. 더 강한 모드는 비용이 크고 에이전트가 요청해야 하므로, 워크플로가 조용히 비싸지는 일은 없습니다.
돌아오는 것은 정보이지 지시가 아닙니다
웹 페이지의 텍스트는 읽을 대상으로 다뤄지고 따를 지시로는 결코 다뤄지지 않습니다. 적대적인 페이지가 에이전트를 다른 일로 꾀어내지 못하게 막는 지점입니다.
웹 스크래핑 비용
웹 서비스는 토큰이 아니라 호출당 크레딧으로 과금됩니다. 따로 맞춰 볼 공급업체 청구서가 없습니다.
zero scrape페이지를 읽으면 크레딧이 듭니다. 강화 모드는 기본 모드보다 비쌉니다. 그 밖에 살 것도 최소 금액도 없으니, 일주일에 세 페이지를 읽는 워크플로는 한 만큼만 냅니다.
제품명과 로고는 각 소유자의 자산이며, 여기서는 각 서비스가 무엇 위에서 도는지를 밝히기 위해서만 표시합니다. 어떤 보증이나 제휴 관계도 의미하지 않습니다.
설정과 접근
설정할 것 없음
연결할 것이 없습니다. 가입도, 붙여 넣을 키도, 커넥터 목록에 추가되는 것도 없습니다. Okou 카탈로그의 Firecrawl 커넥터와 다른 점이 그것입니다. 커넥터는 이미 Firecrawl 계정이 있을 때 그 계정 위에서 돌고, 이쪽은 어느 에이전트나 그냥 쓰라고 놓여 있습니다.
누가 쓸 수 있나
웹 페이지 읽기는 여러분이 나눠 주는 권한이지 모든 에이전트가 기본으로 가진 능력이 아닙니다. 필요한 사람과 에이전트에게 필요한 기간만큼 주고, 그 에이전트가 할 수 있는 나머지는 건드리지 않은 채 회수하면 됩니다.
팀이 웹 스크래핑을 쓰는 곳
검색 결과 뒤의 페이지 읽기
검색은 제목과 두 줄을 줍니다. 대부분의 작업에는 본문이 필요하므로, 먼저 검색하고 중요한 두세 건을 고른 뒤 그것만 읽는 방식이 됩니다.
다른 입구가 없는 페이지 지켜보기
경쟁사 가격, 변경 이력, 상태 페이지, 규제 공지. 예약된 에이전트가 페이지를 읽고 지난주와 비교해 무언가 움직였을 때만 알려 줍니다.
긴 문서를 작업 재료로 바꾸기
명세서, 연차 보고서, 헬프 센터. 깔끔한 텍스트는 문서의 요약과 그 문서 내비게이션 메뉴의 요약을 가르는 차이입니다.
웹 스크래핑을 쓰지 말아야 할 때
로그인이나 클릭, 양식이 필요한 페이지에는 쓰지 말고 원격 브라우저를 쓰세요. 사이트 전체를 읽는 데도 쓰지 마세요. 페이지당 비용이 답의 가치보다 빨리 불어납니다. 그리고 출처가 자체 데이터를 공개한다면 그쪽을 쓰세요. 페이지를 읽는 것보다 거의 항상 안정적입니다.
다른 곳에서 부르는 이름
같은 것이 시장에서는 여러 이름으로 불립니다. 그중 하나를 찾아본 적이 있다면, 여기서 받는 것과 어떻게 대응되는지 정리했습니다.
웹 스크래핑 API
페이지를 가져와 텍스트를 돌려주는 서비스에 돈을 내는 일을 부르는 흔한 이름입니다. 정확히 그것이고, 계정과 키가 여러분이 아니라 Okou 쪽에 있습니다.
스크레이퍼를 짜지 않는 스크레이핑
만들 것도 유지할 것도 없습니다. 메시지로 페이지를 부탁하면, 가져오기와 정리가 실행 안에서 끝납니다.
HTML을 마크다운으로
보통은 직접 짜는 변환입니다. HTML 페이지가 들어가고 깔끔한 마크다운이 나옵니다. 텍스트가 에이전트에 닿기 전에 끝나므로, 모델은 마크업이 아니라 내용에 주의를 씁니다.
AI 또는 LLM 스크래핑
코드가 파싱하는 대신 모델이 읽도록 만든 출력의 스크래핑입니다. 같은 가져오기이지만, 선택자가 여전히 맞는지가 아니라 텍스트가 읽을 만한지로 평가됩니다.
노코드 스크래핑
여기서는 아무도 스크래퍼를 짜지 않습니다. 메시지로 페이지를 요청하면 에이전트가 가져옵니다. 코드 없는 스크래핑을 찾는 사람이 바라는 그것입니다.
웹 스크래핑 비교
웹 스크래핑 대 직접 스크레이퍼를 만드는 것
결과물은 같고 드는 품은 아주 다릅니다. 직접 하면 서비스를 고르거나 수집기를 짜야 하고, 키를 누군가 지켜야 하며, 페이지 모양이 바뀔 때마다 손봐야 합니다. 여기서는 부탁하고 답을 읽으면 되고, 접근은 공유된 비밀이 아니라 권한입니다.
웹 스크래핑 대 Firecrawl 커넥터
Okou에는 Firecrawl 커넥터도 있습니다. 이미 Firecrawl 계정이 있고 사용량을 거기에 남기고 싶거나, 이 서비스가 다루지 않는 기능이 필요하면 그쪽이 맞습니다. 내장 서비스는 그냥 부탁해서 페이지를 받고 싶을 때 맞습니다.
웹 스크래핑 대 브라우저를 직접 몰기
직접 조작하는 브라우저는 더 많은 일을 할 수 있고 훨씬 손이 많이 갑니다. 게다가 끝나면 페이지를 읽을 수 있는 텍스트로 바꿔야 합니다. 클릭이 정말 필요한 작업에는 원격 브라우저를, 페이지의 내용만 필요할 때는 이걸 쓰세요.
짧게 정리하면
Okou에서 웹 페이지를 읽는 기본 방법입니다. 페이지가 공개돼 있고 그 안의 내용이 필요하다면, 한 단계에 계정 없이 페이지 단위 과금으로 끝납니다. 로그인이나 클릭이 필요한 것은 원격 브라우저의 몫입니다.
자주 묻는 질문
Firecrawl 계정이 필요한가요?
아니요. 페이지를 읽는 일은 어느 에이전트나 원래 할 수 있으니 부탁하면 됩니다. 만들 계정도, 보관할 키도 없습니다.
Firecrawl 커넥터와 무엇이 다른가요?
커넥터는 이미 Firecrawl 계정이 있고 사용량을 거기에 남기고 싶을 때 그 계정 위에서 돕니다. 내장 서비스는 아무것도 설정하지 않고 바로 쓸 수 있습니다.
로그인 뒤 페이지도 읽나요?
아니요. 로그인 없이 공개 페이지를 엽니다. 로그인을 유지할 수 있고 중간에 사람이 넘겨받을 수 있는 원격 브라우저를 쓰세요.
웹사이트 전체를 읽을 수 있나요?
혼자서는 못 합니다. 한 번의 읽기는 한 페이지이므로 사이트를 훑으려면 페이지마다 요청해야 하고 페이지마다 과금됩니다. 상한을 정해 두는 편이 좋습니다.
페이지 하나를 읽는 데 얼마인가요?
성공한 읽기마다 크레딧이 나가고, 보통 방식으로 읽히지 않는 페이지에 쓰는 더 강한 모드는 더 비쌉니다. 그 모드가 조용히 선택되는 일은 없습니다.
돌아온 내용을 믿고 행동해도 되나요?
정보로 다루세요. Okou는 웹 페이지의 텍스트를 따를 지시가 아니라 읽을 재료로 다룹니다. 그래서 페이지가 그것을 읽은 에이전트의 방향을 틀지 못합니다.
그래도 스크레이핑 도구가 따로 필요한가요?
워크플로 안에서 페이지의 깔끔한 텍스트만 필요하다면 아닙니다. 에이전트에게 부탁하면 얻습니다. 스크레이핑 업체의 자체 화면과 전체 기능이 필요하다면 커넥터로 본인 계정을 연결하세요.
제가 직접 드는 스크래핑 요금제와 비용이 어떻게 다른가요?
스크레이핑 도구는 보통 최소 금액이 붙은 월 요금제를 팝니다. 여기서는 페이지를 읽을 때 크레딧이 들 뿐 월 약정이 없어서, 일주일에 몇 페이지 읽는 워크플로에 맞고, 물량이 아주 많다면 다시 계산해 볼 만합니다.
모델이 읽을 마크다운으로 돌려주나요?
네. 깔끔한 마크다운이 기본 형태이고, 그래서 페이지가 마크업 덩어리가 아니라 맥락으로 쓸 수 있게 됩니다.
스크래퍼를 짜거나 선택자를 관리해야 하나요?
아니요. 쓸 것도 없고 페이지가 개편돼도 깨질 것이 없습니다. 특정 요소의 내용이 아니라 페이지의 텍스트를 요청하기 때문입니다.
웹 스크래핑을 요청하는 방법
원하는 바를 평소 쓰는 말로 설명하면 됩니다. 어떤 서비스가 필요한지는 에이전트가 판단해 호출합니다.
“이 페이지를 읽고 중요한 다섯 가지를 각각 원문 표현 그대로 알려 줘.”
“이 문서 색인에서 링크를 뽑고, 가격에 관한 세 개를 읽어서 비교해 줘.”
“매주 월요일 경쟁사 가격 페이지를 확인하고 바뀐 게 있을 때만 알려 줘.”