📦 Data Feeds — 数据馈送
v1.0.0通过 Bright Data CLI(`bda`)从 40+ 支持的平台(Amazon、LinkedIn、Instagram、TikTok、Facebook、YouTube、Reddit 等)提取结构化数据
运行时依赖
安装命令
点击复制技能文档
Bright Data — Data Feeds(Pipelines) 通过 bdata pipelines 从已支持平台提取结构化数据。一次调用,干净 JSON,无需编写抓取逻辑。 遇到不支持的 URL,转交 scrape;需先找 URL,转交 search。
启动检查(先跑)
if ! command -v bdata >/dev/null 2>&1; then
echo "bdata CLI not installed — 见 bright-data-best-practices/references/cli-setup.md"
elif ! bdata zones >/dev/null 2>&1; then
echo "bdata 未认证 — 运行:bdata login(或:bdata login --device 用于 SSH)"
fi
任一检查失败即停止并跳转至 skills/bright-data-best-practices/references/cli-setup.md。 支持的 pipeline 类型(2026-04-19 验证)
使用前务必 bdata pipelines list 确认名称——会变动。
当前 43 种:amazon_product、amazon_product_reviews、amazon_product_search、apple_app_store、bestbuy_products、booking_hotel_listings、crunchbase_company、ebay_product、etsy_products、facebook_company_reviews、facebook_events、facebook_marketplace_listings、facebook_posts、github_repository_file、google_maps_reviews、google_play_store、google_shopping、homedepot_products、instagram_comments、instagram_posts、instagram_profiles、instagram_reels、linkedin_company_profile、linkedin_job_listings、linkedin_people_search、linkedin_person_profile、linkedin_posts、reddit_posts、reuter_news、tiktok_comments、tiktok_posts、tiktok_profiles、tiktok_shop、walmart_product、walmart_seller、x_posts、yahoo_finance_business、youtube_comments、youtube_profiles、youtube_videos、zara_products、zillow_properties_listing、zoominfo_company_profile
命名注意:各平台不一致,amazon_product(单数)、tiktok_profiles(复数)、linkedin_person_profile(非 linkedin_profile)。一律从 bdata pipelines list 复制。
选择路径
| 情况 | 动作 |
|---|---|
| 已知平台 + 有 URL | bdata pipelines |
| 不知用哪个 pipeline | 先 bdata pipelines list |
| pipeline 支持关键词或多参数 | 见下方“关键词/多参 pipelines” |
| 同类型多 URL | shell 循环并限并发(见 references/patterns.md) |
| 长任务(评论、员工、大帖子流) | --timeout 1800 |
| URL 平台不支持 | 停止,转交 scrape |
| 需先找 URL | 转交 search |
- amazon_product_search
- linkedin_people_search
- facebook_company_reviews
[num_reviews](默认 10) - google_maps_reviews
[days_limit](默认 3) - youtube_comments
[num_comments](默认 10)
核心命令示例
# 列出可用类型(唯一真相源) bdata pipelines list# Amazon 商品 bdata pipelines amazon_product \ "https://www.amazon.com/dp/B08N5WRWNW" \ --format json --pretty -o product.json
# Amazon 评论(慢,可能几百条) bdata pipelines amazon_product_reviews \ "https://www.amazon.com/dp/B08N5WRWNW" \ --timeout 1200 -o reviews.json
# Amazon 搜索(关键词+域名) bdata pipelines amazon_product_search \ "noise cancelling headphones" "https://www.amazon.com" \ --format json --pretty -o search.json
# LinkedIn 个人 bdata pipelines linkedin_person_profile \ "https://www.linkedin.com/in/example" -o person.json
# LinkedIn 公司 bdata pipelines linkedin_company_profile \ "https://www.linkedin.com/company/example" -o company.json
# LinkedIn 找人(公司URL+名+姓) bdata pipelines linkedin_people_search \ "https://www.linkedin.com/company/example" "Jane" "Doe" -o people.json
# Instagram 帖子 bdata pipelines instagram_posts \ "https://www.instagram.com/example/" -o posts.json
# Google Maps 评论(URL+天数,默认3) bdata pipelines google_maps_reviews \ "https://maps.google.com/?cid=1234567890" 90 -o reviews.json
# YouTube 评论(URL+数量,默认10) bdata pipelines youtube_comments \ "https://www.youtube.com/watch?v=abc123" 100 -o yt-comments.json
# 大流用 NDJSON(每行一条记录) bdata pipelines linkedin_posts "https://www.linkedin.com/in/example" \ --format ndjson -o posts.ndjson
# 长任务提高轮询超时 bdata pipelines amazon_product_reviews "" --timeout 1800 -o out.json
完整 flag 与类型表:references/flags.md
验证 gate
- JSON 能干净解析:
jq .返回 0(NDJSON 则每行均通过)。 - 记录数符合预期:通常 1 URL = 1 记录,但评论/帖子/回复类返回数组,大小由平台决定。