AnyCrawl:把网页变成 LLM 数据的抓取工具包
开发工具3.5k
用 TypeScript 编写、可自托管的网页抓取工具包,以三种引擎覆盖静态页到 JS 渲染页,支持搜索结果批量采集、全站遍历与 LLM 结构化抽取,输出对大模型友好的数据。
「开发工具」分类下的已发布内容,按本站发布日期从新到旧排列。
6 条
用 TypeScript 编写、可自托管的网页抓取工具包,以三种引擎覆盖静态页到 JS 渲染页,支持搜索结果批量采集、全站遍历与 LLM 结构化抽取,输出对大模型友好的数据。
微软开源的 AI 量化投资平台,把数据处理、模型训练、回测与组合优化串成完整流水线,内置高性能数据引擎和 20 多个主流模型基准,一条命令即可跑通从研究到评估的全流程。
croc 是一个开源命令行文件传输工具,用一条口令短语就能让不同网络、不同系统间的两台电脑点对点互传文件,端到端加密,支持断点续传与多文件传输。
Syncthing 是一个用 Go 编写的开源持续文件同步工具,文件在多台设备间点对点直连互传,不经过第三方云服务,自动运行且跨平台,适合注重数据隐私的个人用户。
Web-Check 是一款开源的网站情报分析工具,输入网址即可查看 IP、DNS、SSL 证书、安全响应头、技术栈与性能等数十项信息,零配置即可自部署,适合站长自查与安全侦察。
Lux 是用 Go 编写的命令行视频下载工具,解析 B 站、抖音、YouTube 等 45 个站点的真实流地址,支持清晰度选择、字幕下载、播放列表批量抓取与断点续传。