vLLM 团队创业公司 Inferact:16 块 TPU v7 跑 Kimi K3,比 GB200 快 57%
据量子位报道,vLLM 原班人马创办的 Inferact 为谷歌 TPU 写了 megakernel 推理内核,配合 DeepSeek 的 DSpark 推测解码,在 16 块 TPU v7 上跑 Kimi K3 达到每秒 709 token,同等条件下 GB200 为 452 token,代码已开源。
「开源」标签聚合的各栏目已发布内容,按本站发布日期从新到旧排列。
28 条
据量子位报道,vLLM 原班人马创办的 Inferact 为谷歌 TPU 写了 megakernel 推理内核,配合 DeepSeek 的 DSpark 推测解码,在 16 块 TPU v7 上跑 Kimi K3 达到每秒 709 token,同等条件下 GB200 为 452 token,代码已开源。
Anthropic 官方 skills 仓库里的前端设计 skill。它要求智能体先从产品和行业出发定下配色、字体和版式,再写代码、截图自查,专门用来避开千篇一律的「AI 味」界面。
Instatic 是 CoreBunch 团队开源的自托管 CMS,把画布编辑器、内容管理、表单、插件和发布器装进一个 Bun 服务器;页面发布后是纯 HTML 和 CSS,不带框架运行时,适合想摆脱 Webflow 月费、又嫌 WordPress 太重的独立开发者和小团队。
基于 Python 与 Rust 的 Claude Code 智能体架构开源净室重写版,提供终端原生自主研发环境。
提供开源高级推理大模型 DeepSeek R1 在线对话与 WebGPU 本地浏览器推理加速服务。
开源企业级 AI 知识库与研究代理,大幅缩减复杂多模态文档与数据挖掘时间。
适用于任意网站的轻量级无框架开源 AI 聊天 UI 库,原生支持 WebMCP 客户端工具。
面向编码智能体的开源安全沙箱运行 SDK,支持代码生成、包安装与自动化 PR。
Firecrawl 团队开源的示例应用:输入网站链接,自动抓取页面并交由大模型生成可运行的 React 应用,支持对话式迭代、四种模型任选与云端沙箱预览,适合复刻前端或快速搭出原型。
用 TypeScript 编写、可自托管的网页抓取工具包,以三种引擎覆盖静态页到 JS 渲染页,支持搜索结果批量采集、全站遍历与 LLM 结构化抽取,输出对大模型友好的数据。
MonkeyOCR 是基于轻量多模态大模型的开源文档解析工具,按结构、识别、关系三步解析 PDF,可还原公式、表格与阅读顺序,输出 Markdown,支持本地 GPU 推理。
微软开源的 AI 量化投资平台,把数据处理、模型训练、回测与组合优化串成完整流水线,内置高性能数据引擎和 20 多个主流模型基准,一条命令即可跑通从研究到评估的全流程。
把英文 PDF 论文解析重排后生成双语对照文档的开源翻译库,借助大模型翻译,尽量保留公式、表格等原有版式,可作 CLI 使用也能嵌入其他程序。
croc 是一个开源命令行文件传输工具,用一条口令短语就能让不同网络、不同系统间的两台电脑点对点互传文件,端到端加密,支持断点续传与多文件传输。
social-auto-upload 是 Python 开源工具,用浏览器自动化把视频一键发布到抖音、B 站、小红书等十一个平台,部分平台支持图文与定时发布,可管理多账号,适合自媒体矩阵运营。
面向闲鱼卖家的开源客服机器人:用大模型做意图识别,把买家消息分派给议价、技术、客服等专家 Agent,结合会话上下文自动应答,内置阶梯降价策略应对砍价,实现全天候值守店铺。
Syncthing 是一个用 Go 编写的开源持续文件同步工具,文件在多台设备间点对点直连互传,不经过第三方云服务,自动运行且跨平台,适合注重数据隐私的个人用户。
开源工具 Story-Flicks 只需一个故事主题,就能自动产出带 AI 插图、朗读和字幕的完整短视频;文本模型可接 DeepSeek、阿里云、OpenAI 等服务商,提供 Docker 一键部署与多语言产出。
微软开源的 AI 智能体入门课程,从最初的 10 节扩充到 18 节,覆盖概念、框架、设计模式到部署与安全,每课配讲义和可运行代码,并提供含中文在内的 50 多种语言翻译。
开源音视频笔记工具:FunASR 在本地完成语音识别,Ollama 本地模型把文字稿整理成结构化 Markdown,数据不出本机,适合整理会议、访谈和课程录音。
用大语言模型把 epub、txt、srt 等文件译成原文与译文对照版的命令行工具,支持多家模型服务商,会话上下文模式让全书译名保持一致,也提供免 API Key 的机器翻译路线。
Pearcleaner 是一款免费开源的 Mac 卸载工具,多选批量卸载应用并自动清理全盘残留,还带孤儿文件搜索与废纸篓监控,可作 AppCleaner 的开源替代。
用 Flutter 打造的开源音乐客户端,覆盖桌面与手机;音源、歌单和元数据靠插件接入,播放控制在本地完成、不收集遥测,曲目可带标签下载离线收听。
用 Rust 编写的开源文件清理工具,多线程扫描并支持缓存,能找出重复文件、相似图片与视频、空文件夹、大文件及损坏文件,完全离线,提供 GUI、CLI 和 Android 前端。
Web-Check 是一款开源的网站情报分析工具,输入网址即可查看 IP、DNS、SSL 证书、安全响应头、技术栈与性能等数十项信息,零配置即可自部署,适合站长自查与安全侦察。
Lux 是用 Go 编写的命令行视频下载工具,解析 B 站、抖音、YouTube 等 45 个站点的真实流地址,支持清晰度选择、字幕下载、播放列表批量抓取与断点续传。
Escrcpy 是一款基于 scrcpy 内核的开源桌面应用,在图形界面里完成安卓设备的投屏与键鼠操控,支持无线连接、多设备群控和自动化编排,不用记命令行参数就能上手。
在本地把电子书转成有声书的开源工具,内置多种 TTS 引擎,支持语音克隆和 1158 种语言,可输出带章节与元数据的 m4b,无需云服务,最低 2GB 内存即可运行。