研究:text2fig

📄 AutoFigure-Edit: Generating Editable Scientific Illustrations via Reference-Guided Styling

一、问题定义

  • 真实要解决的问题：把长篇方法文本直接变成可编辑、可局部修改的科研插图，而不是只能得到一次性 raster 图。
  • 为什么这个问题重要：科研插图通常要花几天，并且后续修改频繁；如果输出不可编辑，研究者会被重新作图成本拖死。
  • 现有方法为什么失败：T2I 模型视觉上可观但结构不稳；纯 SVG/代码法可编辑但布局和美观性差；PNG 转 SVG 会继承上游结构错误。

二、方法机制

X → M → Y

  • 输入是什么：长上下文科研文本 + 参考风格图。
  • 核心机制是什么：四阶段流水线
    • Stage I：风格条件图像生成，先得到 raster 草图
    • Stage II：分割与结构索引，把图拆成可定位部件
    • Stage III：资产提取，保留可复用视觉元素
    • Stage IV：SVG 模板生成与二次 refinement，把结构映射成可编辑 SVG
  • 输出是什么：带嵌入式可视化编辑器的可编辑 SVG 插图。

三、数据集

  • 数据集名称：FigureBench 的 research-paper subset
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开 benchmark
  • 数据是如何获得的（非常重要）：
    • 标注方式：论文未详细展开，沿用 FigureBench 原有构造
    • 是否清洗 / 过滤 / 增强：论文未详述
  • 数据规模：
    • train / val / test：文中明确用于评测的 200 个 method descriptions；未给出 train/val/test
  • 数据模态（text / image / multimodal / graph）：text + image
  • 是否可公开下载：
    • 下载链接：论文提到项目代码 https://github.com/ResearAI/AutoFigure-Edit
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：Gemini-3-Pro-Image-Preview、Gemini-3.1-Pro-Preview、NanoBanana-Pro 一类闭源 VLM/T2I
  • 模型结构组成模块：
    • module 1: 风格条件图像生成
    • module 2: 分割与结构解析
    • module 3: SVG 模板生成与渲染对齐 refinement
  • 是否使用预训练模型：
    • base model: Gemini / NanoBanana 系列
    • fine-tuning方式：主要是 prompting / pipeline orchestration，未报告专门微调
  • 关键设计思想：先生成视觉草图，再做结构拆解和 SVG 重建，用“中间结构层”换取可编辑性。

五、计算资源

  • 是否使用GPU：大概率使用云端模型推理
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：把参考风格控制、结构索引和 SVG 重建串成一体化可编辑科研插图系统。
  • 工程优化（engineering tricks）：先 raster 后 vector；用渲染回看做轻量 refinement。
  • 实验或数据贡献：在 FigureBench 上做结构化评测，并提供在线演示/编辑器。

七、局限性

  • 方法在哪些情况下失败：上游分割错、背景去除错、复杂专业图形超出基础模型能力时，SVG 重建会连锁失真。
  • 隐含假设：默认基础模型能先给出可被结构化的高质量 raster 草图。
  • 未解决问题：仍依赖闭源模型；跨学科高专业图的正确性验证不足。

八、可复用模块

  • style-conditioned draft generation
  • segmentation-to-asset indexing
  • raster-to-editable-SVG reconstruction
  • render-and-refine loop

九、灵感种子

1. 改进方向

  • 把 Stage II 的分割换成显式图元检测器，减少错误传播。
  • 引入“图元级约束求解器”，而不是只靠 VLM 回改 SVG。

2. 跨领域迁移

  • 可迁移到 graphical abstract、教学流程图、专利示意图。

3. 组合机会

  • 可与 DiagramRAG 的结构检索结合，先检索拓扑相似参考图再做 SVG 重建。

📄 Automatic Method Illustration Generation for AI Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration

一、问题定义

  • 真实要解决的问题：自动生成高保真、可编辑的 AI 论文方法示意图（MI），并能跟随研究社区新概念持续演化。
  • 为什么这个问题重要：方法图高度依赖领域图形惯例，人工绘制耗时且样式知识分散在作者经验里。
  • 现有方法为什么失败：raster 生成方法结构容易错；后处理 vectorization 仍带噪；直接 SVG 代码生成又难以处理复杂组件和社区风格演化。

二、方法机制

X → M → Y

  • 输入是什么：论文文本 p
  • 核心机制是什么：
    • CA 从公开论文中构建 experience dataset，并抽取 reusable middlewares
    • PA 将文本解析为 concept graph
    • DA 在 DrawIO 中调用 middleware 绘制
    • EA / RA 评估并在 Explore-and-Select 策略下反复尝试更优绘制选择
  • 输出是什么：可导出为 SVG 的高保真方法图。

三、数据集

  • 数据集名称：
    • Dexp（experience dataset）
    • FigAgentBench（测试集）
    • 另在 PaperBananaBench 上评测
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开论文 Web 收集
  • 数据是如何获得的（非常重要）：
    • 标注方式：自动收集论文文本和 MI，并抽取 XML/DrawIO 代码；middleware 创建和演化由 agent 驱动
    • 是否清洗 / 过滤 / 增强：有中间的 middleware 去重、合并、进化更新
  • 数据规模：
    • train / val / test：共 4,964 对 paper-MI(XML)；80% 构建 Dexp，20% 作为 FigAgentBench；未说明 val
  • 数据模态（text / image / multimodal / graph）：text + diagram code + image
  • 是否可公开下载：
    • 下载链接：论文文本未给出稳定公开链接
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：LLM + vision-LLM + DrawIO 工具环境
  • 模型结构组成模块：
    • module 1: Middleware Creation Agent / repository evolution
    • module 2: Parser Agent 生成 concept graph
    • module 3: Drawer Agent + Evaluator Agent + Refiner Agent
  • 是否使用预训练模型：
    • base model: 论文提到 LLM、vision-LLM、语义编码器（如 bge-m3 一类）
    • fine-tuning方式：未报告端到端参数微调；核心是 agentic orchestration
  • 关键设计思想：把“作者常画的图元模板”显式化成 Python middleware，再通过检索、进化和选择完成复杂图合成。

五、计算资源

  • 是否使用GPU：未明确
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：文中只给出 Dexp 批次级目标函数，没有标准深度训练设置

六、创新点

  • 真正创新（real novelty）：middleware-driven 图生成范式，把图元模板作为一等公民，并引入 repository evolution。
  • 工程优化（engineering tricks）：Explore-and-Select 绘制策略；theme-concept 索引；DrawIO 可执行函数封装。
  • 实验或数据贡献：构建 FigAgentBench，并系统对比 image-based / SVG-based 基线。

七、局限性

  • 方法在哪些情况下失败：如果 middleware 库覆盖不足，DA 很难画出新颖组件；视觉上可能仍受 DrawIO 原子图元表达力限制。
  • 隐含假设：相似主题论文中存在足够可重用视觉原语。
  • 未解决问题：跨学科迁移、全新概念的 zero-shot 表达、计算资源/调用成本没有透明展开。

八、可复用模块

  • concept graph parser
  • drawing middleware repository
  • middleware evolution loop
  • explore-and-select orchestration

九、灵感种子

1. 改进方向

  • 把 middleware 从函数库升级为“可组合图语法”，让新概念可由旧图元自动拼装。

2. 跨领域迁移

  • 可用于 UI 草图、教育流程图、生物机制图。

3. 组合机会

  • 可和 Paper2Figure 的 FigScript 结合：middleware 负责组件，FigScript 负责全局布局。

📄 DiagramBank: A Quality-Audited Dataset of Scientific Schematic

一、问题定义

  • 真实要解决的问题：构建一个高质量、可审计、带上下文与 provenance 的科学示意图数据资源。
  • 为什么这个问题重要：后续 diagram retrieval、RAG、benchmark、图理解都需要“先把图集对”。
  • 现有方法为什么失败：过去资源常混合 plot/photo/diagram，没有 paper-level context，也没有质量审计和过滤不确定性。

二、方法机制

X → M → Y

  • 输入是什么：OpenReview 论文 PDF + metadata
  • 核心机制是什么：PDF 抽图 → CLIP 预过滤 → VLM cascade 复核 → context/provenance 绑定 → audit
  • 输出是什么：57,100 条 schematic diagram 记录及多种 confidence-controlled views。

三、数据集

  • 数据集名称：DiagramBank
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开，OpenReview-hosted AI/ML venues
  • 数据是如何获得的（非常重要）：
    • 标注方式：自动过滤为主，人工盲审用于 release precision 审计
    • 是否清洗 / 过滤 / 增强：有 CLIP 预筛、VLM cascade、accepted-paper filter、confidence views
  • 数据规模：
    • train / val / test：不预设 train/val/test；主发布版本 57,100，候选池 94,176
  • 数据模态（text / image / multimodal / graph）：image + metadata + paper context
  • 是否可公开下载：
    • 下载链接：https://github.com/csml-rpi/DiagramBank
    • 是否需要申请：论文未说明，一般看作公开资源

四、模型结构

  • backbone模型：OpenCLIP ViT-B/32 + DataComp-XL 权重；后续 VLM cascade
  • 模型结构组成模块：
    • module 1: PDF figure extraction
    • module 2: CLIP-based coarse classification
    • module 3: VLM cascade + audit packaging
  • 是否使用预训练模型：
    • base model: OpenCLIP / VLM
    • fine-tuning方式：未报告微调
  • 关键设计思想：不是“做最强分类器”，而是把过滤过程显式可追踪化，让下游研究者可按置信度自定义子集。

五、计算资源

  • 是否使用GPU：论文未明确
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：把 diagram dataset 构造成“可审计资源层”，而非单纯图像集合。
  • 工程优化（engineering tricks）：cascade filtering、confidence views、paper/figure context 对齐。
  • 实验或数据贡献：57,100 高质量 schematic diagrams，且给出审计精度。

七、局限性

  • 方法在哪些情况下失败：自动 PDF 解析错误、caption / figure-reference span 不完整、diagram vs plot 误分。
  • 隐含假设：OpenReview AI/ML 论文足以代表目标研究空间。
  • 未解决问题：没有天然覆盖其他学科，也不直接提供 train/test benchmark protocol。

八、可复用模块

  • PDF-to-figure extraction pipeline
  • confidence-controlled release views
  • provenance-aware indexing schema
  • blind audit protocol

九、灵感种子

1. 改进方向

  • 加入“结构标签层”，把图片资源升级成带拓扑与版式标签的 retrieval-ready corpus。

2. 跨领域迁移

  • 法学流程图、医学示意图、专利附图语料库。

3. 组合机会

  • 与 DiagramRAG、SciIR、AutoFigure 系统结合，做 retrieval-conditioned figure generation。

📄 DiagramRAG: A Lightweight Framework to Retrieve Scientific Diagram for Figure Generation

一、问题定义

  • 真实要解决的问题：给定不完整 sketch，如何检索到拓扑兼容的科学图作为参考，再生成更完整、更美观的图。
  • 为什么这个问题重要：端到端生成常在结构完整性和拓扑一致性上翻车，而科研图首先是结构问题。
  • 现有方法为什么失败：纯 T2I 不理解图拓扑；普通图像检索更重视觉相似，不重“连接关系是否对”。

二、方法机制

X → M → Y

  • 输入是什么：用户 sketch / 不完整布局
  • 核心机制是什么：
    • 把 diagram 表示成 knowledge graph
    • 合成多类 sketch variants
    • 训练对比式 embedding，使 sketch 与兼容 diagram 对齐
    • 检索参考图后，由 structural planning agent + visual guidance agent 驱动生成
  • 输出是什么：结构更完整的最终 diagram。

三、数据集

  • 数据集名称：
    • DiagramSketch
    • diagram pool 基于 DiagramBank + FigureBench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开数据 + 自动合成 sketch variants
  • 数据是如何获得的（非常重要）：
    • 标注方式：正样本由 sketch 与其源 diagram 自动配对；负样本来自 mini-batch/in-batch negatives
    • 是否清洗 / 过滤 / 增强：有五类 sketch variant 合成、过滤与 topology-KG 变体协议
  • 数据规模：
    • train / val / test：论文未完整给出全量 split
  • 数据模态（text / image / multimodal / graph）：image + sketch + graph
  • 是否可公开下载：
    • 下载链接：
      • https://anonymous.4open.science/r/DiagramRAG-A262
      • https://huggingface.co/datasets/anonymous-review-a262/DiagramSketch
    • 是否需要申请：看起来不需要

四、模型结构

  • backbone模型：CLIP 系列视觉编码器 + contrastive retrieval + 外部生成模型
  • 模型结构组成模块：
    • module 1: sketch / diagram dual encoder
    • module 2: contrastive retrieval space learning
    • module 3: structural planning agent + visual guidance agent + generator
  • 是否使用预训练模型：
    • base model: CLIP ViT-B/L 等；生成器可用 Nano Banana Pro / GPT-Image 2
    • fine-tuning方式：contrastive training；生成器本身未必微调
  • 关键设计思想：把“检索什么参考图”作为第一关键步骤，通过拓扑相容性而非纯语义相似驱动下游生成。

五、计算资源

  • 是否使用GPU：是
  • GPU型号：NVIDIA H800 80GB
  • GPU数量：单节点，数量未明确
  • 是否分布式训练：未说明
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：
    • 默认 5 epochs，batch size 64
    • ViT-L/14 时 batch size 32，训练 10 epochs

六、创新点

  • 真正创新（real novelty）：结构感知 sketch-to-diagram retrieval，把图生成拆成“检索兼容参考 + 条件生成”。
  • 工程优化（engineering tricks）：知识图表示、多级退化 sketch 合成、in-batch contrastive negatives。
  • 实验或数据贡献：公开 DiagramSketch，并构建基于 DiagramBank/FigureBench 的 diagram pool。

七、局限性

  • 方法在哪些情况下失败：对非 workflow/framework 类科研图泛化不足；若检索库本身覆盖弱，生成上限被锁死。
  • 隐含假设：目标图可由现有参考图的结构原型近似覆盖。
  • 未解决问题：对 plots/tables/math illustration 的泛化尚未证明。

八、可复用模块

  • sketch variant synthesizer
  • topology-aware contrastive retriever
  • structure prompt planner
  • style guidance summarizer

九、灵感种子

1. 改进方向

  • 将检索对象从整图升级为“局部拓扑片段”，支持模块级拼装。

2. 跨领域迁移

  • UI wireframe retrieval、工业流程图补全、教育板书结构生成。

3. 组合机会

  • 与 AutoFigure-Edit 或 GenGA 结合，先检索结构，再输出可编辑 SVG。

📄 Generation and Evaluation of Editable Graphical Abstracts for Academic Papers

一、问题定义

  • 真实要解决的问题：让 graphical abstract 生成结果不仅好看，而且是可编辑的、可局部修改的、能保留论文真实资产的。
  • 为什么这个问题重要：GA 是论文传播入口，但现有图像生成结果难编辑，也容易把真实实验 asset 改坏。
  • 现有方法为什么失败：端到端 raster 生成会把可编辑性和真实数据约束全部丢掉。

二、方法机制

X → M → Y

  • 输入是什么：论文全文 / 摘要引言 + 可选资产图 A
  • 核心机制是什么：
    • reference retrieval
    • reference vectorization
    • asset-aware SVG generation
    • self-correction loop
  • 输出是什么：可编辑 SVG 格式的 graphical abstract。

三、数据集

  • 数据集名称：SciGA-145k
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开数据集
  • 数据是如何获得的（非常重要）：
    • 标注方式：来自 papers paired with GAs；资产提取为半自动
    • 是否清洗 / 过滤 / 增强：评测时聚焦 CS 域；使用 16,416 个额外 GAs 做检索参考
  • 数据规模：
    • train / val / test：测试集 2,053 papers；其余 split 未在文中明确
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：论文引用 SciGA，但本文未直接给稳定下载链接
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：VLM + vectorization module + self-correction pipeline
  • 模型结构组成模块：
    • module 1: reference retrieval
    • module 2: reference vectorization，把 arrows/regions/text blocks 变成 SVG 元素
    • module 3: asset-aware generation
    • module 4: self-correction loop
  • 是否使用预训练模型：
    • base model: 文中只说使用生成模型 / VLM，未完整披露底模
    • fine-tuning方式：未明确
  • 关键设计思想：把“用户资产”视为固定约束而非生成目标，同时引入 Structural Independence Coefficient 衡量局部可编辑性。

五、计算资源

  • 是否使用GPU：未明确
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：文中提到 self-correction 迭代 4 轮，但没有训练批次信息

六、创新点

  • 真正创新（real novelty）：定义 Editable GA Generation 任务，并把 editability 作为核心目标。
  • 工程优化（engineering tricks）：reference vectorization；asset placeholder 机制；self-correction。
  • 实验或数据贡献：提出 SIC 指标与新的 editable GA 评测框架。

七、局限性

  • 方法在哪些情况下失败：非结构资产会被替换成 placeholder，视觉表达可能不完整；若参考图和目标论文语义差距太大，SVG 结构指导会误导。
  • 隐含假设：GA 可被分解成结构层和资产层，且两者可相对独立优化。
  • 未解决问题：跨学科外观风格、复杂真实照片资产融入、底层生成模型透明性。

八、可复用模块

  • editable-vector target formulation
  • structural vectorization
  • asset-as-constraint generation
  • self-correction over rasterized SVG

九、灵感种子

1. 改进方向

  • 用局部 slot-based asset binding 替代 placeholder，提高真实资产保真度。

2. 跨领域迁移

  • 海报摘要、教学课件封面、医学 graphical summary。

3. 组合机会

  • 与 AutoFigure-Edit 结合，先生成 editable GA，再用 editor 做细粒度 revision。

📄 GeoSVG-RL: Geometry-Aware Reinforcement Learning for Layout-Constrained Text-to-SVG Diagram Generation

一、问题定义

  • 真实要解决的问题：生成的 SVG 代码即使语法正确，也常在箭头锚点、文本溢出、布局约束上失败；该文要直接优化这些几何约束。
  • 为什么这个问题重要：科研图不是普通代码生成，图一旦几何关系错，整图就不可用。
  • 现有方法为什么失败：token-level likelihood 不关心“渲染后是否合理”，模型学到的是代码模仿，不是几何可用性。

二、方法机制

X → M → Y

  • 输入是什么：文本 prompt x
  • 核心机制是什么：
    • 先预测 layout plan z
    • SVG policy 生成代码 y
    • browser-backed verifier 渲染并提取几何
    • 用 canvas fit、text containment、anchor alignment、graph consistency、SVG cleanliness 奖励做 GRPO 强化
  • 输出是什么：满足布局约束、可执行的 SVG diagram。

三、数据集

  • 数据集名称：procedurally generated synthetic corpus
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：合成
  • 数据是如何获得的（非常重要）：
    • 标注方式：程序化生成 prompt-plan-SVG 三元组，并带有 corrupted variants
    • 是否清洗 / 过滤 / 增强：包含 box shifts / misalignments 等扰动样本
  • 数据规模：
    • train / val / test：48,000 / 4,000 / 8,200
  • 数据模态（text / image / multimodal / graph）：text + SVG code + rendered image + geometry
  • 是否可公开下载：
    • 下载链接：https://github.com/johnnyZeppelin/GeoSVG-RL
    • 是否需要申请：看起来不需要

四、模型结构

  • backbone模型：Qwen2.5-Coder-7B-Instruct 初始化的 autoregressive code model
  • 模型结构组成模块：
    • module 1: layout planner
    • module 2: SVG generator policy
    • module 3: browser verifier / reward parser
    • module 4: GRPO policy refinement
  • 是否使用预训练模型：
    • base model: Qwen2.5-Coder-7B-Instruct
    • fine-tuning方式：先 SFT warm-start，再 GRPO 强化学习
  • 关键设计思想：把 SVG 生成视为 constrained program synthesis，训练目标从“像不像参考代码”改成“渲染后几何是否可用”。

五、计算资源

  • 是否使用GPU：是
  • GPU型号：NVIDIA A100 80GB
  • GPU数量：未明确
  • 是否分布式训练：未说明
  • 训练时长（如果有）：
    • warm-start 约 96 GPU-hours
    • GRPO refinement 约 128 GPU-hours
  • batch size / epoch（如果有）：
    • SFT 3 epochs，batch size 128
    • GRPO batch size 32，4 gradient accumulation steps，1,500 updates

六、创新点

  • 真正创新（real novelty）：把 browser-rendered geometry 直接引入 RL 奖励，优化图形约束而非 token 相似。
  • 工程优化（engineering tricks）：dual-path verifier、curriculum reward weighting、synthetic corrupted variants。
  • 实验或数据贡献：给出 layout-constrained SVG 的较完整几何评测套件。

七、局限性

  • 方法在哪些情况下失败：真实科研图比合成语料更复杂时，planner 和 reward 设计可能失配。
  • 隐含假设：关键可用性可以被显式几何 reward 充分表达。
  • 未解决问题：跨风格泛化、真实开放域 prompt、复杂图元与 icon 表达能力。

八、可复用模块

  • browser-backed verifier
  • geometry-aware reward library
  • plan-then-generate SVG policy
  • GRPO for executable graphics

九、灵感种子

1. 改进方向

  • 用 differentiable layout solver 或 symbolic verifier 进一步增强 reward 信号。

2. 跨领域迁移

  • UI layout code generation、PPT diagram generation、CAD 草图生成。

3. 组合机会

  • 与 Paper2Figure / FigAgent 结合，agent 负责语义，GeoSVG-RL 负责最终几何可用性。

📄 Paper2Figure: A Multi-Agent Collaborative System for Figure Generation

一、问题定义

  • 真实要解决的问题：让“论文文字 → 学术图”同时具备语义准确、视觉美观、可交互修改三者兼得。
  • 为什么这个问题重要：代码法可编辑但难排版，图像法好看但难改；真实使用场景需要生成后继续编辑。
  • 现有方法为什么失败：SVG/Mermaid 过于底层或表达受限；T2I 图中文字失真、逻辑漏项、结构不可控。

二、方法机制

X → M → Y

  • 输入是什么：文本描述 / 用户指令 I
  • 核心机制是什么：
    • Generation Agents：PlanAgent → ModuleAgent → LayoutAgent，把文本翻成 FigScript
    • Web renderer 渲染初图
    • Refinement Agents：CriticAgent → RefineAgent → EditAgent，迭代修正 FigScript
    • 用户可在 Web Editor 中自然语言或直接拖拽编辑
  • 输出是什么：最终 FigScript + 渲染图 + 可交互编辑结果。

三、数据集

  • 数据集名称：Paper2Figure Bench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：论文构建 benchmark
  • 数据是如何获得的（非常重要）：
    • 标注方式：100 academic figures paired with descriptions
    • 是否清洗 / 过滤 / 增强：论文未展开细节
  • 数据规模：
    • train / val / test：100 个 paired benchmark cases；未给出 train/val/test
  • 数据模态（text / image / multimodal / graph）：text + figure
  • 是否可公开下载：
    • 下载链接：论文文本未明确给出
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：GPT-4o 统一驱动多 agent + FigScript 中间表示
  • 模型结构组成模块：
    • module 1: Plan / Module / Layout generation agents
    • module 2: Critic / Refine / Edit refinement agents
    • module 3: FigScript renderer + interactive web editor
  • 是否使用预训练模型：
    • base model: GPT-4o
    • fine-tuning方式：未报告；以 prompting + tool use 为主
  • 关键设计思想：用中间 DSL（FigScript）连接 agent reasoning、可视化渲染和人类编辑。

五、计算资源

  • 是否使用GPU：可能主要是 API 推理
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：FigScript + dual multi-agent + interactive editor 的统一框架。
  • 工程优化（engineering tricks）：生成阶段与修正阶段角色分离；模板化布局与配色。
  • 实验或数据贡献：Paper2Figure Bench，且明确比较 SVG/Mermaid/T2I 路线。

七、局限性

  • 方法在哪些情况下失败：DSL 设计边界会限制图形表达；若 Critic 看不出逻辑错，EditAgent 会稳定放大错误。
  • 隐含假设：大部分学术图可被 FigScript 这套中间语言表达。
  • 未解决问题：大规模 benchmark 太小；真实用户交互成本与长期可维护性未展开。

八、可复用模块

  • intermediate figure DSL
  • generation/refinement dual-agent split
  • visual critic-to-edit loop
  • language + direct manipulation co-editing

九、灵感种子

1. 改进方向

  • 把 FigScript 接上自动约束求解器，减少 refinement 对大模型视觉检查的依赖。

2. 跨领域迁移

  • 海报、教育图、产品流程图、白板草图协作系统。

3. 组合机会

  • 与 GeoSVG-RL 结合，用 RL 优化 FigScript 渲染后的几何质量。

📄 PAPERBANANA: Automating Academic Illustration for AI Scientists

一、问题定义

  • 真实要解决的问题：自动生成 publication-ready 学术插图，并建立专门 benchmark 严格评测 faithful / concise / readable / aesthetic。
  • 为什么这个问题重要：AI scientist 工作流里“做图”是明显瓶颈，且当前多模态模型缺乏研究社区风格。
  • 现有方法为什么失败：代码法表达力受限；图像法视觉虽强但文本和逻辑容易出错，缺乏专门 benchmark。

二、方法机制

X → M → Y

  • 输入是什么：source context S + communicative intent C（方法图）或表格数据 + visual intent（统计图）
  • 核心机制是什么：
    • Retriever Agent 选参考图
    • Planner Agent 生成详细描述
    • Stylist Agent 总结学术视觉风格并润色描述
    • Visualizer Agent 生成图
    • Critic Agent 迭代批改，形成 refinement loop
  • 输出是什么：学术方法图或统计图。

三、数据集

  • 数据集名称：
    • PaperBananaBench（方法图）
    • 统计图测试集基于 ChartMimic 处理得到
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：NeurIPS 2025 论文人工整理 + ChartMimic
  • 数据是如何获得的（非常重要）：
    • 标注方式：从论文随机采样后自动抽取 method description / caption，再人工校验；统计图部分由 ChartMimic 转成 data + visual description
    • 是否清洗 / 过滤 / 增强：有严格过滤、分类与人工修订
  • 数据规模：
    • train / val / test：
      • 方法图：584 valid samples，均分成 292 test + 292 reference
      • 统计图：240 test + 240 reference
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：https://github.com/dwzhu-pku/PaperBanana
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：Gemini-3-Pro、Nano-Banana-Pro 等 VLM / image generation model
  • 模型结构组成模块：
    • module 1: Retriever Agent
    • module 2: Planner + Stylist
    • module 3: Visualizer + Critic iterative loop
  • 是否使用预训练模型：
    • base model: Gemini-3-Pro / Nano-Banana-Pro
    • fine-tuning方式：主要是 prompting + agent loop
  • 关键设计思想：把风格学习、语义规划和批判式修正显式分开，并给出 reference-based benchmark。

五、计算资源

  • 是否使用GPU：API 推理为主
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：把 academic illustration 任务系统化定义，并引入 reference set + test set 的联合 benchmark。
  • 工程优化（engineering tricks）：retrieval-grounded planning、style guide summarization、critic loop。
  • 实验或数据贡献：PaperBananaBench 与统计图评测集。

七、局限性

  • 方法在哪些情况下失败：核心失败模式是连接错误、源目标节点错连、文字渲染问题。
  • 隐含假设：现代顶会风格可以被总结成较稳定的 style guide。
  • 未解决问题：输出仍是 raster，编辑精度远不如原生向量图；跨领域泛化仍弱。

八、可复用模块

  • reference-grounded retrieval
  • stylist agent with corpus-level style synthesis
  • critic-driven refinement loop
  • benchmark with reference/test split

九、灵感种子

1. 改进方向

  • 用 editable reconstruction 补上 raster 不可编辑短板。

2. 跨领域迁移

  • 企业咨询图、科研海报、课程插图。

3. 组合机会

  • 与 AutoFigure-Edit 结合成“先好看生成，再 SVG 重建编辑”双阶段系统。

📄 PaperDraw: Intelligent generation system for scientific publications pipeline diagrams

一、问题定义

  • 真实要解决的问题：从自然语言描述自动生成 publication-quality pipeline diagram，同时允许用户通过对话持续修正意图。
  • 为什么这个问题重要：pipeline 图是科研论文高频视觉对象，但其设计同时受逻辑结构和学术审美约束。
  • 现有方法为什么失败：传统模板法表达力弱；纯 LLM 生成对结构和风格掌控不稳；用户意图常在交互中才逐步明确。

二、方法机制

X → M → Y

  • 输入是什么：用户文本描述 + 交互反馈
  • 核心机制是什么：
    • LLM + Conversational Agent 抽取多维语义
    • MultiRect-CenterLine 一类布局算法生成结构
    • style vector library 检索相似学术风格
    • Draw.io / XML 生成视图负责最终图产出与编辑
  • 输出是什么：学术风格 pipeline diagram。

三、数据集

  • 数据集名称：论文自建 pipeline diagram dataset
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：从 2020-2024 的 300 篇论文收集
  • 数据是如何获得的（非常重要）：
    • 标注方式：人工/规则驱动统计分析与风格总结
    • 是否清洗 / 过滤 / 增强：有结构统计、风格向量提取、相似风格库构造
  • 数据规模：
    • train / val / test：300 篇论文；未给出标准 train/val/test
  • 数据模态（text / image / multimodal / graph）：text + diagram
  • 是否可公开下载：
    • 下载链接：论文文本未给出
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：LLM + conversational agent + layout algorithm + style retrieval
  • 模型结构组成模块：
    • module 1: semantic extraction / intent refinement
    • module 2: structural layout generation
    • module 3: style vector retrieval and adaptation
  • 是否使用预训练模型：
    • base model: 商业 LLM，具体版本未稳定披露
    • fine-tuning方式：未说明
  • 关键设计思想：把“内容结构”和“学术风格”拆开建模，并用对话式代理修正初始语义提取偏差。

五、计算资源

  • 是否使用GPU：未明确
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：style vector library + conversational refinement 的 pipeline diagram 生成框架。
  • 工程优化（engineering tricks）：结构统计先验、风格检索、Draw.io 集成视图。
  • 实验或数据贡献：300 篇论文的 pipeline diagram 统计分析与设计原则总结。

七、局限性

  • 方法在哪些情况下失败：数据集学科覆盖有限时，风格推荐会偏；LLM 自动抽取若错，后续布局会整体错位。
  • 隐含假设：pipeline diagram 的设计空间可由有限统计规则和风格库有效覆盖。
  • 未解决问题：跨学科泛化、复杂非 pipeline 图、公开可复现性不足。

八、可复用模块

  • conversational intent refinement
  • style vector library
  • structure-first layout algorithm
  • draw.io integrated generation

九、灵感种子

1. 改进方向

  • 用 retrieval over DiagramBank 替代小型 style library，提升风格多样性。

2. 跨领域迁移

  • 商业流程图、实验 protocol 图、软件架构图。

3. 组合机会

  • 与 FigAgent 的 middleware repository 结合，形成“布局算法 + 组件库”的混合系统。

📄 SciFig: Towards Automating Scientific Figure Generation

一、问题定义

  • 真实要解决的问题：从论文文本自动生成 publication-ready 方法图，同时具备可评估的质量闭环。
  • 为什么这个问题重要：方法图制作耗时极高，而现有图像或布局模型不能同时保证科学准确性、结构清晰和审美一致。
  • 现有方法为什么失败：通用图像生成不适合科学图；通用 layout 生成缺少层级推理和跨粒度反馈。

二、方法机制

X → M → Y

  • 输入是什么：研究文本 / method description
  • 核心机制是什么：
    • Description Agent 解析组件和关系
    • Layout Agent 做 hierarchical reasoning 布局
    • Component Generation Agent 渲染部件
    • Feedback Agent 发现对齐、箭头、标签、间距等问题并给出 CoT 反馈
  • 输出是什么：多轮 refinement 后的方法图。

三、数据集

  • 数据集名称：论文自建 2,219 pipeline figures 数据集；评测集包含 2K+ annotated methodology figures
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：真实科研论文图
  • 数据是如何获得的（非常重要）：
    • 标注方式：自动+人工设计 rubrics，生成 dataset-level 和 paper-specific questions
    • 是否清洗 / 过滤 / 增强：有质量维度总结和分 conference / domain 统计
  • 数据规模：
    • train / val / test：论文未给出标准 split；明确有 2,219 figures 和 435-paper evaluation statistics
  • 数据模态（text / image / multimodal / graph）：text + figure
  • 是否可公开下载：
    • 下载链接：论文称 benchmark 和 pipeline 将开源，但正文未给稳定 URL
    • 是否需要申请：未说明

四、模型结构

  • backbone模型：GPT / Gemini / Claude 类多模型 agent 组合；图像生成基线含 GPT-5-Image、Qwen-Image、SDXL
  • 模型结构组成模块：
    • module 1: Description Agent
    • module 2: Hierarchical Layout Agent
    • module 3: Component Agent
    • module 4: Feedback Agent with CoT
  • 是否使用预训练模型：
    • base model: 多个闭源/开源大模型组合
    • fine-tuning方式：未报告专门参数微调
  • 关键设计思想：把图生成拆成“语义解析 - 层级布局 - 反馈修正”，强调 architecture 而不是单模型大小。

五、计算资源

  • 是否使用GPU：主要看作多模型推理系统
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：
    • 单图平均约 9.7 分钟生成
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：hierarchical layout + CoT feedback 的 agent architecture，并附带系统化 benchmark。
  • 工程优化（engineering tricks）：dataset-level 与 paper-specific 双层问题评测；角色分离。
  • 实验或数据贡献：2K+ methodology figures benchmark，细粒度质量 rubrics。

七、局限性

  • 方法在哪些情况下失败：复杂层级关系、跨部件逻辑依赖、专业语义过强时，反馈 agent 可能识别不全。
  • 隐含假设：把布局与部件生成拆开就足以显著提升质量。
  • 未解决问题：仍依赖闭源模型；没有解决向量级可编辑输出。

八、可复用模块

  • hierarchical layout reasoning
  • feedback-as-language supervision
  • dataset-level + paper-specific evaluation
  • agent latency breakdown

九、灵感种子

1. 改进方向

  • 把 Feedback Agent 产生的语言反馈转成可执行约束，而不是只让下游 agent 自己理解。

2. 跨领域迁移

  • 教材插图、系统架构图、科研教学幻灯片。

3. 组合机会

  • 与 GeoSVG-RL 结合，SciFig 出语义布局，GeoSVG-RL 保证几何和可编辑 SVG。

📄 SciIR: A Large-scale Training Dataset and Benchmark for Scientific Image Reasoning Generation

一、问题定义

  • 真实要解决的问题：让科学图像生成不仅对 prompt 对齐，还能显式遵守 scientific law、entity structure、scientific process 与文本约束。
  • 为什么这个问题重要：当前 T2I 模型会画“像图的图”，但不会画“科学上成立的图”。
  • 现有方法为什么失败：已有数据集 caption 太短、逻辑显式性不足；已有 benchmark 重图像质量，不重科学推理链条。

二、方法机制

X → M → Y

  • 输入是什么：科学图像 prompt
  • 核心机制是什么：
    • 构建 SciIR-82k，加入 Sci-RCoT 标注，显式描述潜在视觉推理链
    • 构建 SciIR-Bench，用 Atomic Checklist 做逐维度判定
    • 训练 Qwen-Image-SciIR：Qwen2.5-7B-Instruct 负责 reasoning planner，Qwen-Image-2512 负责 visual generator
  • 输出是什么：带推理中介的科学图像生成结果及更细粒度 benchmark 评估。

三、数据集

  • 数据集名称：
    • SciIR-82k
    • SciIR-Bench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开论文图文对，来自 Nature 和 Nature Communications 的 CC BY 4.0 文章
  • 数据是如何获得的（非常重要）：
    • 标注方式：自动/模型辅助生成 Sci-RCoT 与 checklist，再通过过滤和规则 refinement 控制误差
    • 是否清洗 / 过滤 / 增强：严格 license 过滤、test leakage 移除、FPR 控制、semiotic taxonomy 组织
  • 数据规模：
    • train / val / test：
      • SciIR-82k：82k+ 图文对
      • SciIR-Bench：800 test instances
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：
      • https://github.com/MAIR-Lab-HUST/SciIR
      • https://huggingface.co/datasets/MAIR-Lab-HUST/SciIR-82k
    • 是否需要申请：看起来不需要

四、模型结构

  • backbone模型：Qwen2.5-7B-Instruct + Qwen-Image-2512
  • 模型结构组成模块：
    • module 1: reasoning planner
    • module 2: visual generator
    • module 3: atomic checklist evaluator
  • 是否使用预训练模型：
    • base model: Qwen2.5-7B-Instruct；Qwen-Image-2512
    • fine-tuning方式：
      • planner：all-linear LoRA
      • generator：diffusion transformer LoRA
  • 关键设计思想：先显式生成 Sci-RCoT，再据此生成图，把“图像生成”改写成“推理后渲染”。

五、计算资源

  • 是否使用GPU：论文应使用 GPU 训练，但正文片段未清晰披露
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：
    • planner 使用 2048 token context
    • generator 分辨率 1024×1024
    • 其余 batch/epoch 未可靠披露

六、创新点

  • 真正创新（real novelty）：用 semiotic triad（law / structure / process）重新定义 scientific correctness，并给出 Sci-RCoT。
  • 工程优化（engineering tricks）：atomic checklist、strict veto scoring、双模块 reasoning-to-render pipeline。
  • 实验或数据贡献：SciIR-82k 与 SciIR-Bench，并给出强 open-source baseline。

七、局限性

  • 方法在哪些情况下失败：文字生成尤其弱；高密度样本与复杂科学约束下仍易 hallucinate。
  • 隐含假设：科学图正确性可以被分解到 semiotic triad 上，并由自动 checklist 近似评估。
  • 未解决问题：数据偏向 Nature 系列期刊；跨领域、跨语言和多模态外部知识接入仍不足。

八、可复用模块

  • Sci-RCoT annotation scheme
  • atomic checklist evaluation
  • reasoning-planner + visual-generator decoupling
  • semiotic triad taxonomy

九、灵感种子

1. 改进方向

  • 把 Sci-RCoT 变成结构图或程序约束，再接可执行 SVG/graph renderer。

2. 跨领域迁移

  • 教学示意图、工程流程图、医学机制图生成。

3. 组合机会

  • 与 GeoSVG-RL 结合：SciIR 负责科学推理，GeoSVG-RL 负责几何约束和可编辑输出。

📊 跨论文总结

1. 方法族群分类

  • generation类：
    • AutoFigure-Edit
    • GenGA
    • GeoSVG-RL
    • SciFig
  • reasoning类：
    • SciIR
    • SciFig
    • Paper2Figure
  • agent类：
    • PAPERBANANA
    • Paper2Figure
    • FigAgent
    • SciFig
  • retrieval类：
    • DiagramRAG
    • PAPERBANANA
    • GenGA
    • DiagramBank（作为资源层）

2. 共性模块库

  • 参考图检索器
  • 规划器（plan / concept graph / reasoning chain）
  • 中间表示层（FigScript / SVG / DrawIO XML / Sci-RCoT / layout plan）
  • 批判-修正闭环（critic / feedback / self-correction）
  • 风格提炼器（style guide / style vector / reference-guided styling）
  • 可执行验证器（browser verifier / checklist judge / graph-based evaluator）
  • 组件库机制（middleware repository / reusable assets）

3. 矛盾点

  • “先代码后渲染” vs “先图像后重建”
    • GeoSVG-RL、Paper2Figure、FigAgent 偏代码优先
    • PaperBanana、AutoFigure-Edit 偏图像优先
  • “可编辑性优先” vs “视觉表现优先”
    • SVG/DrawIO 系统更可编辑
    • image-generation 系统更容易出视觉上讨好的结果
  • “显式结构约束” vs “隐式大模型判断”
    • GeoSVG-RL / SciIR 偏显式可验证约束
    • PaperBanana / SciFig 偏 critic 的自然语言判断
  • “数据资源建设” vs “系统能力建设”
    • DiagramBank / SciIR 强在资源
    • FigAgent / Paper2Figure / PaperBanana 强在系统

4. 研究空白（Research Gaps）

  • 缺少真正统一的“科研图生成 + 可编辑 + 科学正确 + 几何正确”全栈系统。
  • 多数方法在 benchmark 上做得好，但跨学科泛化证据弱。
  • 评测体系碎片化：有的评结构，有的评美观，有的评科学性，缺少统一指标体系。
  • 很少有方法把局部组件检索、局部约束验证和全局布局优化放在同一闭环里。
  • 大部分系统仍依赖闭源 VLM / image model，复现门槛高。
  • 对真实人机协作流程的建模不足，尤其是“用户中途修改意图”的长期交互。
  • 对 text rendering、符号排版、数学标注的系统性解决依然薄弱。

5. 高潜力研究方向（Top 10）

    1. 科学推理到向量图的双阶段系统
    • 先用 SciIR 风格推理链生成结构，再用 GeoSVG-RL 风格渲染约束生成 SVG。
    1. 检索增强的可编辑图生成
    • 用 DiagramBank / DiagramRAG 做结构与风格检索，再输出 FigScript / SVG。
    1. 局部组件级 RAG
    • 不检索整图，改检索图元、子图和连接模式，更利于组合创新。
    1. 可执行图约束语言
    • 为科研图定义 DSL + constraint checker，让 critic 不只是写自然语言意见。
    1. 人机共编图工作台
    • 结合 Paper2Figure Web Editor 与 AutoFigure-Edit，支持自然语言和直接拖拽共编。
    1. 跨学科 scientific figure foundation benchmark
    • 把 AI、biology、materials、medicine 的图统一到一个结构化 benchmark。
    1. 真实资产保真生成
    • 借鉴 GenGA，把实验图片、显微图、结果图作为硬约束，而不是模型“想象”生成。
    1. Middleware + RL 混合系统
    • FigAgent 管组件库，GeoSVG-RL 管几何奖励，兼顾可复用性与可用性。
    1. 细粒度失败模式诊断器
    • 把“箭头错连、文字溢出、模块遗漏、科学逻辑冲突”做成统一错误 taxonomy。
    1. 低闭源依赖的开源复现路线
    • 用开源 planner、开源 VLM、开源 SVG policy 构建完整替代栈，提升可复现科研价值。

7.7 论文汇总

📄 AutomaTikZ: Text-Guided Synthesis of Scientific Vector Graphics with TikZ

零、模型主图

一、问题定义

  • 真实要解决的问题：把自然语言描述直接生成可编译、可编辑的 TikZ 科学矢量图。
  • 为什么这个问题重要：TikZ 是学术写作里高质量矢量图的重要格式，但门槛高，人工编写慢。
  • 现有方法为什么失败：通用图像生成不输出结构化代码；已有 SVG 路线往往停留在低层 path，难以保持逻辑层级和可编辑性。

二、方法机制

X → M → Y

  • 输入是什么：自然语言 caption / 图形描述。
  • 核心机制是什么：构建 DaTikZ 数据集后，微调 LLaMA 与 CLIP-augmented LLaMA（CLiMA），生成 TikZ 代码；再通过编译错误回溯与局部重采样机制做纠错。
  • 输出是什么：可编译的 TikZ 科学图。

三、数据集（Dataset）

  • 数据集名称：DaTikZ
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开 + Web 收集 + 人工构造
  • 数据是如何获得的（非常重要）：
    • 标注方式：收集 TikZ 图及其 caption 配对
    • 是否清洗 / 过滤 / 增强：对 caption 做 augmentation；来源包括 TeX Stack Exchange、arXiv papers、artificial examples
  • 数据规模：
    • train / val / test：总计约 119,789 对；文中未清晰分出标准 train/val/test
  • 数据模态（text / image / multimodal / graph）：text + vector code
  • 是否可公开下载：
    • 下载链接：https://github.com/potamides/AutomaTikZ
    • 是否需要申请：否

四、模型结构（Model）

  • backbone模型：LLaMA，CLiMA（CLIP + LLaMA 适配）
  • 模型结构组成模块：
    • module 1: caption 到 TikZ 的语言模型生成器
    • module 2: CLIP 适配层，用于增强文本-图像对齐
    • module 3: 编译错误定位与局部回溯纠错
  • 是否使用预训练模型：
    • base model: LLaMA + CLIP
    • fine-tuning方式：监督微调；CLIP 与 LLaMA 之间加入适配层
  • 关键设计思想：用高层图形语言 TikZ 代替低层 SVG path，把图生成转化成更适合 LLM 的代码生成任务。

五、计算资源（Compute / GPU）

  • 是否使用GPU：是
  • GPU型号：文中未明确，只提到 Hugging Face 社区 GPU grant
  • GPU数量：未提供GPU信息
  • 是否分布式训练（DDP / FSDP）：未提供GPU信息
  • 训练时长（如果有）：CLIP 适配层在 595K 通用图文对上预训练 1 epoch
  • batch size / epoch（如果有）：
    • batch size 128
    • 主训练 12 epochs

六、创新点

  • 真正创新（real novelty）：首次构建大规模 TikZ 图文数据集，并证明高层图形 DSL 比低层矢量路径更适合 LLM。
  • 工程优化（engineering tricks）：编译日志驱动的局部回溯纠错。
  • 实验或数据贡献：DaTikZ 数据集与公开模型权重。

七、局限性（必须写）

  • 方法在哪些情况下失败：输出仍可能违反 TeX/TikZ 语法和语义规则，导致不可编译。
  • 隐含假设：caption 足以决定图形的结构与排版。
  • 未解决问题：复杂跨层图关系、超长上下文图、LoRA 在相关层上的系统性研究还不充分。

八、可复用模块（非常重要）

  • caption-to-TikZ generation
  • compile-log-driven error correction
  • CLIP-LLaMA alignment adaptor
  • high-level graphics DSL generation

九、灵感种子（核心输出）

1. 改进方向

  • 引入结构约束解码器，避免只在编译后补救。
  • 将 TikZ 中间表示与布局规划器结合，先布局后代码化。

2. 跨领域迁移

  • 适合公式示意图、教学图、流程图、理论图。

3. 组合机会

  • 可与 GeoSVG-RL 一类几何约束方法结合，做“TikZ 规划 + 几何验证”。

📄 AUTOFIGURE: Generating and Refining Publication-Ready Scientific Illustrations

零、模型主图

一、问题定义

  • 真实要解决的问题：从长篇科研文本自动生成 publication-ready 科学插图，同时兼顾结构完整性与审美质量。
  • 为什么这个问题重要：长文本到科研图是高信息密度任务，人工通常要数天完成。
  • 现有方法为什么失败：端到端 T2I 缺少结构控制；纯代码图生成又牺牲视觉表现；既有 benchmark 也主要只看短文本或 caption。

二、方法机制

X → M → Y

  • 输入是什么：长篇 scientific document。
  • 核心机制是什么：Decoupled Generative Paradigm
    • Stage I: Concept Extraction，生成符号布局草图
    • Stage II: Critique-and-Refine，对布局进行多轮自检与修正
    • Stage III: Rendering Strategy Synthesis，综合布局与风格完成渲染
  • 输出是什么：结构正确且视觉精致的科学插图。

三、数据集（Dataset）

  • 数据集名称：FigureBench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：公开论文、survey、blog、textbook 等多源构建
  • 数据是如何获得的（非常重要）：
    • 标注方式：从 Research-14K 等来源抽样，使用 GPT-5 选出最相关插图，再经人工过滤
    • 是否清洗 / 过滤 / 增强：多阶段清洗；测试集经过人工高质量筛选
  • 数据规模：
    • train / val / test：共 3,300 对 text-figure pairs；300 test，其余 development
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：https://github.com/ResearAI/AutoFigure
    • 是否需要申请：否

四、模型结构（Model）

  • backbone模型：Gemini-2.5-Pro / Qwen-3-VL 作为主要 reasoning / rendering 引擎
  • 模型结构组成模块：
    • module 1: Concept Extraction
    • module 2: Critique-and-Refine
    • module 3: Rendering Module / Final Composition
  • 是否使用预训练模型：
    • base model: Gemini-2.5-Pro, Qwen-3-VL
    • fine-tuning方式：以 agentic orchestration / prompting 为主
  • 关键设计思想：把 reasoning 和 rendering 解耦，先求结构对，再求图好看。

五、计算资源（Compute / GPU）

  • 是否使用GPU：是
  • GPU型号：NVIDIA H100
  • GPU数量：2× NVIDIA H100 GPUs
  • 是否分布式训练（DDP / FSDP）：未说明
  • 训练时长（如果有）：本地部署单图生成约 9.3 分钟
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：提出 FigureBench，并将“reasoned rendering”明确为核心范式。
  • 工程优化（engineering tricks）：结构草图、多轮 critique、VLM-as-a-judge 评测。
  • 实验或数据贡献：FigureBench 3,300 对长文本科研图 benchmark。

七、局限性（必须写）

  • 方法在哪些情况下失败：复杂 taxonomy、专业领域图、极高文本密度图仍然困难。
  • 隐含假设：VLM 的多轮 critique 足以逼近专家排版修图能力。
  • 未解决问题：仍依赖强闭源模型；高度专业知识图生成尚未解决。

八、可复用模块（非常重要）

  • long-context concept extractor
  • critique-and-refine layout loop
  • decoupled reasoning/rendering paradigm
  • FigureBench evaluation protocol

九、灵感种子（核心输出）

1. 改进方向

  • 将 Stage I 的符号布局显式变成可执行 SVG/graph DSL，而不只作为中间草图。

2. 跨领域迁移

  • 可迁移到 graphical abstract、科研海报、技术路线图。

3. 组合机会

  • 可与 AutoFigure-Edit / CRAFTEDITOR 结合，把最终输出直接变成 editable SVG。

📄 CRAFTER: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs

零、模型主图

一、问题定义

  • 真实要解决的问题：让科学图生成同时支持多图类型、多输入条件，并最终得到可编辑输出。
  • 为什么这个问题重要：真实科研工作流不只“text-to-image”，还包括 sketch、mask completion、key-element composition 等条件输入。
  • 现有方法为什么失败：大多数系统只做单图类型、单输入模式，且输出不可编辑。

二、方法机制

X → M → Y

  • 输入是什么：文本、草图、mask、关键元素等多种输入条件。
  • 核心机制是什么：
    • CRAFTER：多 agent harness，共享 evolving figure specification 作为结构记忆
    • CRAFTEDITOR：把 raster figure 分三阶段转为 SVG，含 extraction、processing、composition
  • 输出是什么：更高质量的 scientific figure，以及进一步可编辑的 SVG。

三、数据集（Dataset）

  • 数据集名称：CRAFTBENCH
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：published papers、award-tier posters、research blogs
  • 数据是如何获得的（非常重要）：
    • 标注方式：多阶段筛选 + human quality annotation
    • 是否清洗 / 过滤 / 增强：强人工审查与任务平衡
  • 数据规模：
    • train / val / test：279 个 curated samples；其中文本到图约 179，另外有 mask completion 30、sketch-conditioned 40、key-element composition 30
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：https://github.com/HaozheZhao/Crafter
    • 是否需要申请：否

四、模型结构（Model）

  • backbone模型：多 agent harness + image-generation backend + VLM judge
  • 模型结构组成模块：
    • module 1: intent reasoner
    • module 2: plan generator / SVG skeleton generator
    • module 3: critic / reviser / convergence judge
    • module 4: CRAFTEDITOR 的 extraction-processing-composition 三阶段
  • 是否使用预训练模型：
    • base model: Nano Banana 2、Gemini-3.1-Pro / 3.5 Flash、Gemini-3.0-Pro-Image-Preview 等
    • fine-tuning方式：主要依赖 prompt orchestration
  • 关键设计思想：把“结构记忆”做成共享 spec，让不同 agent 在同一个中间状态上协同修正。

五、计算资源（Compute / GPU）

  • 是否使用GPU：主要为 API / VLM 推理
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练（DDP / FSDP）：未提供GPU信息
  • 训练时长（如果有）：未给出
  • batch size / epoch（如果有）：未给出
  • 额外成本信息：生成全部 279 个 CRAFTBENCH 样本总成本低于 90 美元；CRAFTEDITOR 每次 raster-to-SVG 约 0.85 美元

六、创新点

  • 真正创新（real novelty）：提出 harness 作为主要创新对象，而不是单纯换更强 backbone。
  • 工程优化（engineering tricks）：共享 figure specification、directive critic、hybrid critic、raster-to-SVG 组合式编辑。
  • 实验或数据贡献：CRAFTBENCH 与可编辑输出专门评测。

七、局限性（必须写）

  • 方法在哪些情况下失败：跨图类型泛化仍不均匀，某些复杂条件下仍会失败。
  • 隐含假设：executor 不需要改，只靠 orchestration layer 就足以显著提升。
  • 未解决问题：API 成本与 wall-clock time 随规模上升；279 样本仍偏小。

八、可复用模块（非常重要）

  • evolving figure specification memory
  • multi-agent harness abstraction
  • raster-to-SVG composition loop
  • directive critic + convergence judge

九、灵感种子（核心输出）

1. 改进方向

  • 将 figure specification 变成统一 DSL，便于跨系统共享和可解释编辑。

2. 跨领域迁移

  • 可用于海报生成、教学图、演讲幻灯插图、多模态设计任务。

3. 组合机会

  • 可与 FigureBench、VisBench、SridBench 结合，形成多 benchmark 统一评测体系。

📄 chart-plot: Closing the Last Mile of Academic Chart Generation

零、模型主图

一、问题定义

  • 真实要解决的问题：LLM 虽然能写出可运行 matplotlib 代码，但生成的图往往无法直接投稿，缺最后一公里。
  • 为什么这个问题重要：研究者真正需要的是符合期刊/会议风格、能适配版面、还可做细粒度几何编辑的图。
  • 现有方法为什么失败：主要有三类失配，style mismatch、deployment mismatch、edit mismatch。

二、方法机制

X → M → Y

  • 输入是什么：数据、可视化意图、目标 venue、可选参考风格。
  • 核心机制是什么：
    • style-aware code generation，加载 distilled style skill
    • deployment-aware render loop，在目标 LaTeX / 版面环境中编译和检查
    • structured edit layer，把 matplotlib 元素暴露为可稳定修改的对象
  • 输出是什么：publication-ready chart + reproducible matplotlib source。

三、数据集（Dataset）

  • 数据集名称：论文本身不引入新 benchmark 数据集，主要在五个现有数据集上测试
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：已有公开数据集
  • 数据是如何获得的（非常重要）：
    • 标注方式：围绕五个数据集的 chart generation 任务，不依赖新的人工大规模标注
    • 是否清洗 / 过滤 / 增强：主要由 harness 注入风格、版面和编辑层约束
  • 数据规模：
    • train / val / test：文中仅说明跨五个数据集测试，包括 ICEWS14、ICEWS05-15、YAGO11k、Wikidata12k、GDELT
  • 数据模态（text / image / multimodal / graph）：data + code + rendered chart
  • 是否可公开下载：
    • 下载链接：文段未直接给出仓库链接
    • 是否需要申请：未说明

四、模型结构（Model）

  • backbone模型：code LLM + harness
  • 模型结构组成模块：
    • module 1: style skill distillation
    • module 2: deployment-aware compilation / render loop
    • module 3: structured edit layer over matplotlib figure tree
  • 是否使用预训练模型：
    • base model: code LLM（具体型号文段未稳定披露）
    • fine-tuning方式：更像 harness augmentation，不强调模型微调
  • 关键设计思想：把“投稿级图表质量”定义为 harness 问题，而不是原始代码生成问题。

五、计算资源（Compute / GPU）

  • 是否使用GPU：未明确
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练（DDP / FSDP）：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：把 academic chart generation 的最后一公里拆成风格、部署、编辑三个显式 harness 层。
  • 工程优化（engineering tricks）：distilled style skill、LaTeX column-width deployment loop、stable element ID edit layer。
  • 实验或数据贡献：主要是任务 framing 与 system demo，而不是新 benchmark。

七、局限性（必须写）

  • 方法在哪些情况下失败：若 venue 风格超出 skill 覆盖、代码生成器本身语义错得太多，后端 harness 也救不回。
  • 隐含假设：chart quality 的关键问题主要出在外层环境约束，而不是图表语义本身。
  • 未解决问题：没有完整公开大规模 academic chart benchmark；GPU/训练细节不透明。

八、可复用模块（非常重要）

  • style skill distillation
  • deployment-aware render loop
  • stable-ID edit layer
  • publication-aware chart harness

九、灵感种子（核心输出）

1. 改进方向

  • 把 harness 扩展到 SVG / PPT chart，不只限于 matplotlib。

2. 跨领域迁移

  • 商业报表、论文插图中的统计图、数据新闻图。

3. 组合机会

  • 可与 PaperDraw、PlotGen、CRAfter 等 agent 系统结合，做图表与图解统一工作流。

📄 From Pixels to Paths: A Multi-Agent Framework for Editable Scientific Illustration

零、模型主图

一、问题定义

  • 真实要解决的问题：把自由形式指令转成真正可编辑的 scientific illustration，而不是静态 raster 图。
  • 为什么这个问题重要：科研图要反复迭代，最终可编辑性几乎和初始质量一样重要。
  • 现有方法为什么失败：image generation 输出不可拆分；TikZ/SVG 代码法虽可控，但交互体验差、编辑门槛高。

二、方法机制

X → M → Y

  • 输入是什么：text-only 或 text+image 指令。
  • 核心机制是什么：VisPainter 基于 MCP 协议，通过 Manager、Designer、Toolbox 驱动 Visio 等专业软件；Designer 生成草图，Manager 调工具执行并截图，Designer 再迭代修正。
  • 输出是什么：可编辑 scientific diagram。

三、数据集（Dataset）

  • 数据集名称：VisBench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：arXiv、GitHub 等公开来源，带许可过滤
  • 数据是如何获得的（非常重要）：
    • 标注方式：自动预筛 + 专家三轮人工检查
    • 是否清洗 / 过滤 / 增强：按元素数量做难度分层与 cohort 平衡；采用 seasonal update policy
  • 数据规模：
    • train / val / test：初始 release 360 fully annotated diagrams；season 评估 cohort 大小在 5-20 的 rolling setup 中抽样
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：论文称 VisPainter、VisBench 和采样算法将一起发布
    • 是否需要申请：未说明

四、模型结构（Model）

  • backbone模型：MCP-based multi-agent system + VLM Designer + Visio Toolbox
  • 模型结构组成模块：
    • module 1: Manager
    • module 2: Designer
    • module 3: Toolbox（30+ Visio MCP tools）
  • 是否使用预训练模型：
    • base model: VLM（如 Gemini-2.5-Pro 作为 Designer）
    • fine-tuning方式：未强调微调，核心是工具编排
  • 关键设计思想：用 MCP 把高层 reasoning 和低层 GUI/COM 操作分开，让专业绘图软件成为 agent 的执行器。

五、计算资源（Compute / GPU）

  • 是否使用GPU：主要是模型推理，不强调训练
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练（DDP / FSDP）：未提供GPU信息
  • 训练时长（如果有）：未提供
  • batch size / epoch（如果有）：未提供

六、创新点

  • 真正创新（real novelty）：把 MCP + 专业软件工具链引入科研图生成，强调可观察、可回滚、可编辑。
  • 工程优化（engineering tricks）：Manager-Designer-Toolbox 分层；VisBench 的 streaming benchmark 设计。
  • 实验或数据贡献：VisBench，覆盖 T2I 与 TI2I，两种设置下的七维评测。

七、局限性（必须写）

  • 方法在哪些情况下失败：评测仍依赖自动 judge；高自由度创意设计的“审美上限”难定义。
  • 隐含假设：专业图形工具的操作可以通过 MCP 调用稳定抽象出来。
  • 未解决问题：benchmark ceiling、审美主观性、更多图类覆盖仍待扩展。

八、可复用模块（非常重要）

  • MCP-based tool orchestration
  • Manager-Designer-Toolbox architecture
  • streaming benchmark with rolling cohorts
  • editable-vector-first generation

九、灵感种子（核心输出）

1. 改进方向

  • 把 Visio-specific toolbox 抽象成跨软件层，支持 Figma / PowerPoint / SVG editor。

2. 跨领域迁移

  • 教学插图、企业流程图、产品架构图、实验装置图。

3. 组合机会

  • 可与 CRAFTER 的 harness 记忆层结合，形成“工具代理 + 中间规范”双层系统。

📄 SridBench: Benchmark of Scientific Research Illustration Drawing of Image Generation Model

零、模型主图

一、问题定义

  • 真实要解决的问题：系统评估多模态模型生成科学研究插图的能力。
  • 为什么这个问题重要：科学插图和普通 T2I 不同，既要文本信息完整，又要图形结构和逻辑正确。
  • 现有方法为什么失败：此前缺少专门 benchmark，模型能力评估分散且不针对科研图。

二、方法机制

X → M → Y

  • 输入是什么：来自真实论文的文本描述与三元组数据。
  • 核心机制是什么：收集真实 scientific illustration drawing data，设计六个评测维度，并通过 MLLM 打分框架进行模型比较。
  • 输出是什么：对不同图像生成模型在 scientific drawing 任务上的系统评分。

三、数据集（Dataset）

  • 数据集名称：SridBench
  • 数据来源（公开 / 私有 / 合成 / Web抓取）：真实 peer-reviewed publications
  • 数据是如何获得的（非常重要）：
    • 标注方式：专家设定数据下载和过滤标准；再通过 MLLM 辅助筛选与打分
    • 是否清洗 / 过滤 / 增强：多学科来源、人工与模型混合筛选
  • 数据规模：
    • train / val / test：1,120 generation instances，覆盖 13 个学科
  • 数据模态（text / image / multimodal / graph）：multimodal
  • 是否可公开下载：
    • 下载链接：论文片段未给出稳定仓库链接
    • 是否需要申请：未说明

四、模型结构（Model）

  • backbone模型：作为 benchmark，本身不是新生成模型；主要评测 GPT-4o-image、Gemini-2.0-Flash、Emu-3 等
  • 模型结构组成模块：
    • module 1: 数据收集与过滤流程
    • module 2: 六维评测框架
    • module 3: MLLM-based scoring
  • 是否使用预训练模型：
    • base model: 被评测模型包括 diffusion / autoregressive / multimodal generation models
    • fine-tuning方式：不适用，论文主要是 benchmark
  • 关键设计思想：把“科学研究插图绘制能力”独立成 benchmark，并用多维度标准评估。

五、计算资源（Compute / GPU）

  • 是否使用GPU：主要依赖 API 生成与评测
  • GPU型号：未提供GPU信息
  • GPU数量：未提供GPU信息
  • 是否分布式训练（DDP / FSDP）：未提供GPU信息
  • 训练时长（如果有）：不适用
  • batch size / epoch（如果有）：不适用

六、创新点

  • 真正创新（real novelty）：首个专门针对 scientific research illustration drawing 的 benchmark。
  • 工程优化（engineering tricks）：六维指标框架、13 学科覆盖、MLLM judge。
  • 实验或数据贡献：1,120 条高质量 scientific illustration generation instances。

七、局限性（必须写）

  • 方法在哪些情况下失败：受输入长度限制，只评测少数模型；评测也受 judge 模型能力约束。
  • 隐含假设：MLLM 评分足以代理人类专家在 scientific figure quality 上的判断。
  • 未解决问题：缺少可编辑性维度；未覆盖更复杂 agentic / vector-based 系统。

八、可复用模块（非常重要）

  • scientific illustration benchmark protocol
  • multi-discipline sampling
  • six-axis evaluation rubric
  • MLLM scoring framework

九、灵感种子（核心输出）

1. 改进方向

  • 加入 editable output 和结构恢复能力评测，补足当前只看图像结果的不足。

2. 跨领域迁移

  • 可迁移到教育图、专利图、医学插图 benchmark。

3. 组合机会

  • 可与 FigureBench、VisBench、CRAFTBENCH 拼接，形成科研图统一 benchmark 族。

📊 跨论文总结

1. 方法族群分类

  • generation类
    • AutomaTikZ
    • AUTOFIGURE
    • CRAFTER
    • VisPainter
  • reasoning类
    • AUTOFIGURE
    • CRAFTER
    • chart-plot
  • agent类
    • CRAFTER
    • chart-plot
    • VisPainter
  • retrieval类
    • CRAFTER 中的 editable pipeline 有弱检索/资产组装味道
    • 这一批整体上 retrieval 不是最强主线
  • benchmark类
    • FigureBench
    • CRAFTBENCH
    • VisBench
    • SridBench

2. 共性模块库

  • harness / orchestration layer
  • 中间规范层（TikZ / figure specification / SVG skeleton / MCP message）
  • critic / refinement loop
  • 可编辑输出层（TikZ / SVG / Visio objects）
  • benchmark with multi-axis scoring
  • 结构先验或版面约束

3. 矛盾点

  • 更强 backbone vs 更强 harness
    • CRAFTER、chart-plot 明确主张“不是更强模型，而是更强外层 harness”
    • AutomaTikZ 更像“让模型适配更合适的图形语言”
  • 可编辑性优先 vs 视觉丰富度优先
    • TikZ / VisPainter / CRAFTEDITOR 偏可编辑
    • AUTOFIGURE 偏 publication-ready 视觉表现
  • benchmark 目标不同
    • SridBench 偏图像质量与科研绘图能力
    • VisBench 偏高密度可编辑图
    • CRAFTBENCH 偏跨图类与跨条件泛化

4. 研究空白（Research Gaps）

  • 缺少统一 benchmark 同时覆盖：科学正确性、视觉审美、可编辑性、交互成本。
  • 多数方法仍依赖闭源 API，复现性和成本不稳定。
  • 真正跨学科泛化仍不足，尤其是 biology / chemistry / medicine 的复杂规范图。
  • 中间表示尚未统一，不同系统之间难以模块级互操作。
  • 评测仍缺“长期修改可维护性”指标，例如改一处会不会牵一片。

5. 高潜力研究方向（Top 10）

    1. Harness-first scientific figure stack
    • 把 backbone 视为可替换执行器，重点优化 spec memory、critic、verification。
    1. Unified figure DSL
    • 统一 TikZ / SVG / DrawIO / Visio 的中间结构表示。
    1. Editable benchmark unification
    • 合并 VisBench、CRAFTBENCH、SridBench、FigureBench 的优点做总 benchmark。
    1. Scientific chart + scientific figure fusion
    • 把 chart-plot 的投稿级图表能力并入更大的科研图系统。
    1. MCP-native figure agents
    • 像 VisPainter 一样，把专业图形软件直接纳入 agent 执行层。
    1. Structure-aware raster-to-vector editing
    • 在 CRAFTEDITOR 基础上进一步提高图元级可修改性。
    1. Domain-specialized scientific figure generation
    • 针对 biology、chemistry、materials 建专门结构库和校验器。
    1. Compile-and-verify graphics generation
    • 借鉴 AutomaTikZ 的 compile feedback 与 GeoSVG-RL 的几何奖励，做统一 verifier。
    1. Cost-aware agent design
    • 在保持质量的前提下减少多轮 API 迭代成本。
    1. Human-in-the-loop controllable editing
    • 把自动生成与人工微调做成连续工作流，而不是两张皮。
研究:text2fig
http://jack-constantine.github.io/2026/07/06/研究-text2fig/
作者
JackConstantine
发布于
2026年7月6日
许可协议