研究:text2fig

📄 AutoFigure-Edit: Generating Editable Scientific Illustrations via Reference-Guided Styling

一、问题定义

• 真实要解决的问题：把长篇方法文本直接变成可编辑、可局部修改的科研插图，而不是只能得到一次性 raster 图。
• 为什么这个问题重要：科研插图通常要花几天，并且后续修改频繁；如果输出不可编辑，研究者会被重新作图成本拖死。
• 现有方法为什么失败：T2I 模型视觉上可观但结构不稳；纯 SVG/代码法可编辑但布局和美观性差；PNG 转 SVG 会继承上游结构错误。

二、方法机制

X → M → Y

• 输入是什么：长上下文科研文本 + 参考风格图。
• 核心机制是什么：四阶段流水线
  • Stage I：风格条件图像生成，先得到 raster 草图
  • Stage II：分割与结构索引，把图拆成可定位部件
  • Stage III：资产提取，保留可复用视觉元素
  • Stage IV：SVG 模板生成与二次 refinement，把结构映射成可编辑 SVG
• 输出是什么：带嵌入式可视化编辑器的可编辑 SVG 插图。

三、数据集

• 数据集名称：FigureBench 的 research-paper subset
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开 benchmark
• 数据是如何获得的（非常重要）：
  • 标注方式：论文未详细展开，沿用 FigureBench 原有构造
  • 是否清洗 / 过滤 / 增强：论文未详述
• 数据规模：
  • train / val / test：文中明确用于评测的 200 个 method descriptions；未给出 train/val/test
• 数据模态（text / image / multimodal / graph）：text + image
• 是否可公开下载：
  • 下载链接：论文提到项目代码 https://github.com/ResearAI/AutoFigure-Edit
  • 是否需要申请：未说明

四、模型结构

• backbone模型：Gemini-3-Pro-Image-Preview、Gemini-3.1-Pro-Preview、NanoBanana-Pro 一类闭源 VLM/T2I
• 模型结构组成模块：
  • module 1: 风格条件图像生成
  • module 2: 分割与结构解析
  • module 3: SVG 模板生成与渲染对齐 refinement
• 是否使用预训练模型：
  • base model: Gemini / NanoBanana 系列
  • fine-tuning方式：主要是 prompting / pipeline orchestration，未报告专门微调
• 关键设计思想：先生成视觉草图，再做结构拆解和 SVG 重建，用“中间结构层”换取可编辑性。

五、计算资源

• 是否使用GPU：大概率使用云端模型推理
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：把参考风格控制、结构索引和 SVG 重建串成一体化可编辑科研插图系统。
• 工程优化（engineering tricks）：先 raster 后 vector；用渲染回看做轻量 refinement。
• 实验或数据贡献：在 FigureBench 上做结构化评测，并提供在线演示/编辑器。

七、局限性

• 方法在哪些情况下失败：上游分割错、背景去除错、复杂专业图形超出基础模型能力时，SVG 重建会连锁失真。
• 隐含假设：默认基础模型能先给出可被结构化的高质量 raster 草图。
• 未解决问题：仍依赖闭源模型；跨学科高专业图的正确性验证不足。

八、可复用模块

• style-conditioned draft generation
• segmentation-to-asset indexing
• raster-to-editable-SVG reconstruction
• render-and-refine loop

九、灵感种子

1. 改进方向

• 把 Stage II 的分割换成显式图元检测器，减少错误传播。
• 引入“图元级约束求解器”，而不是只靠 VLM 回改 SVG。

2. 跨领域迁移

• 可迁移到 graphical abstract、教学流程图、专利示意图。

3. 组合机会

• 可与 DiagramRAG 的结构检索结合，先检索拓扑相似参考图再做 SVG 重建。

---

📄 Automatic Method Illustration Generation for AI Scientific Papers via Drawing Middleware Creation, Evolution, and Orchestration

一、问题定义

• 真实要解决的问题：自动生成高保真、可编辑的 AI 论文方法示意图（MI），并能跟随研究社区新概念持续演化。
• 为什么这个问题重要：方法图高度依赖领域图形惯例，人工绘制耗时且样式知识分散在作者经验里。
• 现有方法为什么失败：raster 生成方法结构容易错；后处理 vectorization 仍带噪；直接 SVG 代码生成又难以处理复杂组件和社区风格演化。

二、方法机制

X → M → Y

• 输入是什么：论文文本 p
• 核心机制是什么：
  • CA 从公开论文中构建 experience dataset，并抽取 reusable middlewares
  • PA 将文本解析为 concept graph
  • DA 在 DrawIO 中调用 middleware 绘制
  • EA / RA 评估并在 Explore-and-Select 策略下反复尝试更优绘制选择
• 输出是什么：可导出为 SVG 的高保真方法图。

三、数据集

• 数据集名称：
  • Dexp（experience dataset）
  • FigAgentBench（测试集）
  • 另在 PaperBananaBench 上评测
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开论文 Web 收集
• 数据是如何获得的（非常重要）：
  • 标注方式：自动收集论文文本和 MI，并抽取 XML/DrawIO 代码；middleware 创建和演化由 agent 驱动
  • 是否清洗 / 过滤 / 增强：有中间的 middleware 去重、合并、进化更新
• 数据规模：
  • train / val / test：共 4,964 对 paper-MI(XML)；80% 构建 Dexp，20% 作为 FigAgentBench；未说明 val
• 数据模态（text / image / multimodal / graph）：text + diagram code + image
• 是否可公开下载：
  • 下载链接：论文文本未给出稳定公开链接
  • 是否需要申请：未说明

四、模型结构

• backbone模型：LLM + vision-LLM + DrawIO 工具环境
• 模型结构组成模块：
  • module 1: Middleware Creation Agent / repository evolution
  • module 2: Parser Agent 生成 concept graph
  • module 3: Drawer Agent + Evaluator Agent + Refiner Agent
• 是否使用预训练模型：
  • base model: 论文提到 LLM、vision-LLM、语义编码器（如 bge-m3 一类）
  • fine-tuning方式：未报告端到端参数微调；核心是 agentic orchestration
• 关键设计思想：把“作者常画的图元模板”显式化成 Python middleware，再通过检索、进化和选择完成复杂图合成。

五、计算资源

• 是否使用GPU：未明确
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：文中只给出 Dexp 批次级目标函数，没有标准深度训练设置

六、创新点

• 真正创新（real novelty）：middleware-driven 图生成范式，把图元模板作为一等公民，并引入 repository evolution。
• 工程优化（engineering tricks）：Explore-and-Select 绘制策略；theme-concept 索引；DrawIO 可执行函数封装。
• 实验或数据贡献：构建 FigAgentBench，并系统对比 image-based / SVG-based 基线。

七、局限性

• 方法在哪些情况下失败：如果 middleware 库覆盖不足，DA 很难画出新颖组件；视觉上可能仍受 DrawIO 原子图元表达力限制。
• 隐含假设：相似主题论文中存在足够可重用视觉原语。
• 未解决问题：跨学科迁移、全新概念的 zero-shot 表达、计算资源/调用成本没有透明展开。

八、可复用模块

• concept graph parser
• drawing middleware repository
• middleware evolution loop
• explore-and-select orchestration

九、灵感种子

1. 改进方向

• 把 middleware 从函数库升级为“可组合图语法”，让新概念可由旧图元自动拼装。

2. 跨领域迁移

• 可用于 UI 草图、教育流程图、生物机制图。

3. 组合机会

• 可和 Paper2Figure 的 FigScript 结合：middleware 负责组件，FigScript 负责全局布局。

---

📄 DiagramBank: A Quality-Audited Dataset of Scientific Schematic

一、问题定义

• 真实要解决的问题：构建一个高质量、可审计、带上下文与 provenance 的科学示意图数据资源。
• 为什么这个问题重要：后续 diagram retrieval、RAG、benchmark、图理解都需要“先把图集对”。
• 现有方法为什么失败：过去资源常混合 plot/photo/diagram，没有 paper-level context，也没有质量审计和过滤不确定性。

二、方法机制

X → M → Y

• 输入是什么：OpenReview 论文 PDF + metadata
• 核心机制是什么：PDF 抽图 → CLIP 预过滤 → VLM cascade 复核 → context/provenance 绑定 → audit
• 输出是什么：57,100 条 schematic diagram 记录及多种 confidence-controlled views。

三、数据集

• 数据集名称：DiagramBank
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开，OpenReview-hosted AI/ML venues
• 数据是如何获得的（非常重要）：
  • 标注方式：自动过滤为主，人工盲审用于 release precision 审计
  • 是否清洗 / 过滤 / 增强：有 CLIP 预筛、VLM cascade、accepted-paper filter、confidence views
• 数据规模：
  • train / val / test：不预设 train/val/test；主发布版本 57,100，候选池 94,176
• 数据模态（text / image / multimodal / graph）：image + metadata + paper context
• 是否可公开下载：
  • 下载链接：https://github.com/csml-rpi/DiagramBank
  • 是否需要申请：论文未说明，一般看作公开资源

四、模型结构

• backbone模型：OpenCLIP ViT-B/32 + DataComp-XL 权重；后续 VLM cascade
• 模型结构组成模块：
  • module 1: PDF figure extraction
  • module 2: CLIP-based coarse classification
  • module 3: VLM cascade + audit packaging
• 是否使用预训练模型：
  • base model: OpenCLIP / VLM
  • fine-tuning方式：未报告微调
• 关键设计思想：不是“做最强分类器”，而是把过滤过程显式可追踪化，让下游研究者可按置信度自定义子集。

五、计算资源

• 是否使用GPU：论文未明确
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：把 diagram dataset 构造成“可审计资源层”，而非单纯图像集合。
• 工程优化（engineering tricks）：cascade filtering、confidence views、paper/figure context 对齐。
• 实验或数据贡献：57,100 高质量 schematic diagrams，且给出审计精度。

七、局限性

• 方法在哪些情况下失败：自动 PDF 解析错误、caption / figure-reference span 不完整、diagram vs plot 误分。
• 隐含假设：OpenReview AI/ML 论文足以代表目标研究空间。
• 未解决问题：没有天然覆盖其他学科，也不直接提供 train/test benchmark protocol。

八、可复用模块

• PDF-to-figure extraction pipeline
• confidence-controlled release views
• provenance-aware indexing schema
• blind audit protocol

九、灵感种子

1. 改进方向

• 加入“结构标签层”，把图片资源升级成带拓扑与版式标签的 retrieval-ready corpus。

2. 跨领域迁移

• 法学流程图、医学示意图、专利附图语料库。

3. 组合机会

• 与 DiagramRAG、SciIR、AutoFigure 系统结合，做 retrieval-conditioned figure generation。

---

📄 DiagramRAG: A Lightweight Framework to Retrieve Scientific Diagram for Figure Generation

一、问题定义

• 真实要解决的问题：给定不完整 sketch，如何检索到拓扑兼容的科学图作为参考，再生成更完整、更美观的图。
• 为什么这个问题重要：端到端生成常在结构完整性和拓扑一致性上翻车，而科研图首先是结构问题。
• 现有方法为什么失败：纯 T2I 不理解图拓扑；普通图像检索更重视觉相似，不重“连接关系是否对”。

二、方法机制

X → M → Y

• 输入是什么：用户 sketch / 不完整布局
• 核心机制是什么：
  • 把 diagram 表示成 knowledge graph
  • 合成多类 sketch variants
  • 训练对比式 embedding，使 sketch 与兼容 diagram 对齐
  • 检索参考图后，由 structural planning agent + visual guidance agent 驱动生成
• 输出是什么：结构更完整的最终 diagram。

三、数据集

• 数据集名称：
  • DiagramSketch
  • diagram pool 基于 DiagramBank + FigureBench
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开数据 + 自动合成 sketch variants
• 数据是如何获得的（非常重要）：
  • 标注方式：正样本由 sketch 与其源 diagram 自动配对；负样本来自 mini-batch/in-batch negatives
  • 是否清洗 / 过滤 / 增强：有五类 sketch variant 合成、过滤与 topology-KG 变体协议
• 数据规模：
  • train / val / test：论文未完整给出全量 split
• 数据模态（text / image / multimodal / graph）：image + sketch + graph
• 是否可公开下载：
  • 下载链接：
    • https://anonymous.4open.science/r/DiagramRAG-A262
    • https://huggingface.co/datasets/anonymous-review-a262/DiagramSketch
  • 是否需要申请：看起来不需要

四、模型结构

• backbone模型：CLIP 系列视觉编码器 + contrastive retrieval + 外部生成模型
• 模型结构组成模块：
  • module 1: sketch / diagram dual encoder
  • module 2: contrastive retrieval space learning
  • module 3: structural planning agent + visual guidance agent + generator
• 是否使用预训练模型：
  • base model: CLIP ViT-B/L 等；生成器可用 Nano Banana Pro / GPT-Image 2
  • fine-tuning方式：contrastive training；生成器本身未必微调
• 关键设计思想：把“检索什么参考图”作为第一关键步骤，通过拓扑相容性而非纯语义相似驱动下游生成。

五、计算资源

• 是否使用GPU：是
• GPU型号：NVIDIA H800 80GB
• GPU数量：单节点，数量未明确
• 是否分布式训练：未说明
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：
  • 默认 5 epochs，batch size 64
  • ViT-L/14 时 batch size 32，训练 10 epochs

六、创新点

• 真正创新（real novelty）：结构感知 sketch-to-diagram retrieval，把图生成拆成“检索兼容参考 + 条件生成”。
• 工程优化（engineering tricks）：知识图表示、多级退化 sketch 合成、in-batch contrastive negatives。
• 实验或数据贡献：公开 DiagramSketch，并构建基于 DiagramBank/FigureBench 的 diagram pool。

七、局限性

• 方法在哪些情况下失败：对非 workflow/framework 类科研图泛化不足；若检索库本身覆盖弱，生成上限被锁死。
• 隐含假设：目标图可由现有参考图的结构原型近似覆盖。
• 未解决问题：对 plots/tables/math illustration 的泛化尚未证明。

八、可复用模块

• sketch variant synthesizer
• topology-aware contrastive retriever
• structure prompt planner
• style guidance summarizer

九、灵感种子

1. 改进方向

• 将检索对象从整图升级为“局部拓扑片段”，支持模块级拼装。

2. 跨领域迁移

• UI wireframe retrieval、工业流程图补全、教育板书结构生成。

3. 组合机会

• 与 AutoFigure-Edit 或 GenGA 结合，先检索结构，再输出可编辑 SVG。

---

📄 Generation and Evaluation of Editable Graphical Abstracts for Academic Papers

一、问题定义

• 真实要解决的问题：让 graphical abstract 生成结果不仅好看，而且是可编辑的、可局部修改的、能保留论文真实资产的。
• 为什么这个问题重要：GA 是论文传播入口，但现有图像生成结果难编辑，也容易把真实实验 asset 改坏。
• 现有方法为什么失败：端到端 raster 生成会把可编辑性和真实数据约束全部丢掉。

二、方法机制

X → M → Y

• 输入是什么：论文全文 / 摘要引言 + 可选资产图 A
• 核心机制是什么：
  • reference retrieval
  • reference vectorization
  • asset-aware SVG generation
  • self-correction loop
• 输出是什么：可编辑 SVG 格式的 graphical abstract。

三、数据集

• 数据集名称：SciGA-145k
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开数据集
• 数据是如何获得的（非常重要）：
  • 标注方式：来自 papers paired with GAs；资产提取为半自动
  • 是否清洗 / 过滤 / 增强：评测时聚焦 CS 域；使用 16,416 个额外 GAs 做检索参考
• 数据规模：
  • train / val / test：测试集 2,053 papers；其余 split 未在文中明确
• 数据模态（text / image / multimodal / graph）：multimodal
• 是否可公开下载：
  • 下载链接：论文引用 SciGA，但本文未直接给稳定下载链接
  • 是否需要申请：未说明

四、模型结构

• backbone模型：VLM + vectorization module + self-correction pipeline
• 模型结构组成模块：
  • module 1: reference retrieval
  • module 2: reference vectorization，把 arrows/regions/text blocks 变成 SVG 元素
  • module 3: asset-aware generation
  • module 4: self-correction loop
• 是否使用预训练模型：
  • base model: 文中只说使用生成模型 / VLM，未完整披露底模
  • fine-tuning方式：未明确
• 关键设计思想：把“用户资产”视为固定约束而非生成目标，同时引入 Structural Independence Coefficient 衡量局部可编辑性。

五、计算资源

• 是否使用GPU：未明确
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：文中提到 self-correction 迭代 4 轮，但没有训练批次信息

六、创新点

• 真正创新（real novelty）：定义 Editable GA Generation 任务，并把 editability 作为核心目标。
• 工程优化（engineering tricks）：reference vectorization；asset placeholder 机制；self-correction。
• 实验或数据贡献：提出 SIC 指标与新的 editable GA 评测框架。

七、局限性

• 方法在哪些情况下失败：非结构资产会被替换成 placeholder，视觉表达可能不完整；若参考图和目标论文语义差距太大，SVG 结构指导会误导。
• 隐含假设：GA 可被分解成结构层和资产层，且两者可相对独立优化。
• 未解决问题：跨学科外观风格、复杂真实照片资产融入、底层生成模型透明性。

八、可复用模块

• editable-vector target formulation
• structural vectorization
• asset-as-constraint generation
• self-correction over rasterized SVG

九、灵感种子

1. 改进方向

• 用局部 slot-based asset binding 替代 placeholder，提高真实资产保真度。

2. 跨领域迁移

• 海报摘要、教学课件封面、医学 graphical summary。

3. 组合机会

• 与 AutoFigure-Edit 结合，先生成 editable GA，再用 editor 做细粒度 revision。

---

📄 GeoSVG-RL: Geometry-Aware Reinforcement Learning for Layout-Constrained Text-to-SVG Diagram Generation

一、问题定义

• 真实要解决的问题：生成的 SVG 代码即使语法正确，也常在箭头锚点、文本溢出、布局约束上失败；该文要直接优化这些几何约束。
• 为什么这个问题重要：科研图不是普通代码生成，图一旦几何关系错，整图就不可用。
• 现有方法为什么失败：token-level likelihood 不关心“渲染后是否合理”，模型学到的是代码模仿，不是几何可用性。

二、方法机制

X → M → Y

• 输入是什么：文本 prompt x
• 核心机制是什么：
  • 先预测 layout plan z
  • SVG policy 生成代码 y
  • browser-backed verifier 渲染并提取几何
  • 用 canvas fit、text containment、anchor alignment、graph consistency、SVG cleanliness 奖励做 GRPO 强化
• 输出是什么：满足布局约束、可执行的 SVG diagram。

三、数据集

• 数据集名称：procedurally generated synthetic corpus
• 数据来源（公开 / 私有 / 合成 / Web抓取）：合成
• 数据是如何获得的（非常重要）：
  • 标注方式：程序化生成 prompt-plan-SVG 三元组，并带有 corrupted variants
  • 是否清洗 / 过滤 / 增强：包含 box shifts / misalignments 等扰动样本
• 数据规模：
  • train / val / test：48,000 / 4,000 / 8,200
• 数据模态（text / image / multimodal / graph）：text + SVG code + rendered image + geometry
• 是否可公开下载：
  • 下载链接：https://github.com/johnnyZeppelin/GeoSVG-RL
  • 是否需要申请：看起来不需要

四、模型结构

• backbone模型：Qwen2.5-Coder-7B-Instruct 初始化的 autoregressive code model
• 模型结构组成模块：
  • module 1: layout planner
  • module 2: SVG generator policy
  • module 3: browser verifier / reward parser
  • module 4: GRPO policy refinement
• 是否使用预训练模型：
  • base model: Qwen2.5-Coder-7B-Instruct
  • fine-tuning方式：先 SFT warm-start，再 GRPO 强化学习
• 关键设计思想：把 SVG 生成视为 constrained program synthesis，训练目标从“像不像参考代码”改成“渲染后几何是否可用”。

五、计算资源

• 是否使用GPU：是
• GPU型号：NVIDIA A100 80GB
• GPU数量：未明确
• 是否分布式训练：未说明
• 训练时长（如果有）：
  • warm-start 约 96 GPU-hours
  • GRPO refinement 约 128 GPU-hours
• batch size / epoch（如果有）：
  • SFT 3 epochs，batch size 128
  • GRPO batch size 32，4 gradient accumulation steps，1,500 updates

六、创新点

• 真正创新（real novelty）：把 browser-rendered geometry 直接引入 RL 奖励，优化图形约束而非 token 相似。
• 工程优化（engineering tricks）：dual-path verifier、curriculum reward weighting、synthetic corrupted variants。
• 实验或数据贡献：给出 layout-constrained SVG 的较完整几何评测套件。

七、局限性

• 方法在哪些情况下失败：真实科研图比合成语料更复杂时，planner 和 reward 设计可能失配。
• 隐含假设：关键可用性可以被显式几何 reward 充分表达。
• 未解决问题：跨风格泛化、真实开放域 prompt、复杂图元与 icon 表达能力。

八、可复用模块

• browser-backed verifier
• geometry-aware reward library
• plan-then-generate SVG policy
• GRPO for executable graphics

九、灵感种子

1. 改进方向

• 用 differentiable layout solver 或 symbolic verifier 进一步增强 reward 信号。

2. 跨领域迁移

• UI layout code generation、PPT diagram generation、CAD 草图生成。

3. 组合机会

• 与 Paper2Figure / FigAgent 结合，agent 负责语义，GeoSVG-RL 负责最终几何可用性。

---

📄 Paper2Figure: A Multi-Agent Collaborative System for Figure Generation

一、问题定义

• 真实要解决的问题：让“论文文字 → 学术图”同时具备语义准确、视觉美观、可交互修改三者兼得。
• 为什么这个问题重要：代码法可编辑但难排版，图像法好看但难改；真实使用场景需要生成后继续编辑。
• 现有方法为什么失败：SVG/Mermaid 过于底层或表达受限；T2I 图中文字失真、逻辑漏项、结构不可控。

二、方法机制

X → M → Y

• 输入是什么：文本描述 / 用户指令 I
• 核心机制是什么：
  • Generation Agents：PlanAgent → ModuleAgent → LayoutAgent，把文本翻成 FigScript
  • Web renderer 渲染初图
  • Refinement Agents：CriticAgent → RefineAgent → EditAgent，迭代修正 FigScript
  • 用户可在 Web Editor 中自然语言或直接拖拽编辑
• 输出是什么：最终 FigScript + 渲染图 + 可交互编辑结果。

三、数据集

• 数据集名称：Paper2Figure Bench
• 数据来源（公开 / 私有 / 合成 / Web抓取）：论文构建 benchmark
• 数据是如何获得的（非常重要）：
  • 标注方式：100 academic figures paired with descriptions
  • 是否清洗 / 过滤 / 增强：论文未展开细节
• 数据规模：
  • train / val / test：100 个 paired benchmark cases；未给出 train/val/test
• 数据模态（text / image / multimodal / graph）：text + figure
• 是否可公开下载：
  • 下载链接：论文文本未明确给出
  • 是否需要申请：未说明

四、模型结构

• backbone模型：GPT-4o 统一驱动多 agent + FigScript 中间表示
• 模型结构组成模块：
  • module 1: Plan / Module / Layout generation agents
  • module 2: Critic / Refine / Edit refinement agents
  • module 3: FigScript renderer + interactive web editor
• 是否使用预训练模型：
  • base model: GPT-4o
  • fine-tuning方式：未报告；以 prompting + tool use 为主
• 关键设计思想：用中间 DSL（FigScript）连接 agent reasoning、可视化渲染和人类编辑。

五、计算资源

• 是否使用GPU：可能主要是 API 推理
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：FigScript + dual multi-agent + interactive editor 的统一框架。
• 工程优化（engineering tricks）：生成阶段与修正阶段角色分离；模板化布局与配色。
• 实验或数据贡献：Paper2Figure Bench，且明确比较 SVG/Mermaid/T2I 路线。

七、局限性

• 方法在哪些情况下失败：DSL 设计边界会限制图形表达；若 Critic 看不出逻辑错，EditAgent 会稳定放大错误。
• 隐含假设：大部分学术图可被 FigScript 这套中间语言表达。
• 未解决问题：大规模 benchmark 太小；真实用户交互成本与长期可维护性未展开。

八、可复用模块

• intermediate figure DSL
• generation/refinement dual-agent split
• visual critic-to-edit loop
• language + direct manipulation co-editing

九、灵感种子

1. 改进方向

• 把 FigScript 接上自动约束求解器，减少 refinement 对大模型视觉检查的依赖。

2. 跨领域迁移

• 海报、教育图、产品流程图、白板草图协作系统。

3. 组合机会

• 与 GeoSVG-RL 结合，用 RL 优化 FigScript 渲染后的几何质量。

---

📄 PAPERBANANA: Automating Academic Illustration for AI Scientists

一、问题定义

• 真实要解决的问题：自动生成 publication-ready 学术插图，并建立专门 benchmark 严格评测 faithful / concise / readable / aesthetic。
• 为什么这个问题重要：AI scientist 工作流里“做图”是明显瓶颈，且当前多模态模型缺乏研究社区风格。
• 现有方法为什么失败：代码法表达力受限；图像法视觉虽强但文本和逻辑容易出错，缺乏专门 benchmark。

二、方法机制

X → M → Y

• 输入是什么：source context S + communicative intent C（方法图）或表格数据 + visual intent（统计图）
• 核心机制是什么：
  • Retriever Agent 选参考图
  • Planner Agent 生成详细描述
  • Stylist Agent 总结学术视觉风格并润色描述
  • Visualizer Agent 生成图
  • Critic Agent 迭代批改，形成 refinement loop
• 输出是什么：学术方法图或统计图。

三、数据集

• 数据集名称：
  • PaperBananaBench（方法图）
  • 统计图测试集基于 ChartMimic 处理得到
• 数据来源（公开 / 私有 / 合成 / Web抓取）：NeurIPS 2025 论文人工整理 + ChartMimic
• 数据是如何获得的（非常重要）：
  • 标注方式：从论文随机采样后自动抽取 method description / caption，再人工校验；统计图部分由 ChartMimic 转成 data + visual description
  • 是否清洗 / 过滤 / 增强：有严格过滤、分类与人工修订
• 数据规模：
  • train / val / test：
    • 方法图：584 valid samples，均分成 292 test + 292 reference
    • 统计图：240 test + 240 reference
• 数据模态（text / image / multimodal / graph）：multimodal
• 是否可公开下载：
  • 下载链接：https://github.com/dwzhu-pku/PaperBanana
  • 是否需要申请：未说明

四、模型结构

• backbone模型：Gemini-3-Pro、Nano-Banana-Pro 等 VLM / image generation model
• 模型结构组成模块：
  • module 1: Retriever Agent
  • module 2: Planner + Stylist
  • module 3: Visualizer + Critic iterative loop
• 是否使用预训练模型：
  • base model: Gemini-3-Pro / Nano-Banana-Pro
  • fine-tuning方式：主要是 prompting + agent loop
• 关键设计思想：把风格学习、语义规划和批判式修正显式分开，并给出 reference-based benchmark。

五、计算资源

• 是否使用GPU：API 推理为主
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：把 academic illustration 任务系统化定义，并引入 reference set + test set 的联合 benchmark。
• 工程优化（engineering tricks）：retrieval-grounded planning、style guide summarization、critic loop。
• 实验或数据贡献：PaperBananaBench 与统计图评测集。

七、局限性

• 方法在哪些情况下失败：核心失败模式是连接错误、源目标节点错连、文字渲染问题。
• 隐含假设：现代顶会风格可以被总结成较稳定的 style guide。
• 未解决问题：输出仍是 raster，编辑精度远不如原生向量图；跨领域泛化仍弱。

八、可复用模块

• reference-grounded retrieval
• stylist agent with corpus-level style synthesis
• critic-driven refinement loop
• benchmark with reference/test split

九、灵感种子

1. 改进方向

• 用 editable reconstruction 补上 raster 不可编辑短板。

2. 跨领域迁移

• 企业咨询图、科研海报、课程插图。

3. 组合机会

• 与 AutoFigure-Edit 结合成“先好看生成，再 SVG 重建编辑”双阶段系统。

---

📄 PaperDraw: Intelligent generation system for scientific publications pipeline diagrams

一、问题定义

• 真实要解决的问题：从自然语言描述自动生成 publication-quality pipeline diagram，同时允许用户通过对话持续修正意图。
• 为什么这个问题重要：pipeline 图是科研论文高频视觉对象，但其设计同时受逻辑结构和学术审美约束。
• 现有方法为什么失败：传统模板法表达力弱；纯 LLM 生成对结构和风格掌控不稳；用户意图常在交互中才逐步明确。

二、方法机制

X → M → Y

• 输入是什么：用户文本描述 + 交互反馈
• 核心机制是什么：
  • LLM + Conversational Agent 抽取多维语义
  • MultiRect-CenterLine 一类布局算法生成结构
  • style vector library 检索相似学术风格
  • Draw.io / XML 生成视图负责最终图产出与编辑
• 输出是什么：学术风格 pipeline diagram。

三、数据集

• 数据集名称：论文自建 pipeline diagram dataset
• 数据来源（公开 / 私有 / 合成 / Web抓取）：从 2020-2024 的 300 篇论文收集
• 数据是如何获得的（非常重要）：
  • 标注方式：人工/规则驱动统计分析与风格总结
  • 是否清洗 / 过滤 / 增强：有结构统计、风格向量提取、相似风格库构造
• 数据规模：
  • train / val / test：300 篇论文；未给出标准 train/val/test
• 数据模态（text / image / multimodal / graph）：text + diagram
• 是否可公开下载：
  • 下载链接：论文文本未给出
  • 是否需要申请：未说明

四、模型结构

• backbone模型：LLM + conversational agent + layout algorithm + style retrieval
• 模型结构组成模块：
  • module 1: semantic extraction / intent refinement
  • module 2: structural layout generation
  • module 3: style vector retrieval and adaptation
• 是否使用预训练模型：
  • base model: 商业 LLM，具体版本未稳定披露
  • fine-tuning方式：未说明
• 关键设计思想：把“内容结构”和“学术风格”拆开建模，并用对话式代理修正初始语义提取偏差。

五、计算资源

• 是否使用GPU：未明确
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：style vector library + conversational refinement 的 pipeline diagram 生成框架。
• 工程优化（engineering tricks）：结构统计先验、风格检索、Draw.io 集成视图。
• 实验或数据贡献：300 篇论文的 pipeline diagram 统计分析与设计原则总结。

七、局限性

• 方法在哪些情况下失败：数据集学科覆盖有限时，风格推荐会偏；LLM 自动抽取若错，后续布局会整体错位。
• 隐含假设：pipeline diagram 的设计空间可由有限统计规则和风格库有效覆盖。
• 未解决问题：跨学科泛化、复杂非 pipeline 图、公开可复现性不足。

八、可复用模块

• conversational intent refinement
• style vector library
• structure-first layout algorithm
• draw.io integrated generation

九、灵感种子

1. 改进方向

• 用 retrieval over DiagramBank 替代小型 style library，提升风格多样性。

2. 跨领域迁移

• 商业流程图、实验 protocol 图、软件架构图。

3. 组合机会

• 与 FigAgent 的 middleware repository 结合，形成“布局算法 + 组件库”的混合系统。

---

📄 SciFig: Towards Automating Scientific Figure Generation

一、问题定义

• 真实要解决的问题：从论文文本自动生成 publication-ready 方法图，同时具备可评估的质量闭环。
• 为什么这个问题重要：方法图制作耗时极高，而现有图像或布局模型不能同时保证科学准确性、结构清晰和审美一致。
• 现有方法为什么失败：通用图像生成不适合科学图；通用 layout 生成缺少层级推理和跨粒度反馈。

二、方法机制

X → M → Y

• 输入是什么：研究文本 / method description
• 核心机制是什么：
  • Description Agent 解析组件和关系
  • Layout Agent 做 hierarchical reasoning 布局
  • Component Generation Agent 渲染部件
  • Feedback Agent 发现对齐、箭头、标签、间距等问题并给出 CoT 反馈
• 输出是什么：多轮 refinement 后的方法图。

三、数据集

• 数据集名称：论文自建 2,219 pipeline figures 数据集；评测集包含 2K+ annotated methodology figures
• 数据来源（公开 / 私有 / 合成 / Web抓取）：真实科研论文图
• 数据是如何获得的（非常重要）：
  • 标注方式：自动+人工设计 rubrics，生成 dataset-level 和 paper-specific questions
  • 是否清洗 / 过滤 / 增强：有质量维度总结和分 conference / domain 统计
• 数据规模：
  • train / val / test：论文未给出标准 split；明确有 2,219 figures 和 435-paper evaluation statistics
• 数据模态（text / image / multimodal / graph）：text + figure
• 是否可公开下载：
  • 下载链接：论文称 benchmark 和 pipeline 将开源，但正文未给稳定 URL
  • 是否需要申请：未说明

四、模型结构

• backbone模型：GPT / Gemini / Claude 类多模型 agent 组合；图像生成基线含 GPT-5-Image、Qwen-Image、SDXL
• 模型结构组成模块：
  • module 1: Description Agent
  • module 2: Hierarchical Layout Agent
  • module 3: Component Agent
  • module 4: Feedback Agent with CoT
• 是否使用预训练模型：
  • base model: 多个闭源/开源大模型组合
  • fine-tuning方式：未报告专门参数微调
• 关键设计思想：把图生成拆成“语义解析 - 层级布局 - 反馈修正”，强调 architecture 而不是单模型大小。

五、计算资源

• 是否使用GPU：主要看作多模型推理系统
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：
  • 单图平均约 9.7 分钟生成
• batch size / epoch（如果有）：未提供

六、创新点

• 真正创新（real novelty）：hierarchical layout + CoT feedback 的 agent architecture，并附带系统化 benchmark。
• 工程优化（engineering tricks）：dataset-level 与 paper-specific 双层问题评测；角色分离。
• 实验或数据贡献：2K+ methodology figures benchmark，细粒度质量 rubrics。

七、局限性

• 方法在哪些情况下失败：复杂层级关系、跨部件逻辑依赖、专业语义过强时，反馈 agent 可能识别不全。
• 隐含假设：把布局与部件生成拆开就足以显著提升质量。
• 未解决问题：仍依赖闭源模型；没有解决向量级可编辑输出。

八、可复用模块

• hierarchical layout reasoning
• feedback-as-language supervision
• dataset-level + paper-specific evaluation
• agent latency breakdown

九、灵感种子

1. 改进方向

• 把 Feedback Agent 产生的语言反馈转成可执行约束，而不是只让下游 agent 自己理解。

2. 跨领域迁移

• 教材插图、系统架构图、科研教学幻灯片。

3. 组合机会

• 与 GeoSVG-RL 结合，SciFig 出语义布局，GeoSVG-RL 保证几何和可编辑 SVG。

---

📄 SciIR: A Large-scale Training Dataset and Benchmark for Scientific Image Reasoning Generation

一、问题定义

• 真实要解决的问题：让科学图像生成不仅对 prompt 对齐，还能显式遵守 scientific law、entity structure、scientific process 与文本约束。
• 为什么这个问题重要：当前 T2I 模型会画“像图的图”，但不会画“科学上成立的图”。
• 现有方法为什么失败：已有数据集 caption 太短、逻辑显式性不足；已有 benchmark 重图像质量，不重科学推理链条。

二、方法机制

X → M → Y

• 输入是什么：科学图像 prompt
• 核心机制是什么：
  • 构建 SciIR-82k，加入 Sci-RCoT 标注，显式描述潜在视觉推理链
  • 构建 SciIR-Bench，用 Atomic Checklist 做逐维度判定
  • 训练 Qwen-Image-SciIR：Qwen2.5-7B-Instruct 负责 reasoning planner，Qwen-Image-2512 负责 visual generator
• 输出是什么：带推理中介的科学图像生成结果及更细粒度 benchmark 评估。

三、数据集

• 数据集名称：
  • SciIR-82k
  • SciIR-Bench
• 数据来源（公开 / 私有 / 合成 / Web抓取）：公开论文图文对，来自 Nature 和 Nature Communications 的 CC BY 4.0 文章
• 数据是如何获得的（非常重要）：
  • 标注方式：自动/模型辅助生成 Sci-RCoT 与 checklist，再通过过滤和规则 refinement 控制误差
  • 是否清洗 / 过滤 / 增强：严格 license 过滤、test leakage 移除、FPR 控制、semiotic taxonomy 组织
• 数据规模：
  • train / val / test：
    • SciIR-82k：82k+ 图文对
    • SciIR-Bench：800 test instances
• 数据模态（text / image / multimodal / graph）：multimodal
• 是否可公开下载：
  • 下载链接：
    • https://github.com/MAIR-Lab-HUST/SciIR
    • https://huggingface.co/datasets/MAIR-Lab-HUST/SciIR-82k
  • 是否需要申请：看起来不需要

四、模型结构

• backbone模型：Qwen2.5-7B-Instruct + Qwen-Image-2512
• 模型结构组成模块：
  • module 1: reasoning planner
  • module 2: visual generator
  • module 3: atomic checklist evaluator
• 是否使用预训练模型：
  • base model: Qwen2.5-7B-Instruct；Qwen-Image-2512
  • fine-tuning方式：
    • planner：all-linear LoRA
    • generator：diffusion transformer LoRA
• 关键设计思想：先显式生成 Sci-RCoT，再据此生成图，把“图像生成”改写成“推理后渲染”。

五、计算资源

• 是否使用GPU：论文应使用 GPU 训练，但正文片段未清晰披露
• GPU型号：未提供GPU信息
• GPU数量：未提供GPU信息
• 是否分布式训练：未提供GPU信息
• 训练时长（如果有）：未提供
• batch size / epoch（如果有）：
  • planner 使用 2048 token context
  • generator 分辨率 1024×1024
  • 其余 batch/epoch 未可靠披露

六、创新点

• 真正创新（real novelty）：用 semiotic triad（law / structure / process）重新定义 scientific correctness，并给出 Sci-RCoT。
• 工程优化（engineering tricks）：atomic checklist、strict veto scoring、双模块 reasoning-to-render pipeline。
• 实验或数据贡献：SciIR-82k 与 SciIR-Bench，并给出强 open-source baseline。

七、局限性

• 方法在哪些情况下失败：文字生成尤其弱；高密度样本与复杂科学约束下仍易 hallucinate。
• 隐含假设：科学图正确性可以被分解到 semiotic triad 上，并由自动 checklist 近似评估。
• 未解决问题：数据偏向 Nature 系列期刊；跨领域、跨语言和多模态外部知识接入仍不足。

八、可复用模块

• Sci-RCoT annotation scheme
• atomic checklist evaluation
• reasoning-planner + visual-generator decoupling
• semiotic triad taxonomy

九、灵感种子

1. 改进方向

• 把 Sci-RCoT 变成结构图或程序约束，再接可执行 SVG/graph renderer。

2. 跨领域迁移

• 教学示意图、工程流程图、医学机制图生成。

3. 组合机会

• 与 GeoSVG-RL 结合：SciIR 负责科学推理，GeoSVG-RL 负责几何约束和可编辑输出。

---

📊 跨论文总结

1. 方法族群分类

• generation类：
  • AutoFigure-Edit
  • GenGA
  • GeoSVG-RL
  • SciFig
• reasoning类：
  • SciIR
  • SciFig
  • Paper2Figure
• agent类：
  • PAPERBANANA
  • Paper2Figure
  • FigAgent
  • SciFig
• retrieval类：
  • DiagramRAG
  • PAPERBANANA
  • GenGA
  • DiagramBank（作为资源层）

2. 共性模块库

• 参考图检索器
• 规划器（plan / concept graph / reasoning chain）
• 中间表示层（FigScript / SVG / DrawIO XML / Sci-RCoT / layout plan）
• 批判-修正闭环（critic / feedback / self-correction）
• 风格提炼器（style guide / style vector / reference-guided styling）
• 可执行验证器（browser verifier / checklist judge / graph-based evaluator）
• 组件库机制（middleware repository / reusable assets）

3. 矛盾点

• “先代码后渲染” vs “先图像后重建”
  • GeoSVG-RL、Paper2Figure、FigAgent 偏代码优先
  • PaperBanana、AutoFigure-Edit 偏图像优先
• “可编辑性优先” vs “视觉表现优先”
  • SVG/DrawIO 系统更可编辑
  • image-generation 系统更容易出视觉上讨好的结果
• “显式结构约束” vs “隐式大模型判断”
  • GeoSVG-RL / SciIR 偏显式可验证约束
  • PaperBanana / SciFig 偏 critic 的自然语言判断
• “数据资源建设” vs “系统能力建设”
  • DiagramBank / SciIR 强在资源
  • FigAgent / Paper2Figure / PaperBanana 强在系统

4. 研究空白（Research Gaps）

• 缺少真正统一的“科研图生成 + 可编辑 + 科学正确 + 几何正确”全栈系统。
• 多数方法在 benchmark 上做得好，但跨学科泛化证据弱。
• 评测体系碎片化：有的评结构，有的评美观，有的评科学性，缺少统一指标体系。
• 很少有方法把局部组件检索、局部约束验证和全局布局优化放在同一闭环里。
• 大部分系统仍依赖闭源 VLM / image model，复现门槛高。
• 对真实人机协作流程的建模不足，尤其是“用户中途修改意图”的长期交互。
• 对 text rendering、符号排版、数学标注的系统性解决依然薄弱。

5. 高潜力研究方向（Top 10）

• 1. 科学推理到向量图的双阶段系统
  • 先用 SciIR 风格推理链生成结构，再用 GeoSVG-RL 风格渲染约束生成 SVG。
• 1. 检索增强的可编辑图生成
  • 用 DiagramBank / DiagramRAG 做结构与风格检索，再输出 FigScript / SVG。
• 1. 局部组件级 RAG
  • 不检索整图，改检索图元、子图和连接模式，更利于组合创新。
• 1. 可执行图约束语言
  • 为科研图定义 DSL + constraint checker，让 critic 不只是写自然语言意见。
• 1. 人机共编图工作台
  • 结合 Paper2Figure Web Editor 与 AutoFigure-Edit，支持自然语言和直接拖拽共编。
• 1. 跨学科 scientific figure foundation benchmark
  • 把 AI、biology、materials、medicine 的图统一到一个结构化 benchmark。
• 1. 真实资产保真生成
  • 借鉴 GenGA，把实验图片、显微图、结果图作为硬约束，而不是模型“想象”生成。
• 1. Middleware + RL 混合系统
  • FigAgent 管组件库，GeoSVG-RL 管几何奖励，兼顾可复用性与可用性。
• 1. 细粒度失败模式诊断器
  • 把“箭头错连、文字溢出、模块遗漏、科学逻辑冲突”做成统一错误 taxonomy。
• 1. 低闭源依赖的开源复现路线
  • 用开源 planner、开源 VLM、开源 SVG policy 构建完整替代栈，提升可复现科研价值。