Mineru

2024-08-29 约 86 字 预计阅读 1 分钟

MinerU 中的概念和名称

magic_pdf.pipe

  1. pipe_analysis –> self.model_list

    • 这是布局分析 + mfd/mfr + ocr 识别的结果列表

禁用可视化输出方法

参考：

设置 模型配置文件中的 visualize 为 False 例子：

1
2
3
4
5
6
7
8
9

inputs: assets/demo/formula_recognition
outputs: outputs/formula_recognition
tasks:
  formula_recognition:
    model: formula_recognition_unimernet
    model_config:
      cfg_path: pdf_extract_kit/configs/unimernet.yaml
      model_path: models/MFR/unimernet_tiny
      visualize: False
阅读更多

Org Roam

2024-08-15 约 77 字 预计阅读 1 分钟

基本命令介绍

  1. org-roam-node-find f

    • 用来查找或者新建一个 node

  2. org-roam-node-insert i

    • 在当前 org-mode 文件的 buffer 中插入一个对应 node 的链接
    • 如果想要链接的 node 不存在，会自动创建

  3. org-roam-node-toggle l

    • 链接查询，查看有哪些 node 引用了当前的 Node
阅读更多

Alembic

2024-08-12 约 869 字 预计阅读 2 分钟

常用命令

  1. 初始化

    alembic init

  2. 查看版本

    alembic history

  3. 切换版本

    • 升级 upgrade

      alembic upgrade <commit-name>

    • 降级 downgrade

      alembic downgrade <commit-name>

  4. 查看现在的版本

    alembic current

  5. 生成 sql: --sql 参数

    alembic upgrade head --sql

    注意：这样不会在数据库中直接执行迁移操作

流程示例

创建 almebic commit(version) 方法

  1. 编写自己的新版本 models 代码

  2. 创建版本

阅读更多

Pix2text

2024-07-22 约 58 字 预计阅读 1 分钟

table_ocr 表格识别和解析

代码阅读

  1. 源码 pix2text/table_ocr.py

    • 模型下载方法：

      1

      download_cmd = f'huggingface-cli download --repo-type model --resume-download --local-dir-use-symlinks False breezedeus/pix2text-table-rec --local-dir {model_dir}'
      • 结构识别使用的是微软的表格识别模型 fork : breezedeus/pix2text-table-rec 基于 microsoft/table-transformer-structure-recognition-v1.1-all
阅读更多