Nlp on Sawyer Zheng's Blog

Mineru

Thu, 29 Aug 2024 00:00:00 +0000

MinerU 中的概念和名称

magic_pdf.pipe

pipe_analysis –> self.model_list
- 这是布局分析 + mfd/mfr + ocr 识别的结果列表

禁用可视化输出方法

参考：

https://pdf-extract-kit.readthedocs.io/en/latest/algorithm/layout_detection.html#viewing-visualization-results

设置模型配置文件中的 visualize 为 False 例子：

1
2
3
4
5
6
7
8
9


inputs: assets/demo/formula_recognition
outputs: outputs/formula_recognition
tasks:
 formula_recognition:
 model: formula_recognition_unimernet
 model_config:
 cfg_path: pdf_extract_kit/configs/unimernet.yaml
 model_path: models/MFR/unimernet_tiny
 visualize: False

Nougat

Fri, 26 Apr 2024 00:00:00 +0000

把 nougat 改造成支持图片解析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import app


def get_image_predict(img: Image):
 model_output = app.model.inference(img)

 predictions = []
 for j, output in enumerate(model_output["predictions"]):
 if model_output["repeats"][j] is not None:
 if model_output["repeats"][j] > 0:
 disclaimer = "\n\n+++ ==WARNING: Truncated because of repetitions==\n%s\n+++\n\n"
 else:
 disclaimer = (
 "\n\n+++ ==ERROR: No output for this page==\n%s\n+++\n\n"
 )
 rest = app.close_envs(model_output["repetitions"][j]).strip()
 if len(rest) > 0:
 disclaimer = disclaimer % rest
 else:
 disclaimer = ""
 else:
 disclaimer = ""

 predictions.append(app.markdown_compatible(output) + disclaimer)


 return "".join(predictions).strip()

Chinese Nlp

Thu, 07 Mar 2024 00:00:00 +0000

资源

资源列表
- GitHub - crownpku/Awesome-Chinese-NLP: A curated list of resources for Chines…

nlp 套装

HanLP
- GitHub - hankcs/HanLP: 中文分词词性标注命名实体识别依存句法分析成分句法分析语义依存分析语义角色标注指代消解风格转换…
- 有两套 api: restful 和 native

Autogen

Wed, 28 Feb 2024 00:00:00 +0000

参考资料

autogen 使用非 openai 模型：
- Local LLMs and Autogen: An Uprising of Local-Powered Agents | by Baby Command…
- microsoft/autogen#46 Integrate opensource LLMs into autogen
  - 一个关于如何让 autogen 接入 local models 的 issue

设置 key 和参数等， llm_config

参考：

LLM Configuration | AutoGen

eg:

metagpt

Wed, 28 Feb 2024 00:00:00 +0000

参考

原理说明：
- AI Agent框架——MetaGPT技术详解-CSDN博客
官方教程
- 概念简述 | MetaGPT

Spellcheck

Fri, 01 Sep 2023 00:00:00 +0000

工具列表

python
- pyspellcheck
- textblob

工具比较

GitHub - diffitask/spell-checkers-comparison: Comparison of existing spell ch…

langchain

Tue, 08 Aug 2023 00:00:00 +0000

资源

搜索引擎工具

duckduckgo
- 免费
serpapi
- 100 次/月
travily
- 1000 次/月

列表

不同 agent 用途

Which Agent Type should I use? · langchain-ai/langchain · Discussion #12888 ·…
- React agent 如何选择
  1. AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION
    - 适合 tool 有多个参数的情况

调用 Azure 上的 model

AzureChatModel

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


import os

from langchain.chat_models import AzureChatOpenAI
from langchain.schema import HumanMessage

if __name__ == "__main__":
 os.environ["OPENAI_API_TYPE"] = "azure"
 os.environ["OPENAI_API_VERSION"] = "2023-03-15-preview"
 os.environ["OPENAI_API_BASE"] = "https://wei202305.openai.azure.com/"
 os.environ["OPENAI_API_KEY"] = "<your azure key>"

 model = AzureChatOpenAI(deployment_name="gpt-35-turbo-01")

 ret = model([HumanMessage(content="Translate this sentence from English to French. I love programming.")])
 # AIMessage(content="J'adore programmer.", additional_kwargs={}, example=False)

必填参数

deployment_name='gpt-35-turbo-01'
azure_endpoint="https://wei202305.openai.azure.com/"
api_version="2023-03-15-preview"
api_key="…"

标准调用例子：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


from langchain.schema import HumanMessage
from langchain.chat_models import AzureChatOpenAI

AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4dfdf1786a1f84e0f9aba1a1ce2eeadfdfd1',
 azure_endpoint='https://hello202323434.openai.azure.com',
 api_version='2023-03-15-preview').invoke([HumanMessage(content='your name?')])

Out[24]: AIMessage(content="I am an AI language model created by OpenAI called GPT-3. I don't have a personal name, but you can refer to me as ChatGPT.")

AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4b1786adfdfdf4e0f1ce2eea171',
 azure_endpoint='https://wedi202dfdf.openai.azure.com',
 api_version='2023-03-15-preview')([HumanMessage(content='your name?')])

Out[25]: AIMessage(content="I am an AI language model created by OpenAI and I don't have a personal name. You can call me OpenAI or ChatGPT. How can I assist you today?")

不使用 HumanMessage, 直接 invoke(str) 例子：

1
2
3
4
5


AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4b1786adfdfdf4e0f1ce2eea171',
 azure_endpoint='https://wedi202dfdf.openai.azure.com',
 api_version='2023-03-15-preview')('your name?')

AzureOpenAIEmbeddings

1
2
3
4


In [3]: from langchain.embeddings import AzureOpenAIEmbeddings

In [4]: AzureOpenAIEmbeddings(azure_deployment='text-embedding-ada-002', api_key='0b4b1786a1f84e0f9ab34er3dfdfce2eea171', azure_endpoint='https://hello334343.openai.azure.com/').embed_query('hell
 ...: o')

Chain 的调用

调用顺序：

transformers

Tue, 08 Aug 2023 00:00:00 +0000

参考

模型训练 GPU、多 GPU、 CPU、多 CPU 等

多机器并行训练方法

Transformers多机多卡的炼丹实践 - 知乎

速度慢分析

模型转换

转换成 huggingface transformers 格式

参考：

LLM

Fri, 14 Apr 2023 00:00:00 +0000

教程

LLMForEverybody | 每个人都能看懂的大模型知识分享，LLMs春/秋招大模型面试前必看，让你和面试官侃侃而谈

资源列表

Cosmos

Tue, 04 Apr 2023 00:00:00 +0000

参考

官方文档：Cosmos — Cosmos 0.0.1 documentation
repo: GitHub - UW-COSMOS/Cosmos: Knowledge base construction from raw scientific do…

docker images

docker-hub
- Docker – uwcosmos
手动创建
- Building the docker images — Cosmos 0.0.1 documentation
- Cosmos/build.sh at master · UW-COSMOS/Cosmos · GitHub

OpenAI

Thu, 09 Feb 2023 00:00:00 +0000

访问

https://platform.openai.com/overview
chat-gpt: https://chat.openai.com/

prompt 工具

langchain
kor
- Kor — 😼 Kor 0.10.0
promptify
- Welcome to Promptify’s documentation! — Promptify 0.1.4 documentation

关系抽取

kor
promptify

利用 chatgpt 的工具

https://www.askcorpora.com/
- 搜索 pdf, 使用了 chatgpt 的语义转换
Promptify
- GitHub - promptslab/Promptify: Prompt Engineering | Use GPT or other prompt b…
- 使用 openai 解决 nlp 创建问题， eg: 1. 命名实体识别 NER 2. 关系抽取
chatpdf

Quantity 物理量

Thu, 09 Feb 2023 00:00:00 +0000

单位的特点

点积符号 \cdot "⋅", 可能会被忽略比如： cm^{-2} \cdot Hz^{3}, 可能被写成 cm^{-2} Hz^{3}, 或 cm-2Hz-3 $cm^{-2} \cdot Hz^{3}$

等价符号

ohm <–> Ω

授权工具

grobid-quantity
chemdataextractor

Ocr

Tue, 31 Jan 2023 00:00:00 +0000

工具收集

工具列表
- GitHub - zacharywhitley/awesome-ocr

上下标识别

资料收集：

python - How to detect subscript numbers in an image using OCR? - Stack Overflow

数学公式识别

工具：

latex-ocr: GitHub - lukas-blecher/LaTeX-OCR: pix2tex: Using a ViT to convert images of e…
im2markup
im2latex-tensorflow
image2latex
latex_ocr_pro: GitHub - LinXueyuanStdio/LaTeX_OCR_PRO: 数学公式识别增强版：中英文手写印刷公式、支持初级符号推导（数据结构基于 L…

论文：

Table

Fri, 04 Nov 2022 00:00:00 +0000

表格抽取工具收集

列表网站
- How to Extract Tables from PDF - PDF to Table Extractor
  - 有不同工具的对比说明
tabula-py
- GitHub - chezou/tabula-py: Simple wrapper of tabula-java: extract table from …
- 底层调用 tabula-java
PDFPatcher
- GitHub - wmjordan/PDFPatcher: PDF补丁丁——PDF工具箱，可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档，探查文档结…
- 支持 OCR 图片表格
camelot

Layout Parser ---- 通用文档图片分析工具

Tue, 12 Jul 2022 00:00:00 +0000

参考

例子
- layout-parser/examples at main · Layout-Parser/layout-parser · GitHub
- 布局识别 + 文本抽取： layout-parser/Deep Layout Parsing.ipynb at main · Layout-Parser/layout-parser…
- 表格 OCR 识别和解析
repo: GitHub - Layout-Parser/layout-parser: A Unified Toolkit for Deep Learning Bas…
模型 model zoo: Model Zoo — Layout Parser 0.3.2 documentation

Knowledge Graph 知识图谱

Tue, 17 May 2022 00:00:00 +0000

教程

概念

Knowledge Graph 知识图谱
semantic network 语义网络

nltk ---- classic natural language processsing tool kit

Tue, 05 Apr 2022 00:00:00 +0000

安装

conda install nltk
python -c 'import nltk; nltk.download_gui()'
- 语料和模型下载

语料 corpus

参考：

官方：https://www.nltk.org/nltk_data/

Spacy ---- a python nlp framework

Mon, 21 Mar 2022 00:00:00 +0000

教程

spacy-course
- github repo
spacy 101
- 基础入门和 nlp 基础知识介绍
- spaCy 101: Everything you need to know · spaCy Usage Documentation
lingustic features
- nlp 基础概念
- Linguistic Features · spaCy Usage Documentation

Vectorizer

Mon, 21 Mar 2022 00:00:00 +0000

TF-IDF

参考： TF-IDF原理及使用_zrc199021 的博客-CSDN博客_tfidf

词频——逆向词频，term frequency-inverse document frequency

特性：

倾向于过滤掉常见词语

作用：评估给定词对整个语料集（语料库）的给定单条语料的重要性。

Lark ---- Python Parser Collection Library

Wed, 29 Dec 2021 00:00:00 +0000

Grammar

基于 EBNF(扩展的巴科斯范式) 表示法

参考：

terminal

单个词的形式和表示

合法构造

Parsing

Wed, 29 Dec 2021 00:00:00 +0000

资料

kg-beijing
- memect 文因互联：第一期w1：知识提取 · memect/kg-beijing Wiki · GitHub

工具

pyparsing
- repo: GitHub - pyparsing/pyparsing: Python library for creating PEG parsers
lark
- repo: GitHub - lark-parser/lark: Lark is a parsing toolkit for Python, built with a…
parsely
- pypi: Parsley · PyPI
- 2015 年最后一次更新
parsimonious
- repo: GitHub - erikrose/parsimonious: The fastest pure-Python PEG parser I can muster
PythonVerbalExpressions

chemdataextractor ---- Chemistry Articles NLP Library

Tue, 12 Oct 2021 00:00:00 +0000

参考

chemdataextractor2 documentation
- Getting Started — ChemDataExtractor v2.0.0 documentation
chemdataextractor2 repo
- GitHub - CambridgeMolecularEngineering/chemdataextractor2: ChemDataExtractor
tabledataextractor
- repo: GitHub - CambridgeMolecularEngineering/tabledataextractor: Extracts data from…
- doc: Welcome to TableDataExtractor! — TableDataExtractor 2019 documentation

参考文献和链接

jsr 385:

ref：https://jcp.org/en/jsr/detail?id=385 unit of measurement api 2.0

JSR 363:

ref：https://jcp.org/en/jsr/detail?id=363 unit of measurement api 1.0

relation extraction of NLP

Sat, 09 Oct 2021 00:00:00 +0000

算法

Boostrap Learning

Snowball

Boostrap 的一种改良算法
2000 年发表
参考教程
- 原版论文： Snowball: Extracting Relations from Large Plain-Text Collections
- Snowball 关系提取，简单理解 - 知乎
- 有图文解释：笔记:关系抽取算法之Snowball_哈呼 bro的博客-CSDN博客_snowball 算法

Distant Supervision

远程监督
参考教程

terminology -- 专业术语处理

Tue, 27 Jul 2021 00:00:00 +0000

术语查询网站

国内工具
- termonline: 术语在线—权威的术语知识服务平台
- 词都网： http://www.dictall.com

FlashText -- Fast Text Extract and Replace Tool

Fri, 23 Jul 2021 00:00:00 +0000

教程

原理解说：FlashText | Python FlashText For NLP Tasks
Git Repo
- GitHub - vi3k6i5/flashtext: Extract Keywords from sentence or Replace keyword…

特性

不随词的数量增长，消耗时间快速增长

例子

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# 创建工具
In [49]: p = flashtext.KeywordProcessor()

In [50]: p.add_keywords_from_dict({'a': ['b', 'c']})


# match单词
In [52]: p.extract_keywords('a b c')
Out[52]: ['a', 'a']

# match 包括 index
In [56]: p.extract_keywords('a b c', span_info=True)
Out[56]: [('a', 2, 3), ('a', 4, 5)]

entity-fishing

Thu, 22 Jul 2021 00:00:00 +0000

pdf parsing ---- pdf 文本解析

Mon, 29 Mar 2021 00:00:00 +0000

参考

工具列表：

PDF信息提取技术的汇总（干货满满！） - 知乎

中文 PDF 抽取工具

pdfact
paddleocr
grobid
- 中文支持不好
pdf2docx
- 排版信息不好，乱序
chinese_science_paper_to_text
- https://github.com/flyingwaters/chinese_science_paper_to_text/blob/main/extract.py
pdfplumber
- 测试，中文专利可以

pdf 转图片

pdftoppm
- poppler 套装组件
pyvips (libvips)
- 宣称更快
- python - what is fastest way to convert pdf to jpg image? - Stack Overflow
- 支持每页并行处理
pypdfium2

nlp notes

Wed, 06 Jan 2021 00:00:00 +0000

教程

nlp 项目组

DARPA COSMOS

sentence_parsing

Tue, 05 Jan 2021 00:00:00 +0000

教程

宾州树库
- https://www.nltk.org/book/ch08.html

句法结构分析

sentence -> clauses -> phrases -> words
- 句子 -> 从句 -> 短语 -> 单词

单词

N(oun)
- NN (singular noun)
- NNS (plural noun)
- NNP (singular proper noun)
  - 单数专有名词
    - 如人名，地名，物名等等
V(erb)
Adj
Adv
Det

Stanza Notes

Tue, 05 Jan 2021 00:00:00 +0000

入门教程

ipython
- https://github.com/stanfordnlp/stanza/blob/master/demo/Stanza_Beginners_Guide.ipynb

数据对象和注解 Data Objects and Annotations

Document
Sentence
Token
Word
Span
others …

POS (part of speech)

POSProcessor

upos

包含 universal pos 标记

Universal pos tags 类型

官方资料
- https://universaldependencies.org/u/pos/
个人理解
- 标注词性，词的类型
  - 是名词还是动词
  - 并不说明跟其它词的关系

xpos

tree bank-specific POS 标记
用于语法树解析

xpos 类型

官方资料

ChemicalTagger Notes

Tue, 29 Dec 2020 00:00:00 +0000

分词

化学物质对 "-" 敏感

Sciencebeam-Gym Notes

Thu, 24 Dec 2020 00:00:00 +0000

Sciencebeam-Gym 项目 git

https://github.com/elifesciences/sciencebeam-gym
原始使用目标
- elif: https://elifesciences.org/

数据集 datasets

介绍：
- https://grobid.readthedocs.io/en/latest/End-to-end-evaluation/
数据：
- https://zenodo.org/record/3873702#.X-RG8TTitPY

regex ---- python regex

Mon, 14 Dec 2020 00:00:00 +0000

Tutorial

python 官方
- re — Regular expression operations — Python 3.11.1 documentation
Regular Expressions | Regex Examples | Regexp Tutorials | OCPsoft
- 常用例子解说
Cover - Understanding Python re(gex)?
- 类似一个 manual, 另外有不少高级用法，如：使用 perl regex 语法

工具

可视化测试工具
- regex101
正则生成随机字符串

Edit Distance 编辑距离

Mon, 17 Jun 2019 00:00:00 +0000

sites

Levenshtein_distance

https://en.wikipedia.org/wiki/Levenshtein_distance

Wagner–Fischer algorithm

https://en.wikipedia.org/wiki/Wagner%E2%80%93Fischer_algorithm

求两个序列/字符串的相似度（Levenshtein）

https://blog.csdn.net/qq_37788558/article/details/78780785

中文详细叫教程

https://www.zhihu.com/question/315634571/answer/620984468