Transformers documentation

GOT-OCR2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-09-03에 HF papers에 게시되었으며, 2025-01-31에 Hugging Face Transformers에 기여되었습니다.

GOT-OCR2

개요

GOT-OCR2 모델은 Haoran Wei, Chenglong Liu, Jinyue Chen, Jia Wang, Lingyu Kong, Yanming Xu, Zheng Ge, Liang Zhao, Jianjian Sun, Yuang Peng, Chunrui Han, Xiangyu Zhang이 General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model에서 제안했습니다.

해당 논문의 초록은 다음과 같습니다:

전통적인 OCR 시스템(OCR-1.0)은 인공 광학 문자에 대한 지능형 처리 수요가 증가하면서 사람들의 요구를 충족하지 못하는 경우가 점점 더 늘고 있습니다. 본 논문에서는 모든 인공 광학 신호(예: 일반 텍스트, 수학/분자 공식, 표, 차트, 악보, 심지어 기하학적 도형)를 “문자”로 통칭하며, OCR-2.0의 도래를 촉진하기 위해 일반 OCR 이론(GOT)과 함께 뛰어난 모델인 GOT를 제안합니다. 580M 파라미터를 가진 GOT는 고압축 인코더와 장문맥 디코더로 구성된 통합적이고 우아하며 끝에서 끝(end-to-end)으로 동작하는 모델입니다. OCR-2.0 모델로서 GOT는 다양한 OCR 작업에서 상기한 모든 “문자”를 처리할 수 있습니다. 입력 측면에서 모델은 슬라이스 및 전체 페이지 스타일의 일반적인 장면 및 문서 스타일 이미지를 지원합니다. 출력 측면에서 GOT는 간단한 프롬프트를 통해 일반 또는 서식이 적용된 결과(markdown/tikz/smiles/kern)를 생성할 수 있습니다. 또한 모델은 좌표 또는 색상으로 유도되는 영역 수준 인식과 같은 대화형 OCR 기능을 갖추고 있습니다. 나아가 GOT에 동적 해상도 및 다중 페이지 OCR 기술을 적용하여 실용성을 높였습니다. 실험에서는 모델의 우수성을 입증하기 위해 충분한 결과를 제공합니다.

GOT-OCR2 training stages. Taken from the original paper.

팁:

GOT-OCR2는 일반 문서 OCR, 장면 텍스트 OCR, 서식이 있는 문서 OCR을 포함하여 다양한 작업을 수행할 수 있으며, 표, 차트, 수식, 기하학적 도형, 분자식, 악보에 대한 OCR도 지원합니다. 이 모델 구현은 일반 텍스트만 출력하지만, pdftex, mathpix, matplotlib, tikz, verovio, pyecharts와 같은 패키지를 사용하여 출력을 추가로 처리하여 원하는 형식으로 렌더링할 수 있습니다. 이 모델은 사용자가 바운딩 박스의 좌표나 색상을 제공하여 인식할 영역을 지정하는 인터랙티브 OCR에도 사용할 수 있습니다.

이 모델은 yonigozlan이(가) 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

use_kernels=True를 from_pretrained()에 설정하여 Hub의 최적화 커널로 지원되는 레이어를 대체합니다. 자세한 내용은 커널 로딩을 참고하세요.

사용 예시

일반 텍스트 추론

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"
inputs = processor(image, return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM\nName/Phone Ext. : (...)"

Plain text inference batched

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/image_ocr.jpg"

inputs = processor([image1, image2], return_tensors="pt", device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4,
)

processor.batch_decode(generate_ids[:, inputs["input_ids"].shape[1] :], skip_special_tokens=True)
["Reducing the number", "R&D QUALITY"]

형식화된 텍스트 추론

GOT-OCR2는 markdown이나 LaTeX와 같이 포맷된 텍스트도 생성할 수 있습니다. 포맷된 텍스트를 생성하는 예시는 다음과 같습니다:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/latex.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\author{\nHanwen Jiang*{@html " $\\quad$ "} Arjun Karpur{@html " ${ }^{\\dagger} \\quad$ "} Bingyi Cao{@html " ${ }^{\\dagger} \\quad$ "} (...)"

여러 페이지에서 추론

Although it might be reasonable in most cases to use a “for loop” for multi-page processing, some text data with formatting across several pages make it necessary to process all pages at once. GOT introduces a multi-page OCR (without “for loop”) feature, where multiple pages can be processed by the model at once, with the output being one continuous text. Here is an example of how to process multiple pages at once:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page1.png"
image2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/page2.png"
inputs = processor([image1, image2], return_tensors="pt", multi_page=True, format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"\\title{\nGeneral OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model\n}\n\\author{\nHaoran Wei (...)"

…

GOT은 1024×1024 입력 해상도를 지원하며, 이는 장면 OCR이나 A4 크기 PDF 페이지 처리와 같은 대부분의 OCR 작업에 충분합니다. 그러나 학술 논문에서 흔히 볼 수 있는 가로로 이어 붙인 2페이지 PDF나 비정상적인 종횡비를 가진 이미지와 같은 특정 시나리오는 단일 이미지로 처리될 때 정확도 문제를 일으킬 수 있습니다. 이를 해결하기 위해 GOT는 이미지를 패치로 동적으로 잘라서 한 번에 처리한 후, 이러한 입력에 대해 더 나은 정확도를 위해 결과를 병합할 수 있습니다. 잘라낸 패치를 처리하는 방법은 다음과 같습니다.

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/one_column.png"
inputs = processor(image, return_tensors="pt", format=True, crop_to_patches=True, max_patches=3, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"on developing architectural improvements to make learnable matching methods generalize.\nMotivated by the above observations, (...)"

특정 리전에서의 추론

GOT는 사용자가 바운딩 박스의 좌표 또는 색상을 제공하여 인식할 영역을 지정할 수 있는 인터랙티브 OCR을 지원합니다. 특정 영역을 처리하는 방법은 다음과 같습니다:

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/multi_box.png"
inputs = processor(image, return_tensors="pt", color="green", device=device).to(model.device) # or box=[x1, y1, x2, y2] for coordinates (image pixels)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
"You should keep in mind what features from the module should be used, especially \nwhen you’re planning to sell a template."

일반 OCR 데이터 추론 예시: 악보

이 모델 구현은 일반 텍스트만 출력하지만, pdftex, mathpix, matplotlib, tikz, verovio 또는 pyecharts와 같은 패키지를 사용하여 출력을 추가로 처리하여 원하는 형식으로 렌더링할 수 있습니다. 악보를 처리하는 예시는 다음과 같습니다:

import verovio

from transformers import AutoModelForImageTextToText, AutoProcessor


model = AutoModelForImageTextToText.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("stepfun-ai/GOT-OCR-2.0-hf", use_fast=True)

image = "https://huggingface.co/datasets/hf-internal-testing/fixtures_got_ocr/resolve/main/sheet_music.png"
inputs = processor(image, return_tensors="pt", format=True, device=device).to(model.device)

generate_ids = model.generate(
    **inputs,
    do_sample=False,
    tokenizer=processor.tokenizer,
    stop_strings="<|im_end|>",
    max_new_tokens=4096,
)

outputs = processor.decode(generate_ids[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
tk = verovio.toolkit()
tk.loadData(outputs)
tk.setOptions(
    {
        "pageWidth": 2100,
        "pageHeight": 800,
        "footer": "none",
        "barLineWidth": 0.5,
        "beamMaxSlope": 15,
        "staffLineWidth": 0.2,
        "spacingStaff": 6,
    }
)
tk.getPageCount()
svg = tk.renderToSVG()
svg = svg.replace('overflow="inherit"', 'overflow="visible"')
with open("output.svg", "w") as f:
    f.write(svg)

Transformers

GOT-OCR2

개요

사용 예시

일반 텍스트 추론

Plain text inference batched

형식화된 텍스트 추론

여러 페이지에서 추론

…

특정 리전에서의 추론

일반 OCR 데이터 추론 예시: 악보

GotOcr2Config

클래스 transformers.GotOcr2Config

GotOcr2VisionConfig

클래스 transformers.GotOcr2VisionConfig

GotOcr2ImageProcessor

클래스 transformers.GotOcr2ImageProcessor

preprocess

GotOcr2ImageProcessorPil

class transformers.GotOcr2ImageProcessorPil

preprocess

GotOcr2Processor

클래스 transformers.GotOcr2Processor

__call__

GotOcr2Model

클래스 transformers.GotOcr2Model

forward

get_image_features

get_placeholder_mask

GotOcr2ForConditionalGeneration

클래스 transformers.GotOcr2ForConditionalGeneration

forward

get_image_features

call