trOCR: Cách Mạng Hóa Nhận Dạng Văn Bản với Transformer

trOCR API là gì?

trOCR (Transformer-based Optical Character Recognition) là mô hình OCR đột phá của Microsoft, tận dụng sức mạnh của kiến trúc transformer để mang lại độ chính xác vượt trội trong nhận dạng văn bản. Khác với các hệ thống OCR truyền thống chỉ dựa vào mạng tích chập, trOCR kết hợp vision transformers (ViTs) với mô hình sequence-to-sequence, giúp nó hiểu được ngữ cảnh và mối quan hệ không gian trong văn bản—ngay cả với các đầu vào đầy thách thức như ghi chú viết tay, bản scan độ phân giải thấp hoặc ngôn ngữ phức tạp.

Ưu điểm chính của trOCR bao gồm:

• Nhận dạng như con người: Xuất sắc trong việc đọc chữ viết tay và văn bản biến dạng mà OCR truyền thống không xử lý được.
• Hỗ trợ đa ngôn ngữ: Mô hình pre-trained hỗ trợ tiếng Anh, Pháp, Đức và nhiều ngôn ngữ khác, với khả năng tinh chỉnh cho các ngôn ngữ khác.
• Quy trình end-to-end: Kết hợp phát hiện và nhận dạng văn bản thành một quy trình liền mạch.
• Tích hợp dễ dàng: Được xây dựng trên thư viện Transformers của Hugging Face để triển khai dễ dàng trong các quy trình hiện có.

Từ số hóa tài liệu lịch sử đến xử lý hóa đơn, trOCR đặt ra tiêu chuẩn mới về hiệu suất OCR trong các ứng dụng thực tế.

Thống kê GitHub

Tên:
Ngôn ngữ:
Ngôi sao:
Nĩa:
Giấy phép:
Kho lưu trữ được cập nhật lần cuối lúc

Tại sao chọn trOCR?

• Dựa trên transformer: Vượt trội hơn các mô hình dựa trên CNN với độ chính xác cao hơn 15-20% trên các bộ dữ liệu chuẩn như IAM Handwriting.
• Chuyên gia nhận dạng chữ viết tay: Mô hình trocr-base-handwritten đạt độ chính xác trên 90% với chữ viết tay.
• Tiền xử lý tối thiểu: Mạnh mẽ với các biến thể về phông chữ, hướng và nhiễu nền.
• Xử lý song song: Xử lý hàng loạt hình ảnh với tốc độ gần như tuyến tính trên GPU.
• Tùy chỉnh: Tinh chỉnh trên dữ liệu chuyên ngành (ví dụ: đơn thuốc, hóa đơn).

Cài đặt

trOCR yêu cầu PyTorch hoặc TensorFlow và thư viện Hugging Face Transformers. Để đạt hiệu suất tối ưu, chúng tôi khuyên dùng môi trường hỗ trợ GPU:

pip install transformers torch torchvision
pip install datasets  # Tùy chọn cho tinh chỉnh

Lưu ý: Các mô hình microsoft/trocr-base yêu cầu ~1.5GB dung lượng ổ đĩa cho mỗi phiên bản (in/viết tay). Đảm bảo có đủ dung lượng lưu trữ và RAM (8GB+ để xử lý hàng loạt).

Ví dụ mã

Khám phá khả năng của trOCR qua các ví dụ thực tế sau. Tất cả ví dụ giả định bạn đã cài đặt các phụ thuộc cần thiết.

Ví dụ 1: Nhận dạng chữ viết tay

Ví dụ này minh họa khả năng của trOCR trong việc giải mã chữ viết tay. Mô hình (trocr-base-handwritten) được huấn luyện trên cơ sở dữ liệu IAM Handwriting, lý tưởng cho ghi chú, thư từ hoặc tài liệu lịch sử.

from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image

# Tải processor và mô hình (dành cho chữ viết tay)
processor = TrOCRProcessor.from_pretrained("microsoft/trocr-base-handwritten")
model = VisionEncoderDecoderModel.from_pretrained("microsoft/trocr-base-handwritten")

# Mở hình ảnh và tiền xử lý
image = Image.open("handwritten_note.jpg").convert("RGB")  # Đảm bảo định dạng RGB
pixel_values = processor(image, return_tensors="pt").pixel_values  # Chuẩn hóa và thay đổi kích thước

# Tạo dự đoán văn bản
generated_ids = model.generate(pixel_values)
text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

print(f"Văn bản trích xuất: {text}")

Mẹo: Để có kết quả tốt nhất với chữ viết tay:

• Sử dụng bản scan có độ phân giải 300+ DPI
• Đảm bảo ánh sáng phù hợp để tránh bóng
• Cắt vùng chữ nếu có thể

Ví dụ 2: Xử lý tài liệu in

Đối với văn bản đánh máy hoặc in (sách, hóa đơn, v.v.), mô hình trocr-base-printed mang lại độ chính xác gần như tuyệt đối. Ví dụ này minh họa cách xử lý một tài liệu scan:

from transformers import pipeline
from PIL import Image

# Sử dụng pipeline Hugging Face để đơn giản hóa
ocr = pipeline("image-to-text", model="microsoft/trocr-base-printed")

# Xử lý tài liệu
image = Image.open("contract.png").convert("RGB")  # Chuyển sang RGB
results = ocr(image)

# Xuất kết quả có cấu trúc
for idx, item in enumerate(results):
    print(f"Trang {idx + 1}: {item['generated_text']}")

Lưu ý hiệu suất: Trên GPU NVIDIA T4, xử lý ~3 trang/giây. Đối với thao tác hàng loạt, hãy sử dụng batch (xem Ví dụ 3).

Ví dụ 3: Xử lý hàng loạt để tối ưu hiệu suất

trOCR hỗ trợ xử lý song song để tận dụng tối đa phần cứng. Ví dụ này xử lý nhiều hình ảnh đồng thời:

import torch
from transformers import TrOCRProcessor, VisionEncoderDecoderModel
from PIL import Image

# Khởi tạo
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = TrOCRProcessor.from_pretrained("microsoft/trocr-base-printed")
model = VisionEncoderDecoderModel.from_pretrained("microsoft/trocr-base-printed").to(device)

# Chuẩn bị batch
image_paths = ["doc1.jpg", "doc2.jpg", "doc3.jpg"]
images = [Image.open(path).convert("RGB") for path in image_paths]

# Xử lý batch
pixel_values = processor(images, return_tensors="pt").pixel_values.to(device)
generated_ids = model.generate(pixel_values)
texts = processor.batch_decode(generated_ids, skip_special_tokens=True)

# Hiển thị kết quả
for path, text in zip(image_paths, texts):
    print(f"{path}: {text[:50]}...")  # Hiển thị 50 ký tự đầu

Hướng dẫn kích thước batch:

Mẹo nâng cao

Để tăng cường hiệu suất của trOCR:

• Tiền xử lý: Sử dụng OpenCV để chỉnh góc và điều chỉnh độ tương phản:

  Tăng cường hình ảnh

  
      import cv2
      img = cv2.imread("low_quality_doc.jpg")
      img = cv2.rotate(img, cv2.ROTATE_90_CLOCKWISE)  # Sửa hướng
      img = cv2.threshold(img, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]  # Nhị phân hóa
      
  

• Tinh chỉnh: Tùy chỉnh cho dữ liệu chuyên ngành:

  Script tinh chỉnh

  
      from transformers import Seq2SeqTrainingArguments
      args = Seq2SeqTrainingArguments(
          output_dir="./trocr-finetuned",
          per_device_train_batch_size=8,
          num_train_epochs=3,
          save_steps=1000,
          evaluation_strategy="steps"
      )
      # Xem tài liệu Hugging Face để thiết lập đầy đủ
      
  

Kết luận

trOCR định nghĩa lại khả năng của nhận dạng ký tự quang học bằng cách kết hợp kiến trúc transformer với thị giác máy tính. Khả năng xử lý mọi thứ từ ghi chú viết tay đến tài liệu đa ngôn ngữ khiến nó trở nên không thể thiếu cho:

• Dự án lưu trữ: Số hóa bản thảo lịch sử với định dạng được bảo tồn.
• Quy trình pháp lý/y tế: Trích xuất văn bản từ tài liệu nhạy cảm với khả năng kiểm tra.
• Công nghệ hỗ trợ: Tạo văn bản thay thế cho hình ảnh hàng loạt.

Với những cải tiến liên tục từ Microsoft và cộng đồng mã nguồn mở, trOCR tiếp tục mở rộng ranh giới của công nghệ nhận dạng văn bản.

Sản Phẩm Tương Tự