Dlaczego kopiowanie tekstu z PDF zamienia się w krzaki (i jak to naprawić)

Equalang

W skrócie

Dowiedz się, dlaczego czytelny PDF wkleja się jako kwadraty lub dziwne znaki z powodu braku tabeli /ToUnicode CMap, jak zdiagnozować fonty w 10 sekund i odzyskać tekst.

Słowa kluczowe: pdf kopiowanie tekstu krzaki; pdf kopiowanie dziwne znaki; brak toUnicode cmap; pdffonts uni no; naprawa zniekształconego tekstu z pdf

Gdy plik PDF wyświetla się na ekranie idealnie ostro, ale po wklejeniu do edytora tekstu zamienia się w puste kwadraty (``), losowe symbole lub przesunięte litery (np. "Hello" zmienia się w "Khoor"), w osadzonym słowniku fontu brakuje poprawnej tabeli /ToUnicode Character Map (CMap). Ponieważ PDF jest formatem układu strony i grafiki wektorowej wywodzącym się z języka PostScript — a nie formatem edytora tekstu — przeglądarka PDF potrzebuje jedynie identyfikatorów glifów (glyph ID) i konturów wektorowych, aby narysować ostre litery na monitorze. Silnik renderujący nie musi wiedzieć, jaki znak Unicode (U+0041 dla litery 'A') reprezentuje dany kształt, dopóki nie naciśniesz skrótu Ctrl+C lub Cmd+C. Gdy tabela mapowania zostanie pominięta, pomieszana lub zablokowana przez uszkodzoną warstwę OCR ze skanera, do schowka trafiają surowe indeksy glifów zamiast czytelnego tekstu.

Jak działa renderowanie PDF a jak działa Ctrl+C

Może wydawać się nielogiczne, że ludzkie oko bez problemu czyta akapit w programie Adobe Acrobat lub przeglądarce Chrome, podczas gdy komputer nie potrafi skopiować ani jednego słowa. Rozbieżność ta wynika z faktu, że rysowanie strony oraz wyodrębnianie tekstu korzystają z dwóch całkowicie odrębnych struktur danych w specyfikacji PDF (ISO 32000-1:2008 sekcja 9.10, Extraction of Text Content).

Gdy przeglądarka PDF renderuje tekst na ekranie:

  1. Strumień zawartości strony (content stream) emituje instrukcję rysowania zawierającą ciąg kodów znaków / identyfikatorów glifów (na przykład <0001 0002 0003> Tj).
  2. Silnik PDF otwiera osadzony podzbiór fontu i odszukuje wektorowe kształty #1, #2 oraz #3.
  3. Rysuje odpowiednie sześcienne krzywe Béziera w dokładnych współrzędnych (x, y). Na tym etapie silnik graficzny zupełnie nie interesuje się tym, czy kształt #1 to litera 'T', symbol całki matematycznej, czy logo firmy.

Kiedy jednak zaznaczysz ten sam wiersz i naciśniesz Ctrl+C / Cmd+C, krzywe wektorowe są dla schowka systemowego bezużyteczne. Przeglądarka PDF musi przetłumaczyć każdy wewnętrzny identyfikator glifu na standardowy punkt kodowy Unicode:

[Ścieżka renderowania na ekranie]
Instrukcja strony (<0001 0002 0003> Tj) ──► Kontury osadzonego fontu ──► Ostre piksele na ekranie

[Ścieżka schowka (kopiuj-wklej)]
Instrukcja strony (<0001 0002 0003> Tj) ──► Tabela /ToUnicode CMap  ──► Tekst Unicode (U+0054 "T"...)
                                                 │
                                      (Jeśli brak lub uszkodzona)
                                                 ▼
                                     Krzaki / Kwadraty ( ) / Przesunięte litery

Jeśli program generujący PDF utworzył podzbiór fontu (subsetting) — zachowując tylko 42 unikalne znaki użyte w dokumencie i numerując je od 1 do 42 w kolejności występowania — bez dołączenia tabeli /ToUnicode, czytnik PDF musi zgadywać. Glif #1 (który wizualnie kreśli 'T') może zostać przypisany do U+0001 (niedrukowalnego znaku sterującego), do strefy prywatnej (Private Use Area - PUA), która wyświetla się jako pusty kwadrat, lub do przesuniętej wartości ASCII.

3 główne przyczyny powstawania „krzaków” przy kopiowaniu z PDF

Nie każdy błąd schowka objawia się w identyczny sposób. To, co dokładnie wkleja się do edytora tekstu, wskazuje, która warstwa pliku PDF jest uszkodzona:

Co widzisz po wklejeniuTypowy przykładPrzyczyna wewnątrz pliku PDFCzy konwertery bez OCR mogą to naprawić?
Puste kwadraty, znaki zapytania lub znaki sterującelubOsadzony podzbiór fontu używa kodowania Identity-H lub niestandardowej numeracji bez dołączonej tabeli /ToUnicode CMap.Nie. W pliku w ogóle nie ma informacji o mapowaniu znaków.
Przesunięcie Cezara lub poprzestawiane litery łacińskie"Hello" → "Khoor" lub "!#$%&"Niestandardowe kodowanie Type 1 / Type 3 lub celowe zaciemnianie fontów przez wydawcę, gdzie indeksy glifów są przesunięte względem standardowego ASCII/Unicode.Nie. Standardowe narzędzia odczytują dokładnie tę samą przesuniętą tabelę co schowek.
Brakujące pary liter lub dziwne symbole"efficient" → "ef cient" lub "ef?cient"Ligatury typograficzne (fi, fl, ffi) lub symbole matematyczne TeX przypisane do niestandardowych pozycji bez wieloznakowego wpisu /ToUnicode.Częściowo (wyłącznie poprzez ręczne znajdowanie i zastępowanie).
Mieszanina mylących znaków (1lI0O i przypadkowa interpunkcja)"The result" → "Thc rcsult ~!"Uszkodzona ukryta warstwa OCR w zeskanowanym PDF: skaner wykonał kiepski, przestarzały OCR wiele lat temu i umieścił niewidoczny błędny tekst pod czystym obrazem strony.Nie. Należy usunąć starą warstwę i ponownie uruchomić OCR (--force-ocr).

1. Brakujące lub uszkodzone tabele /ToUnicode CMap w osadzonych podzbiorach fontów

Aby zminimalizować rozmiar pliku, narzędzia tworzące PDF niemal zawsze tworzą podzbiory fontów (ABCDEF+TimesNewRoman), dołączając tylko glify faktycznie występujące na stronach. Starsze kompilatory LaTeX (dvips / ps2pdf), eksporterzy rysunków CAD, przestarzałe wirtualne drukarki oraz systemy publikacji chroniące treść przypisują glifom kolejne numery porządkowe (0x0001, 0x0002...), ustawiają kodowanie Identity-H i całkowicie pomijają słownik /ToUnicode.

W niskopoziomowym strumieniu obiektów PDF różnica między prawidłowym a uszkodzonym fontem sprowadza się do jednej linijki:

% PRAWIDŁOWY OBIEKT FONTU (Kopiowanie i wklejanie działa)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H
   /ToUnicode 15 0 R        % <-- Wskazuje na poprawny strumień CMap mapujący ID glifów na Unicode
>>
endobj

% USZKODZONY OBIEKT FONTU (Kopiowanie generuje krzaki)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H    % <-- Tylko surowe wewnętrzne identyfikatory, BRAK wpisu /ToUnicode!
>>
endobj

2. Ligatury typograficzne i niestandardowe kodowania symboli matematycznych

W starannym składzie typograficznym (szczególnie przy domyślnym kroju Computer Modern w systemie LaTeX) sąsiadujące litery, takie jak f oraz i, są łączone w jeden glif (fi). Jeśli font przypisze ten pojedynczy znak do niestandardowego gniazda (np. 0x0C) bez zdefiniowania wieloznakowego mapowania /ToUnicode (<000C> <00660069>), skopiowanie słowa "first" da w wyniku " rst" lub "?rst". To samo zjawisko dotyczy greckich liter, znaków minusa i symboli sumowania w wyspecjalizowanych fontach matematycznych Type 1.

3. Uszkodzona, ukryta warstwa tekstowa OCR pod czystym skanem

W przypadku dokumentów archiwalnych lub skanowanych książek to, co widzisz na ekranie, jest w rzeczywistości rastrowym obrazem o wysokiej rozdzielczości (JPEG lub JBIG2). Aby umożliwić przeszukiwanie takiego pliku, oprogramowanie skanera 10 lub 15 lat temu nakładało na wierzch obrazu niewidoczną warstwę tekstu (tryb renderowania 3 Tr). Z powodu ówczesnej niskiej skuteczności rozpoznawania warstwa ta obfituje w błędy; zaznaczając tekst kursorem, patrzysz na wyraźny skan, ale schowek kopiuje niewidoczne, zniekształcone znaki sprzed lat.

Diagnoza w 10 sekund: sprawdź tabelę fontów w pliku PDF

Zanim zaczniesz testować różne czytniki PDF lub darmowe konwertery „PDF na Word”, zweryfikuj w 10 sekund, czy w pliku rzeczywiście brakuje tabeli /ToUnicode.

Metoda A: Uruchom pdffonts w terminalu (najszybszy sposób)

Jeśli masz zainstalowany pakiet Poppler PDF rendering library (brew install poppler w systemie macOS lub sudo apt install poppler-utils w dystrybucjach Ubuntu/Debian), wykonaj w terminalu polecenie:

pdffonts document.pdf

Zwróć uwagę na kolumny sub (czy utworzono podzbiór) oraz uni (czy obecna jest tabela /ToUnicode):

name                                 type              encoding         emb sub uni object ID
------------------------------------ ----------------- ---------------- --- --- --- ---------
GJXPKL+CMR10                         Type 1C           Custom           yes yes no       14  0
GJXPKM+CMSY10                        Type 1C           Custom           yes yes no       18  0
ArialMT                              TrueType          WinAnsi          yes no  yes      22  0
  • uni = yes: Font posiada tabelę /ToUnicode. Jeśli kopiowanie nadal zwraca błędy, tabela mapuje znaki na błędne kody (celowe zaciemnianie) albo zaznaczasz tekst z uszkodzonej warstwy OCR.
  • sub = yes ORAZ uni = no: Niepodważalny dowód. Font jest podzbiorem o niestandardowym kodowaniu i nie zawiera żadnych danych mapowania na Unicode. Żaden standardowy czytnik PDF ani konwerter bez silnika OCR nie wyciągnie z tego strumienia poprawnego tekstu.

Metoda B: Sprawdź Plik > Właściwości > Czcionki w programie Adobe Acrobat Reader

Jeśli wolisz interfejs graficzny:

  1. Otwórz plik PDF w Adobe Acrobat Reader.
  2. Naciśnij Ctrl+D (Cmd+D w systemie macOS) lub wybierz z menu Plik > Właściwości, po czym przejdź do zakładki Czcionki.
  3. Rozwiń fonty użyte na problematycznej stronie. Jeśli widzisz wpis Kodowanie: Własne (lub Encoding: Custom) bądź Identity-H przy pozycji (Osadzony podzbiór) — szczególnie dla fontów Type 1, Type 3 lub CID — to ten element odpowiada za błędy w schowku.

Jak odzyskać i wyodrębnić czysty tekst

Po potwierdzeniu, że brakuje tabeli /ToUnicode (uni = no) lub że stara warstwa OCR jest uszkodzona, zrezygnuj z tradycyjnego kopiowania oraz konwerterów bez OCR. Narzędzia te korzystają z dokładnie tej samej wadliwej tabeli fontów. Aby odzyskać tekst, musisz pominąć wewnętrzne kody znaków i przetworzyć wizualne kształty liter za pomocą optycznego rozpoznawania znaków (OCR).

Rozwiązanie 1: Błyskawiczne przechwytywanie krótkich fragmentów za pomocą OCR ekranu

Gdy potrzebujesz jedynie akapitu, wiersza tabeli lub cytatu:

  • macOS (Podgląd lub funkcja Tekst na żywo / Live Text): Zrób zrzut ekranu wybranego fragmentu (Cmd+Shift+4) i otwórz go w aplikacji Podgląd (Preview). Funkcja Tekst na żywo całkowicie ignoruje słownik fontów PDF i pozwala zaznaczyć oraz skopiować tekst wprost z pikseli obrazu.
  • Windows (PowerToys Text Extractor): Naciśnij skrót Win+Shift+T, zaznacz ramką fragment tekstu w oknie PDF, a rozpoznana treść trafi bezpośrednio do schowka.

Rozwiązanie 2: Odbudowa całej warstwy tekstowej PDF za pomocą ocrmypdf --force-ocr

Jeśli potrzebujesz w pełni przeszukiwalnego i kopiowalnego pliku PDF, w którym skrót Ctrl+C działa poprawnie na wszystkich stronach, użyj narzędzia ocrmypdf z przełącznikiem --force-ocr. Domyślnie programy OCR pomijają strony zawierające już strumień fontów; opcja --force-ocr rasteryzuje wektorowe strony do rozdzielczości 300 DPI, usuwa wadliwą warstwę /ToUnicode (lub stary, błędny tekst OCR) i osadza świeżą, precyzyjną warstwę Unicode:

# Instalacja ocrmypdf (macOS / Ubuntu)
brew install ocrmypdf
# lub: sudo apt install ocrmypdf

# Zastąpienie uszkodzonego mapowania poprawną warstwą tekstową Unicode
ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf

Jeżeli dokument zawiera treści wielojęzyczne, wskaż odpowiednie pakiety językowe Tesseract za pomocą flagi -l (np. -l eng+pol).

Rozwiązanie 3: Tłumaczenie zagranicznych artykułów naukowych i dokumentacji bez kopiowania tekstu

Bardzo często problem kopiowania tekstu z PDF ujawnia się dopiero wtedy, gdy próbujesz skopiować złożony fragment z dwukolumnowego artykułu naukowego lub dokumentacji technicznej, aby wkleić go do internetowego tłumacza.

Zamiast walczyć z krzakami, ręcznie naprawiać połamane ligatury i łączyć rozbite wiersze, możesz przesłać plik PDF bezpośrednio do narzędzia tłumaczącego z zachowaniem układu, takiego jak Tłumaczenie dokumentów Equalang (zobacz poradnik jak tłumaczyć i czytać dokumenty PDF obok siebie). Rozpoznawanie wizualnego układu strony omija brakujące tabele /ToUnicode, zachowuje podział na kolumny, tabele oraz formuły matematyczne, a także pozwala czytać oryginał i tłumaczenie w widoku synchronicznym obok siebie.

Dwukolumnowy anglojęzyczny artykuł naukowy w formacie PDF wyświetlony obok przetłumaczonego układu w Equalang zamiast ręcznego kopiowania uszkodzonego tekstu
Gdy brak tabeli /ToUnicode w pliku PDF powoduje wklejanie krzaków, przetłumaczenie całego układu PDF pozwala uniknąć ręcznego wyodrębniania tekstu

Często zadawane pytania

Dlaczego plik PDF wygląda idealnie ostro nawet przy powiększeniu do 400%, a mimo to tekst kopiuje się jako krzaki?

Ponieważ ostrość wizualna wynika z wektorowych konturów glifów (krzywych matematycznych w osadzonym foncie), natomiast kopiowanie tekstu zależy od odrębnej tabeli przypisania kodów znaków do Unicode (/ToUnicode CMap). Przeglądarka wie, jak narysować dany kształt w dowolnym powiększeniu, nawet jeśli nie posiada informacji, jakiej literze Unicode ten kształt odpowiada.

Czy usunięcie hasła lub ograniczeń uprawnień PDF rozwiąże problem zniekształconego tekstu?

Nie. Uprawnienia PDF kontrolują jedynie to, czy funkcja Kopiuj w menu jest aktywna. Jeżeli możesz zaznaczyć tekst, nacisnąć Ctrl+C i wkleić cokolwiek — nawet puste kwadraty lub losowe litery — to uprawnienia nie stanowią problemu. Źródłem usterki jest brak lub uszkodzenie tabeli /ToUnicode w strukturze fontu.

Dlaczego otwarcie pliku PDF w programie Microsoft Word lub darmowym konwerterze PDF do Word daje dokładnie te same dziwne symbole?

Większość szybkich konwerterów wyodrębnia strumienie tekstowe bezpośrednio ze słowników fontów w pliku PDF, nie uruchamiając optycznego rozpoznawania znaków. Gdy narzędzie pdffonts raportuje uni = no, przypisania znaków po prostu nie istnieją w strumieniu pliku, przez co każde narzędzie niedziałające w oparciu o wizualny OCR zwróci te same zniekształcone symbole.

Źródła