Waarom tekst kopiëren uit een PDF verandert in wartaal (en hoe je dit oplost)

Equalang

Kort samengevat

Ontdek waarom scherpe PDF's bij kopiëren veranderen in vierkantjes of wartaal door een ontbrekende /ToUnicode CMap, hoe je fonts in 10 seconden diagnosticeert en tekst herstelt.

Trefwoorden: pdf kopiëren wartaal; pdf tekst kopiëren vreemde tekens; toUnicode cmap ontbreekt; pdffonts uni no; corrupte tekst pdf kopiëren herstellen

Wanneer een PDF er op het scherm haarscherp uitziet maar bij het plakken in je teksteditor verandert in open vierkantjes (``), willekeurige symbolen of verschoven letters (zoals "Hello" dat verandert in "Khoor"), ontbreekt er een geldige /ToUnicode Character Map (CMap) in de ingesloten lettertype-definitie. Omdat PDF een formaat voor paginalay-out en vectorillustraties is dat afstamt van PostScript — en geen tekstverwerkingsformaat zoals Word — heeft een PDF-viewer alleen glyph-ID's en vectorcontouren nodig om letters haarscherp op je beeldscherm te tekenen. De viewer hoeft niet te weten welk Unicode-teken (U+0041 voor 'A') een bepaalde vorm voorstelt, totdat je op Ctrl+C of Cmd+C drukt. Wanneer die opzoektabel ontbreekt, corrupt is of geblokkeerd wordt door een beschadigde verborgen OCR-laag, ontvangt je klembord ruwe glyph-indices in plaats van leesbare tekst.

Hoe PDF-rendering werkt versus hoe Ctrl+C werkt

Het voelt tegenstrijdig dat je ogen een alinea in Adobe Acrobat of Chrome moeiteloos kunnen lezen, terwijl je computer er geen enkel woord van kan kopiëren. Dit verschil ontstaat doordat het tekenen van een pagina en het extraheren van tekst twee volledig gescheiden datastructuren gebruiken binnen de PDF-specificatie (ISO 32000-1:2008 sectie 9.10, Extraction of Text Content).

Wanneer een PDF-viewer tekst op het scherm rendert:

  1. De content stream van de pagina verstuurt een tekeninstructie met een reeks tekencodes / glyph-ID's (bijvoorbeeld <0001 0002 0003> Tj).
  2. De PDF-renderer opent het ingesloten subset-lettertype en zoekt vorm #1, vorm #2 en vorm #3 op.
  3. De renderer tekent deze kubische Bézier-krommen op exacte (x, y)-coördinaten. Op geen enkel moment maakt de grafische engine zich druk om de vraag of vorm #1 de letter 'T', een wiskundig integraalteken of een bedrijfslogo is.

Wanneer je diezelfde regel selecteert en op Ctrl+C / Cmd+C drukt, heeft het klembord van je besturingssysteem niets aan vectorcurven. De PDF-viewer moet elk intern glyph-ID vertalen naar een standaard Unicode-codepunt:

[Pad voor schermweergave]
Pagina-instructie (<0001 0002 0003> Tj) ──► Vektorcontouren in font ──► Scherpe pixels op scherm

[Pad voor klembord (kopiëren-plakken)]
Pagina-instructie (<0001 0002 0003> Tj) ──► /ToUnicode CMap in font ──► Unicode-tekst (U+0054 "T"...)
                                                 │
                                         (Indien ontbrekend of corrupt)
                                                 ▼
                                        Wartaal / Vierkantjes ( ) / Versprongen letters

Als het programma dat de PDF maakte een subset van het lettertype creëerde — waarbij alleen de 42 unieke tekens uit het document bewaard bleven en op volgorde van binnenkomst genummerd werden van 1 tot en met 42 — zonder een expliciete /ToUnicode-stream in te sluiten, moet de viewer gissen. Glyph #1 (die visueel een 'T' tekent) wordt dan gekoppeld aan U+0001 (een onzichtbaar controleteken), een Private Use Area (PUA)-positie die als vierkantje toont, of een verschoven ASCII-waarde.

De 3 hoofdoorzaken van wartaal bij kopiëren uit PDF

Niet alle verminkte klemborduitvoer ontstaat op dezelfde manier. Aan wat er in je teksteditor verschijnt, kun je direct zien welke laag van de PDF beschadigd is:

Wat je ziet bij het plakkenTypisch voorbeeldOorzaak in het PDF-bestandKunnen converters zonder OCR dit oplossen?
Open vierkantjes, vraagtekens of controletekensofIngesloten subset-lettertype gebruikt Identity-H of aangepaste nummering zonder bijbehorende /ToUnicode CMap.Nee. De tekenkoppeling ontbreekt volledig in het bestand.
Caesar-verschuiving of door elkaar gehaspelde Latijnse letters"Hello" → "Khoor" of "!#$%&"Aangepaste Type 1- / Type 3-codering of opzettelijke font-obfuscatie door de uitgever waarbij glyph-indices afwijken van standaard ASCII/Unicode.Nee. Standaardtools lezen dezelfde verschoven tabel als je klembord.
Ontbrekende letterparen of vreemde symbolen"efficient" → "ef cient" of "ef?cient"Typografische ligaturen (fi, fl, ffi) of TeX-wiskundesymbolen gekoppeld aan niet-standaard posities zonder meervoudige /ToUnicode-verwijzing.Gedeeltelijk (alleen via handmatig zoeken en vervangen).
Verhaspelde brei van letters (1lI0O en willekeurige leestekens)"The result" → "Thc rcsult ~!"Corrupte verborgen OCR-laag in een gescande PDF: een scanner heeft jaren geleden verouderde OCR uitgevoerd en onzichtbare foutieve tekst achter een scherpe pagina-afbeelding geplaatst.Nee. Je moet de oude laag verwijderen en opnieuw OCR uitvoeren (--force-ocr).

1. Ontbrekende of beschadigde /ToUnicode CMaps in subset-lettertypen

Om bestanden compact te houden, maken PDF-generatoren vrijwel altijd een subset van lettertypen (ABCDEF+TimesNewRoman), waarbij alleen de exacte glyphs worden ingesloten die op de pagina voorkomen. Oudere LaTeX-omgevingen (dvips / ps2pdf), CAD-exportprogramma's, verouderde virtuele printerdrivers en beveiligingssystemen van uitgevers kennen sequentiële interne ID's toe (0x0001, 0x0002...), stellen de codering in op Identity-H en laten het /ToUnicode-woordenboek volledig weg.

In de ruwe PDF-objectstream ziet het verschil tussen een gezond en een beschadigd lettertype er zo uit:

% GEZOND FONTOBJECT (Kopiëren en plakken werkt naar behoren)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H
   /ToUnicode 15 0 R        % <-- Verwijst naar een geldige CMap-stream die glyph-ID's koppelt aan Unicode
>>
endobj

% BESCHADIGD FONTOBJECT (Kopiëren levert wartaal op)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H    % <-- Alleen interne ID's, GEEN /ToUnicode-verwijzing!
>>
endobj

2. Typografische ligaturen en aangepaste wiskundige symbolen

Bij hoogwaardige typografie (vooral Computer Modern in LaTeX) smelten opeenvolgende letters zoals f en i samen tot één typografische glyph (fi). Als het lettertype die samengestelde glyph koppelt aan een niet-standaard positie (zoals 0x0C) zonder een één-op-meer /ToUnicode-toewijzing (<000C> <00660069>) te definiëren, resulteert het kopiëren van "first" in " rst" of "?rst". Hetzelfde gebeurt met Griekse variabelen, mintekens en sommatietekens die zijn opgeslagen in aangepaste Type 1-wiskundefonts.

3. Een corrupte verborgen OCR-tekstlaag achter een scherpe scan

Bij archiefstukken, oude boeken of ingescande documenten is de zichtbare pagina eigenlijk een bitmapafbeelding met hoge resolutie (JPEG of JBIG2). Om zulke scans doorzoekbaar te maken, lieten instellingen er tien of vijftien jaar geleden primitieve OCR-software overheen lopen en plaatsten ze een onzichtbare tekstlaag (rendering-modus 3 Tr) over de afbeelding. Wanneer je tekst selecteert, zie je de scherpe scan, maar markeert je cursor in werkelijkheid de verouderde, foutieve OCR-laag daaronder.

Diagnose in 10 seconden: controleer de lettertypetabel van je PDF

Voordat je tijd verspilt aan het uitproberen van allerlei PDF-lezers of online "PDF naar Word"-converters, kun je direct controleren of de /ToUnicode-tabel daadwerkelijk ontbreekt.

Methode A: Voer pdffonts uit in de terminal (snelste methode)

Als je de open-source Poppler PDF rendering library hebt geïnstalleerd (brew install poppler op macOS, sudo apt install poppler-utils op Ubuntu/Debian), voer je pdffonts uit op je bestand:

pdffonts document.pdf

Kijk goed naar de kolommen sub (is het een subset?) en uni (is er een /ToUnicode-tabel aanwezig?):

name                                 type              encoding         emb sub uni object ID
------------------------------------ ----------------- ---------------- --- --- --- ---------
GJXPKL+CMR10                         Type 1C           Custom           yes yes no       14  0
GJXPKM+CMSY10                        Type 1C           Custom           yes yes no       18  0
ArialMT                              TrueType          WinAnsi          yes no  yes      22  0
  • uni = yes: Het font bevat een /ToUnicode-tabel. Als kopiëren nog steeds wartaal oplevert, verwijst de tabel naar verkeerde codepunten (bewuste obfuscatie) of kopieer je uit een corrupte verborgen OCR-laag.
  • sub = yes EN uni = no: Onomstotelijk bewijs. Het font is een subset met een aangepaste codering en bevat geen enkele Unicode-toewijzing in het bestand. Geen enkele standaard PDF-viewer of converter zonder OCR kan hier leesbare tekst uit halen.

Methode B: Controleer Bestand > Eigenschappen > Lettertypen in Adobe Acrobat Reader

Als je liever een grafische interface gebruikt:

  1. Open de PDF in Adobe Acrobat Reader.
  2. Druk op Ctrl+D (Cmd+D op macOS) of ga naar Bestand > Eigenschappen en klik op het tabblad Lettertypen.
  3. Vouw de lettertypen uit die worden gebruikt op de probleempositie. Zie je Codering: Aangepast of Encoding: Identity-H bij een font met (Ingesloten subset) — met name bij Type 1, Type 3 of CID-lettertypen — dan is dat font vrijwel zeker de oorzaak van de wartaal op je klembord.

Hoe je schone tekst herstelt en extraheert

Zodra je hebt vastgesteld dat /ToUnicode ontbreekt (uni = no) of dat een oude OCR-laag corrupt is, moet je stoppen met gewone klembordtrucs of eenvoudige "PDF naar Word"-tools. Die tools lezen immers exact dezelfde defecte lettertypetabel. Om leesbare tekst terug te krijgen, moet je de interne tekencodes omzeilen en de visueel getekende vormen uitlezen met optische tekenherkenning (OCR).

Oplossing 1: Korte fragmenten direct vastleggen met scherm-OCR

Heb je slechts twee alinea's, een tabelrij of een citaat nodig uit de beschadigde PDF:

  • macOS (Voorvertoning of Schermafbeelding met Live Text): Maak een schermafbeelding (Cmd+Shift+4) van het tekstgedeelte en open deze in Voorvertoning (Preview). macOS Live Text negeert de lettertype-definitie van de PDF volledig en laat je tekst direct visueel selecteren en kopiëren vanaf de afbeelding.
  • Windows (PowerToys Text Extractor): Druk op Win+Shift+T, sleep een selectiekader over het gewenste tekstgedeelte van de PDF en kopieer de herkende tekst direct naar je klembord.

Oplossing 2: De volledige tekstlaag van de PDF herbouwen met ocrmypdf --force-ocr

Wil je een permanent doorzoekbare en herbruikbare PDF waarin Ctrl+C over het gehele document werkt, gebruik dan ocrmypdf met de parameter --force-ocr. Reguliere OCR-tools slaan pagina's over die al een font-stream bevatten; --force-ocr zet de vectorpagina om in een 300 DPI-rasterafbeelding, verwijdert de kapotte /ToUnicode-laag (of de verouderde onzichtbare scankwaliteit) en voegt een nieuwe, accurate Unicode-tekstlaag in:

# Installeer ocrmypdf (macOS / Ubuntu)
brew install ocrmypdf
# of: sudo apt install ocrmypdf

# Vervang geforceerd de kapotte tekentoewijzing door een schone Unicode-tekstlaag
ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf

Bevat het document meerdere talen (bijvoorbeeld een handleiding in het Engels en Nederlands of Duits), geef dan de Tesseract-taalcodes expliciet mee (zoals -l eng+nld of -l eng+deu).

Oplossing 3: Buitenlandse academische of technische PDF's vertalen zonder handmatig knip- en plakwerk

Vaak ontdek je het wartaalprobleem pas op het moment dat je een compacte alinea uit een technisch document of wetenschappelijk artikel in twee kolommen wilt kopiëren om in een vertaalvenster te plakken.

In plaats van te worstelen met verminkte klembordtekst, handmatig afgebroken ligaturen te herstellen of verspreide zinnen samen te voegen, kun je de PDF rechtstreeks uploaden naar een documentvertaler met visuele lay-outherkenning, zoals Equalang Documentvertaling (bekijk ook PDF-documenten vertalen en naast elkaar lezen). Door de visuele paginastructuur te analyseren, omzeilt het systeem ontbrekende /ToUnicode-tabellen, blijven meerkoloms lay-outs, tabellen en formules intact, en kun je de originele en vertaalde pagina's synchroon naast elkaar lezen in de werkruimte.

Een Engelstalig academisch PDF-document met twee kolommen naast de vertaalde weergave in Equalang in plaats van het handmatig kopiëren van beschadigde tekstfragmenten
Wanneer een ontbrekende /ToUnicode-tabel in een PDF leidt tot wartaal bij het kopiëren, voorkomt het rechtstreeks vertalen van de volledige PDF-lay-out handmatige tekstextractie

Veelgestelde vragen

Waarom ziet mijn PDF er bij 400% zoom haarscherp uit, maar plakt de tekst toch als wartaal?

Omdat visuele scherpte afkomstig is van vectorcontouren (wiskundige krommen in het ingesloten lettertype), terwijl kopiëren en plakken afhankelijk is van een aparte opzoektabel van tekencode naar Unicode (/ToUnicode CMap). De PDF-viewer weet exact hoe elke letter geometrisch getekend moet worden op elke schaalgrootte, zelfs als er in het geheel geen metadata aanwezig is die aangeeft welke letter die vorm vertegenwoordigt.

Kan het ontgrendelen of verwijderen van PDF-wachtwoordbeveiliging kopiëerproblemen oplossen?

Nee. PDF-machtigingen bepalen alleen of de optie Kopiëren aanklikbaar is in het menu. Als je tekst kunt selecteren, op Ctrl+C kunt drukken en er iets op je klembord terechtkomt — al zijn het vierkantjes of verschoven letters — spelen documentmachtigingen geen rol. De /ToUnicode-tabel ontbreekt of is corrupt binnen het font-object.

Waarom levert het openen van de PDF in Microsoft Word of een gratis online PDF-naar-Word-converter exact dezelfde vreemde tekens op?

De meeste snelle PDF-naar-Word-converters halen tekst rechtstreeks uit de interne lettertype-definities van de PDF zonder optische tekenherkenning uit te voeren. Geeft pdffonts aan dat uni = no, dan zijn de tekenidentiteiten simpelweg niet opgeslagen in de tekststroom van het bestand. Elk hulpmiddel dat geen visuele OCR toepast, produceert daardoor exact dezelfde wartaal.

Bronnen