Varför text kopierad från PDF blir till rotvälska (och hur du fixar det)

Equalang

I korthet

Lär dig varför skarpa PDF-filer klistras in som fyrkanter eller konstiga tecken när /ToUnicode CMap saknas, hur du diagnostiserar teckensnitt på 10 sekunder och extraherar text.

Nyckelord: kopiera från pdf blir konstiga tecken; pdf kopiera rotvälska; toUnicode cmap saknas; pdffonts uni no; fixa felaktig text kopierad från pdf

När en PDF-fil ser knivskarp ut på skärmen men klistras in i din textredigerare som tomma fyrkanter (``), slumpmässiga symboler eller förskjutna bokstäver (som att "Hello" blir "Khoor"), saknar filen en giltig /ToUnicode Character Map (CMap) i sin inbäddade teckensnittsordbok. Eftersom PDF är ett sidlayout- och vektorritningsformat som härstammar från PostScript — inte ett ordbehandlingsformat — behöver en visare bara glyf-ID:n och vektorkonturer för att rita upp skarpa bokstäver på din skärm. Den behöver inte veta vilket Unicode-tecken (U+0041 för 'A') en viss form representerar förrän du trycker på Ctrl+C eller Cmd+C. När den uppslagstabellen utelämnas, förvanskas eller blockeras av ett skadat dolt OCR-lager tar ditt urklipp emot råa glyfindex i stället för läsbar text.

Hur PDF-rendering fungerar jämfört med hur Ctrl+C fungerar

Det kan verka motsägelsefullt att dina ögon utan problem kan läsa ett stycke i Adobe Acrobat eller Chrome medan datorn inte kan kopiera ett enda ord av det. Detta glapp beror på att uppritning av en sida och textextrahering använder två helt separata datastrukturer i PDF-specifikationen (ISO 32000-1:2008 avsnitt 9.10, Extraction of Text Content).

När en PDF-visare renderar text på skärmen:

  1. Sidans innehållsström (content stream) skickar en ritinstruktion med en sekvens av teckenkoder / glyf-ID:n (till exempel <0001 0002 0003> Tj).
  2. PDF-renderaren öppnar det inbäddade teckensnittssubsetet och letar upp form #1, form #2 och form #3.
  3. Den ritar ut dessa kubiska Bézier-kurvor på exakta (x, y)-koordinater. Grafikmotorn bryr sig inte alls om huruvida form #1 är bokstaven 'T', en matematisk integral eller en företagslogotyp.

När du markerar samma rad och trycker på Ctrl+C / Cmd+C är vektorkurvor helt värdelösa för operativsystemets urklipp. PDF-visaren måste översätta varje internt glyf-ID tillbaka till en standardiserad Unicode-kodpunkt:

[Väg för skärmrendering]
Sidinstruktion (<0001 0002 0003> Tj) ──► Inbäddade teckensnittskonturer ──► Skarpa pixlar på skärmen

[Väg för urklipp (kopiera och klistra in)]
Sidinstruktion (<0001 0002 0003> Tj) ──► Teckensnittets /ToUnicode CMap ──► Unicode-text (U+0054 "T"...)
                                              │
                                     (Om den saknas eller är trasig)
                                              ▼
                                     Rotvälska / Fyrkanter ( ) / Förskjutna bokstäver

Om programmet som skapade PDF-filen skapade ett teckensnittssubset (subsetting) — och bara behöll de 42 unika tecken som faktiskt användes i dokumentet samt numrerade dem från 1 till 42 i den ordning de dök upp — utan att bädda in en /ToUnicode-ström, måste visaren gissa. Glyf #1 (som visuellt ritar ett 'T') mappas då till U+0001 (ett osynligt styrtecken), ett Private Use Area (PUA)-fält som visas som en tom fyrkant, eller ett förskjutet ASCII-värde.

De 3 främsta orsakerna till rotvälska vid kopiering från PDF

All förvrängd urklippstext beror inte på samma fel. Genom att titta på vad som klistras in i din textredigerare kan du identifiera vilket lager i PDF-filen som är trasigt:

Vad du ser när du klistrar inTypiskt exempelGrundorsak i PDF-filenKan konverterare utan OCR fixa detta?
Tomma fyrkanter, frågetecken eller styrteckenellerInbäddat teckensnittssubset använder Identity-H eller anpassad numrering utan någon /ToUnicode CMap.Nej. Teckenmappningen finns inte i filen.
Caesar-skiftade eller förvrängda latinska bokstäver"Hello" → "Khoor" eller "!#$%&"Anpassad Type 1- / Type 3-kodning eller avsiktlig teckensnittsobfuskering från utgivaren där glyfindex är förskjutna från standard-ASCII/Unicode.Nej. Standardverktyg läser exakt samma förskjutna tabell som ditt urklipp.
Bortfallna bokstavspar eller konstiga symboler"efficient" → "ef cient" eller "ef?cient"Typografiska ligaturer (fi, fl, ffi) eller TeX-mattesymboler mappade till icke-standardiserade platser utan en flerbokstavig /ToUnicode-post.Delvis (endast genom manuell sök-och-ersätt).
Förvrängd soppa av liknande tecken (1lI0O och slumpmässiga skiljetecken)"The result" → "Thc rcsult ~!"Korrupt dolt OCR-lager i en skannad PDF: en skanner körde bristfällig OCR för flera år sedan och lade ett osynligt skräptextlager bakom en ren sidbild.Nej. Du måste rensa bort det och köra om OCR (--force-ocr).

1. Saknade eller skadade /ToUnicode CMaps i teckensnittssubset

För att hålla filstorleken nere skapar PDF-generatorer nästan alltid subsets av teckensnitt (ABCDEF+TimesNewRoman), vilket innebär att endast de exakta glyfer som behövs på sidan bäddas in. Äldre LaTeX-verktyg (dvips / ps2pdf), CAD-ritningsprogram, äldre virtuella skrivardrivrutiner och system för kopieringsskydd tilldelar sekventiella interna ID:n (0x0001, 0x0002...), sätter kodningen till Identity-H och utesluter /ToUnicode-ordboken helt.

I den råa PDF-objektströmmen ser skillnaden mellan ett friskt och ett trasigt teckensnitt ut så här:

% FRISKT TECKENSNITTSOBJEKT (Kopiera och klistra in fungerar)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H
   /ToUnicode 15 0 R        % <-- Pekar på en giltig CMap-ström som mappar glyf-ID:n till Unicode
>>
endobj

% TRASIGT TECKENSNITTSOBJEKT (Kopiering ger rotvälska)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H    % <-- Endast råa interna ID:n, INGEN /ToUnicode-post!
>>
endobj

2. Typografiska ligaturer och anpassade kodningar för matematiska symboler

I högkvalitativ typografi (särskilt Computer Modern i LaTeX) smälts intilliggande bokstäver som f och i samman till en enda typografisk glyf (fi). Om teckensnittet mappar den enskilda glyfen till en icke-standardiserad plats (såsom 0x0C) utan att definiera en en-till-flera /ToUnicode-mappning (<000C> <00660069>), ger kopiering av ordet "first" resultatet " rst" eller "?rst". Samma sak händer med grekiska variabler, minustecken och summeringssymboler i anpassade Type 1-matematikfonter.

3. Ett korrupt dolt OCR-textlager bakom en skarp skanning

I arkivdokument och skannade böcker är den synliga sidan i själva verket en högupplöst bitmappsbild (JPEG eller JBIG2). För att göra dokumentet sökbart lade skanningsprogram för 10–15 år sedan ofta på ett osynligt textlager (renderingsläge 3 Tr) ovanpå bilden. Dåtidens OCR-precision var ofta låg, vilket innebär att det dolda lagret är fullt av stavfel och feltolkade tecken. När du markerar text med musen ser du den skarpa bilden, men kopierar i praktiken det osynliga skräptextlagret under den.

10-sekundersdiagnos: Kontrollera din PDF-fils teckensnittstabell

Innan du lägger tid på att testa olika PDF-läsare eller gratis konverteringsverktyg online bör du kontrollera om /ToUnicode-tabellen faktiskt saknas.

Metod A: Kör pdffonts i terminalen (snabbast)

Om du har verktygspaketet Poppler PDF rendering library installerat (brew install poppler på macOS, sudo apt install poppler-utils på Ubuntu/Debian), kör du pdffonts mot filen:

pdffonts document.pdf

Granska kolumnerna sub (inbäddat subset) och uni (/ToUnicode-tabell finns):

name                                 type              encoding         emb sub uni object ID
------------------------------------ ----------------- ---------------- --- --- --- ---------
GJXPKL+CMR10                         Type 1C           Custom           yes yes no       14  0
GJXPKM+CMSY10                        Type 1C           Custom           yes yes no       18  0
ArialMT                              TrueType          WinAnsi          yes no  yes      22  0
  • uni = yes: Teckensnittet innehåller en /ToUnicode-tabell. Om kopierad text fortfarande blir fel mappar tabellen till felaktiga kodpunkter (medveten obfuskering) eller så kopierar du från ett trasigt dolt OCR-lager.
  • sub = yes OCH uni = no: Solklart bevis. Teckensnittet är ett anpassat subset som helt saknar Unicode-mappningsdata i filen. Ingen vanlig PDF-visare eller konverterare utan OCR kan extrahera ren text från detta teckensnitt.

Metod B: Kontrollera Arkiv > Egenskaper > Teckensnitt i Adobe Acrobat Reader

Om du föredrar ett grafiskt gränssnitt:

  1. Öppna PDF-filen i Adobe Acrobat Reader.
  2. Tryck på Ctrl+D (Cmd+D på macOS) eller välj Arkiv > Egenskaper och klicka på fliken Teckensnitt.
  3. Expandera teckensnitten som används på den aktuella sidan. Om du ser Kodning: Anpassad (eller Encoding: Custom) eller Identity-H vid ett teckensnitt märkt (Inbäddat subset) — särskilt tillsammans med Type 1, Type 3 eller CID — är det nästan garanterat källan till problemen.

Hur du återställer och extraherar ren text

När du har bekräftat att /ToUnicode saknas (uni = no) eller att ett gammalt OCR-lager är skadat ska du sluta försöka med vanliga kopieringsknep eller enkla konverteringsverktyg. Dessa verktyg läser exakt samma trasiga teckensnittstabell som ditt urklipp. För att få fram läsbar text måste du kringgå PDF-filens interna teckenkoder och tolka de visuella formerna med optisk teckenigenkänning (OCR).

Lösning 1: Fånga korta textstycken direkt med skärm-OCR

Om du bara behöver ett par stycken, en tabellrad eller ett citat:

  • macOS (Förhandsgranskning eller Skärmavbild med Live Text): Ta en skärmdump (Cmd+Shift+4) av stycket och öppna den i Förhandsgranskning (Preview). macOS Live Text ignorerar PDF-filens interna teckensnittstabeller och låter dig markera och kopiera texten direkt från bildens pixlar.
  • Windows (PowerToys Text Extractor): Tryck på Win+Shift+T, dra en markeringsruta över PDF-fönstret och kopiera den tolkade texten direkt till urklipp.

Lösning 2: Återskapa hela PDF-filens textlager med ocrmypdf --force-ocr

Om du behöver en komplett, sökbar PDF-fil där Ctrl+C fungerar på alla sidor använder du verktyget ocrmypdf med flaggan --force-ocr. Vanliga OCR-verktyg hoppar över sidor som redan innehåller en teckenström; --force-ocr rasteriserar vektorsidan i 300 DPI, tar bort den trasiga /ToUnicode-mappningen (eller det föråldrade felaktiga skanningstextlagret) och bäddar in ett nytt, korrekt Unicode-textlager:

# Installera ocrmypdf (macOS / Ubuntu)
brew install ocrmypdf
# eller: sudo apt install ocrmypdf

# Ersätt trasiga teckensnittsmappningar med ett nytt Unicode-textlager
ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf

Om dokumentet innehåller flera språk kan du ange Tesseracts språkkoder explicit med parametern -l (till exempel -l eng+swe).

Lösning 3: Översätt utländska akademiska eller tekniska PDF-filer utan att kopiera och klistra in

Ofta upptäcker man problemet med oläslig text först när man försöker kopiera ett stycke ur en tvåspaltig utländsk forskningsartikel eller teknisk manual för att klistra in det i en översättningstjänst.

I stället för att kämpa med förstörd text, manuellt laga brutna ligaturer eller foga samman meningar som delats av spalter, kan du ladda upp PDF-filen direkt till ett layoutbevarande dokumentöversättningsflöde som Equalang dokumentöversättning (se guiden översätta och läsa PDF-dokument sida vid sida). Genom att analysera sidans visuella struktur kringgår systemet saknade /ToUnicode-tabeller, bevarar flerspaltslayouter, tabeller och formler, samt låter dig läsa original och översättning sida vid sida i arbetsytan.

Tvåspaltig engelskspråkig akademisk PDF som visas sida vid sida med den översatta layouten i Equalang i stället för att kopiera skadade textfragment
När en saknad /ToUnicode-tabell i en PDF gör att kopierad text blir till rotvälska, undviker du manuell textextrahering genom att översätta hela PDF-layouten direkt

Vanliga frågor

Varför ser min PDF helt skarp ut vid 400 % zoom, men klistras ändå in som rotvälska?

Eftersom visuell skärpa kommer från vektorkonturer (matematiska kurvor i det inbäddade teckensnittet), medan kopiering bygger på en separat uppslagstabell från teckenkod till Unicode (/ToUnicode CMap). PDF-visaren vet exakt hur varje bokstav ska ritas upp geometriskt i valfri skala, även när det helt saknas metadata om vilken Unicode-bokstav formen faktiskt motsvarar.

Kan borttagning av lösenordsskydd eller behörighetsbegränsningar i PDF lösa problemet med text som blir till rotvälska?

Nej. Behörighetsflaggor i PDF styr bara om menyalternativet Kopiera är klickbart. Om du kan markera text, trycka på Ctrl+C och klistra in någonting — även fyrkanter eller slumpmässiga tecken — är behörigheter inte problemet. Felet beror på att /ToUnicode-tabellen saknas eller är skadad inuti teckensnittsobjektet.

Varför ger öppning av PDF-filen i Microsoft Word eller ett gratis PDF-till-Word-verktyg exakt samma konstiga tecken?

De flesta snabba konverteringsverktyg extraherar textströmmar direkt från PDF-filens interna teckensnittsordböcker utan att köra optisk teckenigenkänning. När pdffonts visar uni = no finns teckenidentiteterna helt enkelt inte i filens textström, vilket gör att alla verktyg som inte använder visuell OCR ger exakt samma felaktiga tecken.

Källor