Почему при копировании текста из PDF появляются кракозябры и квадраты (и как это исправить)

Equalang

Вкратце

Узнайте, почему четкий PDF при вставке превращается в квадраты или неверные буквы из-за отсутствия таблицы /ToUnicode CMap, как проверить шрифты за 10 секунд и извлечь читаемый текст.

Ключевые слова: копирование текста из pdf кракозябры; копировать текст из pdf знаки вопроса квадраты; pdf toUnicode cmap отсутствует; pdffonts uni no; как исправить нечитаемый текст из pdf

Когда текст в документе PDF на экране выглядит идеально четким даже при увеличении в 400%, но при вставке в блокнот или текстовый редактор превращается в пустые квадраты (``), набор случайных символов или смещенные буквы (например, слово "Привет" превращается в абракадабру), в файле отсутствует или повреждена таблица сопоставления символов /ToUnicode (CMap) во встроенном шрифте. Поскольку формат PDF произошел от языка PostScript и создавался для допечатной подготовки и векторной отрисовки макетов, а не для классического текстового редактирования, программе просмотра нужны только идентификаторы глифов (glyph IDs) и векторные контуры, чтобы нарисовать символы на мониторе. Движку отрисовки не требуется знать, какому символу Unicode (например, U+0041 для 'A') соответствует конкретный графический элемент, пока вы не нажмете Ctrl+C или Cmd+C. Если же таблица соответствий не встроена в документ, намеренно запутана или перекрыта старым некачественным скрытым слоем распознавания (OCR), в буфер обмена попадают лишь внутренние числовые индексы глифов вместо осмысленного текста.

Как устроен рендеринг страницы в PDF в сравнении с работой Ctrl+C

Кажется парадоксальным, что человеческий глаз без труда читает статью в Adobe Acrobat или браузере, в то время как компьютер не может скопировать ни единого слова. Это происходит потому, что отрисовка страницы на экране и извлечение текста в буфер обмена используют две совершенно разные структуры данных в рамках спецификации формата (ISO 32000-1:2008, раздел 9.10, Extraction of Text Content).

Когда программа для чтения PDF отображает страницу на экране:

  1. Поток содержимого страницы передает оператор отрисовки с последовательностью внутренних кодов символов / идентификаторов глифов (например, <0001 0002 0003> Tj).
  2. Механизм рендеринга открывает встроенную программу шрифта и находит векторные контуры для глифа #1, глифа #2 и глифа #3.
  3. Отрисовывает кубические кривые Безье по точным координатам (x, y). На этом этапе графическому движку не важно, представляет ли глиф #1 букву 'Т', математический знак интеграла или фирменный логотип.

Но когда вы выделяете ту же строку и нажимаете Ctrl+C или Cmd+C, векторные кривые бесполезны для буфера обмена операционной системы. Программа просмотра должна перевести каждый внутренний ID глифа обратно в стандартный код символа Unicode:

[Маршрут отображения на экране]
Команды страницы (<0001 0002 0003> Tj) ──► Векторные контуры шрифта ──► Четкие пиксели на экране

[Маршрут копирования в буфер обмена]
Команды страницы (<0001 0002 0003> Tj) ──► Таблица /ToUnicode CMap  ──► Текст Unicode (U+0054 "T"...)
                                                │
                                    (Если отсутствует или повреждена)
                                                ▼
                                    Кракозябры / Квадраты () / Смещенные символы

Если программа экспорта PDF усекла шрифт до подмножества (font subsetting) —сохранив только 42 уникальных символа, встречающихся на страницах, и пронумеровав их от 1 до 42 в порядке появления,— но не встроила явную таблицу /ToUnicode, просмотрщику приходится угадывать кодировку. В результате глиф #1 (визуально рисующий букву 'Т') может скопироваться как U+0001 (непечатаемый управляющий символ), попасть в область частного использования (PUA) и отобразиться квадратом, либо превратиться в случайный сдвинутый символ ASCII.

3 главные причины появления кракозябр при копировании текста из PDF

Искаженный текст копируется по-разному в зависимости от природы проблемы. Взглянув на то, что именно появляется при вставке в редактор, можно определить поврежденный уровень документа:

Что появляется при вставкеТипичный примерПричина в структуре PDFПомогут ли конвертеры без OCR?
Пустые квадраты, знаки вопроса или невидимые управляющие символыилиВстроенный шрифт-подмножество использует Identity-H или собственную нумерацию без таблицы /ToUnicode CMap.Нет. Данные о кодировке символов отсутствуют в файле.
Смещенные буквы (как шифр Цезаря) или случайные знаки"Hello" → "Khoor" или "!#$%&"Нестандартная кодировка Type 1 / Type 3 или специальная обфускация шрифта, где индексы глифов сдвинуты относительно ASCII/Unicode.Нет. Обычные утилиты считывают ту же искаженную таблицу.
Выпадение пар букв или искажение формул"efficient" → "ef cient" или "ef?ciente"Типографические лигатуры (fi, fl, ffi) или формульные символы TeX без многосимвольного правила /ToUnicode.Частично (только ручной автозаменой).
Бессмысленный набор букв (1lI0O, странная пунктуация)"The result" → "Thc rcsult ~!"Поврежденный скрытый слой OCR в сканированном PDF: устаревшая программа оставила невидимый текст с ошибками под четким сканом.Нет. Необходимо принудительно удалить старый слой и перераспознать документ (--force-ocr).

1. Отсутствие или повреждение таблицы /ToUnicode CMap во встроенных подмножествах шрифтов

Чтобы уменьшить размер файлов, генераторы PDF практически всегда создают подмножества шрифтов (ABCDEF+TimesNewRoman), внедряя исключительно те символы, которые задействованы в документе. Устаревшие цепочки сборки LaTeX (dvips / ps2pdf), модули экспорта из CAD-систем, старые виртуальные принтеры и издательские защитные механизмы присваивают глифам последовательные номера (0x0001, 0x0002...) по мере их появления, устанавливают кодировку Identity-H и вовсе не создают словарь /ToUnicode.

В низкоуровневой структуре объектов PDF разница между исправным и поврежденным шрифтом выглядит так:

% КОРРЕКТНЫЙ ОБЪЕКТ ШРИФТА (Копирование текста работает)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H
   /ToUnicode 15 0 R        % <-- Указывает на поток CMap для преобразования глифов в Unicode
>>
endobj

% ПОВРЕЖДЕННЫЙ ОБЪЕКТ ШРИФТА (При копировании получаются кракозябры)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H    % <-- Только внутренние номера, записи /ToUnicode нет!
>>
endobj

2. Типографические лигатуры и нестандартные кодировки математических символов

В профессиональной типографике (особенно при верстке в LaTeX шрифтом Computer Modern) идущие подряд буквы f и i объединяются в единый глиф (fi). Если этот составной глиф записан в нестандартную ячейку (например, 0x0C) без указания соответствия /ToUnicode сразу двум символам (<000C> <00660069>), копирование слова "first" превратит его в " rst" или "?rst". Подобная проблема возникает с греческими переменными, знаками вычитания и суммами в математических шрифтах Type 1 с нестандартными кодовыми страницами.

3. Устаревший скрытый слой OCR под качественным сканом страницы

При работе с оцифрованными архивными документами или книгами видимая страница представляет собой графическое растровое изображение (JPEG или JBIG2). Чтобы по файлу можно было осуществлять поиск, сканирующие программы много лет назад накладывали поверх картинки прозрачный текстовый слой (режим рендеринга 3 Tr). Выделяя текст мышью, вы видите четкое изображение, но буфер обмена считывает именно этот скрытый некачественный слой десятилетней давности.

Быстрая диагностика за 10 секунд: проверка таблицы шрифтов PDF

Перед тем как пробовать различные просмотрщики или онлайн-конвертеры в формат Word, проверьте, действительно ли в документе отсутствует таблица /ToUnicode.

Способ 1: Запуск pdffonts в терминале (самый быстрый)

Если у вас установлены утилиты библиотеки Poppler (brew install poppler на macOS или sudo apt install poppler-utils на Ubuntu/Debian), выполните команду pdffonts:

pdffonts document.pdf

Обратите внимание на столбцы sub (подмножество шрифта) и uni (наличие таблицы /ToUnicode):

name                                 type              encoding         emb sub uni object ID
------------------------------------ ----------------- ---------------- --- --- --- ---------
GJXPKL+CMR10                         Type 1C           Custom           yes yes no       14  0
GJXPKM+CMSY10                        Type 1C           Custom           yes yes no       18  0
ArialMT                              TrueType          WinAnsi          yes no  yes      22  0
  • uni = yes: Шрифт содержит таблицу /ToUnicode. Если текст копируется с ошибками, дело либо в намеренно искаженном сопоставлении символов, либо в скрытом слое некачественного OCR.
  • sub = yes И uni = no: Прямое доказательство. Шрифт представляет собой усеченное подмножество без каких-либо данных Unicode внутри файла. Ни один обычный просмотрщик или конвертер без OCR не сможет извлечь из него связный текст.

Способ 2: Проверка меню «Файл > Свойства > Шрифты» в Adobe Acrobat Reader

Если вам удобнее работать с графическим интерфейсом:

  1. Откройте PDF в Adobe Acrobat Reader.
  2. Нажмите Ctrl+D (Cmd+D на macOS) либо перейдите в меню Файл > Свойства и откройте вкладку Шрифты.
  3. Разверните шрифты, используемые на странице с ошибкой. Если вы видите значение Кодировка: Пользовательская (Encoding: Custom) или Identity-H у шрифта со статусом (Встроенное подмножество) —особенно для шрифтов Type 1, Type 3 или CID—, именно он приводит к появлению кракозябр в буфере обмена.

Как извлечь нормальный читаемый текст

Обнаружив отсутствие /ToUnicode (uni = no) или испорченный слой OCR, не тратьте время на стандартные попытки копирования или простые конвертеры в Word. Эти программы читают ту же поврежденную таблицу, что и буфер обмена. Чтобы восстановить нормальный текст, необходимо обойти внутренние коды глифов и распознать видимые на экране буквы с помощью оптического распознавания текста (OCR).

Решение 1: Быстрое копирование коротких фрагментов через экранный OCR

Если требуется извлечь пару абзацев, строку таблицы или формулировку из сноски:

  • macOS (Просмотр и функция «Сканер текста» / Live Text): Сделайте скриншот фрагмента (Cmd+Shift+4) и откройте его в штатной программе «Просмотр». Функция Live Text распознает текст прямо по пикселям изображения, полностью игнорируя испорченную таблицу шрифтов PDF.
  • Windows (PowerToys Text Extractor): Нажмите Win+Shift+T, чтобы выделить нужный блок прямо на экране, и скопируйте распознанный текст в буфер обмена.

Решение 2: Полное восстановление текстового слоя файла с помощью ocrmypdf --force-ocr

Если вам нужен полноценный многостраничный документ, в котором работают поиск по Ctrl+F и копирование по Ctrl+C, воспользуйтесь консольной утилитой ocrmypdf с флагом --force-ocr. Стандартные инструменты OCR пропускают страницы, где уже присутствуют шрифты; флаг --force-ocr принудительно растеризует векторную страницу с разрешением 300 DPI, удаляет поврежденный слой шрифтов и внедряет качественный текстовый слой Unicode:

# Установка ocrmypdf (macOS / Ubuntu)
brew install ocrmypdf
# или: sudo apt install ocrmypdf

# Принудительная замена поврежденного маппинга или старого OCR чистым слоем Unicode
ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf

Если документ составлен на нескольких языках (например, руководство на английском и русском или немецком), укажите соответствующие языковые пакеты Tesseract (-l eng+rus или -l eng+deu).

Решение 3: Перевод иностранных научных и технических PDF без копирования фрагментов

Чаще всего пользователи сталкиваются с проблемой нечитаемых символов при попытке скопировать фрагмент статьи из двухколоночного PDF-файла или инженерного руководства для вставки в онлайн-переводчик.

Вместо того чтобы вручную исправлять разорванные лигатуры и соединять строки, разделенные колонками, можно загрузить файл целиком в специализированный сервис с распознаванием макета, такой как Перевод документов Equalang (см. руководство о том, как переводить и читать документы PDF в параллельном режиме). Обработка визуальной структуры страницы обходит проблему отсутствующих таблиц /ToUnicode, сохраняет двухколоночный макет, таблицы и математические формулы, позволяя читать оригинал и перевод бок о бок в одном окне с синхронной прокруткой.

Двухколоночная научная статья на английском языке в параллельном режиме чтения рядом с переводом в Equalang
Интерфейс Equalang отображает двухколоночную статью на английском языке рядом с переводом, избавляя от ручного копирования поврежденного текста из PDF без таблицы /ToUnicode

Часто задаваемые вопросы

Почему при масштабе 400% текст выглядит идеально четким, но копируется как кракозябры?

Четкость отображения обеспечивается векторными контурами глифов (математическими кривыми, заложенными в файл шрифта), в то время как копирование текста опирается на отдельную структуру: таблицу сопоставления внутренних кодов с Unicode (/ToUnicode CMap). Программа просмотра располагает полной геометрической информацией для отрисовки линий при любом масштабе, но может не иметь метаданных о том, какую букву обозначает конкретный контур.

Поможет ли снятие пароля или ограничений прав доступа исправить копирование текста?

Нет. Ограничения прав доступа определяют, доступна ли кнопка «Копировать» в контекстном меню. Если вы можете выделить текст, нажать Ctrl+C и получить результат (пусть даже квадраты или случайные знаки), права доступа не заблокированы. Проблема кроется исключительно в отсутствии или повреждении таблицы /ToUnicode.

Почему при открытии PDF в Microsoft Word или бесплатном конвертере получаются те же странные символы?

Большинство конвертеров извлекают текст напрямую из встроенных шрифтовых таблиц без запуска оптического распознавания. Если утилита pdffonts показывает uni = no, кодировка символов физически отсутствует в файле. Любая программа, не использующая визуальный OCR, извлечет ту же самую абракадабру.

Источники