Почему при копировании текста из PDF появляются кракозябры и квадраты (и как это исправить)
EqualangВкратце
Узнайте, почему четкий PDF при вставке превращается в квадраты или неверные буквы из-за отсутствия таблицы /ToUnicode CMap, как проверить шрифты за 10 секунд и извлечь читаемый текст.
Ключевые слова: копирование текста из pdf кракозябры; копировать текст из pdf знаки вопроса квадраты; pdf toUnicode cmap отсутствует; pdffonts uni no; как исправить нечитаемый текст из pdf
Когда текст в документе PDF на экране выглядит идеально четким даже при увеличении в 400%, но при вставке в блокнот или текстовый редактор превращается в пустые квадраты (``), набор случайных символов или смещенные буквы (например, слово "Привет" превращается в абракадабру), в файле отсутствует или повреждена таблица сопоставления символов /ToUnicode (CMap) во встроенном шрифте. Поскольку формат PDF произошел от языка PostScript и создавался для допечатной подготовки и векторной отрисовки макетов, а не для классического текстового редактирования, программе просмотра нужны только идентификаторы глифов (glyph IDs) и векторные контуры, чтобы нарисовать символы на мониторе. Движку отрисовки не требуется знать, какому символу Unicode (например, U+0041 для 'A') соответствует конкретный графический элемент, пока вы не нажмете Ctrl+C или Cmd+C. Если же таблица соответствий не встроена в документ, намеренно запутана или перекрыта старым некачественным скрытым слоем распознавания (OCR), в буфер обмена попадают лишь внутренние числовые индексы глифов вместо осмысленного текста.
Как устроен рендеринг страницы в PDF в сравнении с работой Ctrl+C
Кажется парадоксальным, что человеческий глаз без труда читает статью в Adobe Acrobat или браузере, в то время как компьютер не может скопировать ни единого слова. Это происходит потому, что отрисовка страницы на экране и извлечение текста в буфер обмена используют две совершенно разные структуры данных в рамках спецификации формата (ISO 32000-1:2008, раздел 9.10, Extraction of Text Content).
Когда программа для чтения PDF отображает страницу на экране:
- Поток содержимого страницы передает оператор отрисовки с последовательностью внутренних кодов символов / идентификаторов глифов (например,
<0001 0002 0003> Tj). - Механизм рендеринга открывает встроенную программу шрифта и находит векторные контуры для глифа
#1, глифа#2и глифа#3. - Отрисовывает кубические кривые Безье по точным координатам
(x, y). На этом этапе графическому движку не важно, представляет ли глиф#1букву'Т', математический знак интеграла или фирменный логотип.
Но когда вы выделяете ту же строку и нажимаете Ctrl+C или Cmd+C, векторные кривые бесполезны для буфера обмена операционной системы. Программа просмотра должна перевести каждый внутренний ID глифа обратно в стандартный код символа Unicode:
[Маршрут отображения на экране]
Команды страницы (<0001 0002 0003> Tj) ──► Векторные контуры шрифта ──► Четкие пиксели на экране
[Маршрут копирования в буфер обмена]
Команды страницы (<0001 0002 0003> Tj) ──► Таблица /ToUnicode CMap ──► Текст Unicode (U+0054 "T"...)
│
(Если отсутствует или повреждена)
▼
Кракозябры / Квадраты () / Смещенные символы
Если программа экспорта PDF усекла шрифт до подмножества (font subsetting) —сохранив только 42 уникальных символа, встречающихся на страницах, и пронумеровав их от 1 до 42 в порядке появления,— но не встроила явную таблицу /ToUnicode, просмотрщику приходится угадывать кодировку. В результате глиф #1 (визуально рисующий букву 'Т') может скопироваться как U+0001 (непечатаемый управляющий символ), попасть в область частного использования (PUA) и отобразиться квадратом, либо превратиться в случайный сдвинутый символ ASCII.
3 главные причины появления кракозябр при копировании текста из PDF
Искаженный текст копируется по-разному в зависимости от природы проблемы. Взглянув на то, что именно появляется при вставке в редактор, можно определить поврежденный уровень документа:
1. Отсутствие или повреждение таблицы /ToUnicode CMap во встроенных подмножествах шрифтов
Чтобы уменьшить размер файлов, генераторы PDF практически всегда создают подмножества шрифтов (ABCDEF+TimesNewRoman), внедряя исключительно те символы, которые задействованы в документе. Устаревшие цепочки сборки LaTeX (dvips / ps2pdf), модули экспорта из CAD-систем, старые виртуальные принтеры и издательские защитные механизмы присваивают глифам последовательные номера (0x0001, 0x0002...) по мере их появления, устанавливают кодировку Identity-H и вовсе не создают словарь /ToUnicode.
В низкоуровневой структуре объектов PDF разница между исправным и поврежденным шрифтом выглядит так:
% КОРРЕКТНЫЙ ОБЪЕКТ ШРИФТА (Копирование текста работает) 12 0 obj << /Type /Font /Subtype /Type0 /BaseFont /BCDFEE+CMR10 /Encoding /Identity-H /ToUnicode 15 0 R % <-- Указывает на поток CMap для преобразования глифов в Unicode >> endobj % ПОВРЕЖДЕННЫЙ ОБЪЕКТ ШРИФТА (При копировании получаются кракозябры) 12 0 obj << /Type /Font /Subtype /Type0 /BaseFont /BCDFEE+CMR10 /Encoding /Identity-H % <-- Только внутренние номера, записи /ToUnicode нет! >> endobj
2. Типографические лигатуры и нестандартные кодировки математических символов
В профессиональной типографике (особенно при верстке в LaTeX шрифтом Computer Modern) идущие подряд буквы f и i объединяются в единый глиф (fi). Если этот составной глиф записан в нестандартную ячейку (например, 0x0C) без указания соответствия /ToUnicode сразу двум символам (<000C> <00660069>), копирование слова "first" превратит его в " rst" или "?rst". Подобная проблема возникает с греческими переменными, знаками вычитания и суммами в математических шрифтах Type 1 с нестандартными кодовыми страницами.
3. Устаревший скрытый слой OCR под качественным сканом страницы
При работе с оцифрованными архивными документами или книгами видимая страница представляет собой графическое растровое изображение (JPEG или JBIG2). Чтобы по файлу можно было осуществлять поиск, сканирующие программы много лет назад накладывали поверх картинки прозрачный текстовый слой (режим рендеринга 3 Tr). Выделяя текст мышью, вы видите четкое изображение, но буфер обмена считывает именно этот скрытый некачественный слой десятилетней давности.
Быстрая диагностика за 10 секунд: проверка таблицы шрифтов PDF
Перед тем как пробовать различные просмотрщики или онлайн-конвертеры в формат Word, проверьте, действительно ли в документе отсутствует таблица /ToUnicode.
Способ 1: Запуск pdffonts в терминале (самый быстрый)
Если у вас установлены утилиты библиотеки Poppler (brew install poppler на macOS или sudo apt install poppler-utils на Ubuntu/Debian), выполните команду pdffonts:
pdffonts document.pdf
Обратите внимание на столбцы sub (подмножество шрифта) и uni (наличие таблицы /ToUnicode):
name type encoding emb sub uni object ID ------------------------------------ ----------------- ---------------- --- --- --- --------- GJXPKL+CMR10 Type 1C Custom yes yes no 14 0 GJXPKM+CMSY10 Type 1C Custom yes yes no 18 0 ArialMT TrueType WinAnsi yes no yes 22 0
uni = yes: Шрифт содержит таблицу/ToUnicode. Если текст копируется с ошибками, дело либо в намеренно искаженном сопоставлении символов, либо в скрытом слое некачественного OCR.sub = yesИuni = no: Прямое доказательство. Шрифт представляет собой усеченное подмножество без каких-либо данных Unicode внутри файла. Ни один обычный просмотрщик или конвертер без OCR не сможет извлечь из него связный текст.
Способ 2: Проверка меню «Файл > Свойства > Шрифты» в Adobe Acrobat Reader
Если вам удобнее работать с графическим интерфейсом:
- Откройте PDF в Adobe Acrobat Reader.
- Нажмите
Ctrl+D(Cmd+Dна macOS) либо перейдите в менюФайл > Свойстваи откройте вкладкуШрифты. - Разверните шрифты, используемые на странице с ошибкой. Если вы видите значение
Кодировка: Пользовательская(Encoding: Custom) илиIdentity-Hу шрифта со статусом(Встроенное подмножество)—особенно для шрифтовType 1,Type 3илиCID—, именно он приводит к появлению кракозябр в буфере обмена.
Как извлечь нормальный читаемый текст
Обнаружив отсутствие /ToUnicode (uni = no) или испорченный слой OCR, не тратьте время на стандартные попытки копирования или простые конвертеры в Word. Эти программы читают ту же поврежденную таблицу, что и буфер обмена. Чтобы восстановить нормальный текст, необходимо обойти внутренние коды глифов и распознать видимые на экране буквы с помощью оптического распознавания текста (OCR).
Решение 1: Быстрое копирование коротких фрагментов через экранный OCR
Если требуется извлечь пару абзацев, строку таблицы или формулировку из сноски:
- macOS (Просмотр и функция «Сканер текста» / Live Text): Сделайте скриншот фрагмента (
Cmd+Shift+4) и откройте его в штатной программе «Просмотр». Функция Live Text распознает текст прямо по пикселям изображения, полностью игнорируя испорченную таблицу шрифтов PDF. - Windows (PowerToys Text Extractor): Нажмите
Win+Shift+T, чтобы выделить нужный блок прямо на экране, и скопируйте распознанный текст в буфер обмена.
Решение 2: Полное восстановление текстового слоя файла с помощью ocrmypdf --force-ocr
Если вам нужен полноценный многостраничный документ, в котором работают поиск по Ctrl+F и копирование по Ctrl+C, воспользуйтесь консольной утилитой ocrmypdf с флагом --force-ocr. Стандартные инструменты OCR пропускают страницы, где уже присутствуют шрифты; флаг --force-ocr принудительно растеризует векторную страницу с разрешением 300 DPI, удаляет поврежденный слой шрифтов и внедряет качественный текстовый слой Unicode:
# Установка ocrmypdf (macOS / Ubuntu) brew install ocrmypdf # или: sudo apt install ocrmypdf # Принудительная замена поврежденного маппинга или старого OCR чистым слоем Unicode ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf
Если документ составлен на нескольких языках (например, руководство на английском и русском или немецком), укажите соответствующие языковые пакеты Tesseract (-l eng+rus или -l eng+deu).
Решение 3: Перевод иностранных научных и технических PDF без копирования фрагментов
Чаще всего пользователи сталкиваются с проблемой нечитаемых символов при попытке скопировать фрагмент статьи из двухколоночного PDF-файла или инженерного руководства для вставки в онлайн-переводчик.
Вместо того чтобы вручную исправлять разорванные лигатуры и соединять строки, разделенные колонками, можно загрузить файл целиком в специализированный сервис с распознаванием макета, такой как Перевод документов Equalang (см. руководство о том, как переводить и читать документы PDF в параллельном режиме). Обработка визуальной структуры страницы обходит проблему отсутствующих таблиц /ToUnicode, сохраняет двухколоночный макет, таблицы и математические формулы, позволяя читать оригинал и перевод бок о бок в одном окне с синхронной прокруткой.

Часто задаваемые вопросы
Почему при масштабе 400% текст выглядит идеально четким, но копируется как кракозябры?
Четкость отображения обеспечивается векторными контурами глифов (математическими кривыми, заложенными в файл шрифта), в то время как копирование текста опирается на отдельную структуру: таблицу сопоставления внутренних кодов с Unicode (/ToUnicode CMap). Программа просмотра располагает полной геометрической информацией для отрисовки линий при любом масштабе, но может не иметь метаданных о том, какую букву обозначает конкретный контур.
Поможет ли снятие пароля или ограничений прав доступа исправить копирование текста?
Нет. Ограничения прав доступа определяют, доступна ли кнопка «Копировать» в контекстном меню. Если вы можете выделить текст, нажать Ctrl+C и получить результат (пусть даже квадраты или случайные знаки), права доступа не заблокированы. Проблема кроется исключительно в отсутствии или повреждении таблицы /ToUnicode.
Почему при открытии PDF в Microsoft Word или бесплатном конвертере получаются те же странные символы?
Большинство конвертеров извлекают текст напрямую из встроенных шрифтовых таблиц без запуска оптического распознавания. Если утилита pdffonts показывает uni = no, кодировка символов физически отсутствует в файле. Любая программа, не использующая визуальный OCR, извлечет ту же самую абракадабру.