لماذا يتحول نسخ ولصق نصوص PDF إلى رموز غير مفهومة (وكيفية إصلاح ذلك)

Equalang

باختصار

تعرف على سبب تحول نصوص PDF الحادة إلى مربعات فارغة أو أحرف عشوائية عند غياب /ToUnicode CMap، وكيفية فحص الخطوط في 10 ثوانٍ واستخراج النصوص.

الكلمات المفتاحية: نسخ ولصق pdf رموز غير مفهومة; مشكلة نسخ نصوص pdf مربعات; غياب toUnicode cmap; فحص خطوط pdf باستخدام pdffonts; حل مشكلة تشوه النص المنسوخ من pdf

عندما يبدو ملف PDF حاداً وفائق الوضوح على شاشتك ولكن عند نسخه ولصقه في محرر النصوص يتحول إلى مربعات مفرغة (``) أو رموز عشوائية أو أحرف مزاحة (مثل تحول كلمة "Hello" إلى "Khoor")، فإن الملف يفتقر إلى جدول تعيين الأحرف /ToUnicode Character Map (CMap) الصالح داخل قاموس الخطوط المضمنة. ونظراً لأن تنسيق PDF هو تنسيق لتخطيط الصفحات والرسوم المتجهية مشتق من لغة PostScript—وليس تنسيقاً لمعالجة الكلمات كبرامج معالجة النصوص—فإن عارض PDF يحتاج فقط إلى معرّفات الأشكال الرسومية (Glyph IDs) والخطوط العريضة المتجهية لرسم أحرف واضحة على شاشتك. ولا يحتاج البرنامج إطلاقاً لمعرفة أي حرف من معيار يونيكود (U+0041 للحرف 'A') يمثله ذلك الشكل الهندسي حتى تضغط على Ctrl+C أو Cmd+C. وعندما يُحذف جدول المطابقة هذا، أو يُخلط ترتيبه، أو يُحجب بواسطة طبقة OCR مخفية وتالفة، تستلم حافظة نظام التشغيل معرّفات أشكال أولية بدلاً من نص عادي مقروء.

كيف يعمل رسم صفحات PDF مقابل كيفية عمل النسخ Ctrl+C

قد يبدو الأمر متناقضاً حين تستطيع عيناك قراءة فقرة كاملة بوضوح في Adobe Acrobat أو متصفح Chrome، بينما يعجز حاسوبك عن نسخ كلمة واحدة منها بشكل سليم. يحدث هذا التباين لأن رسم الصفحة على الشاشة واستخراج النص يعتمدان على بنيتين بيانيتين منفصلتين تماماً وفقاً لمواصفات PDF القياسية (ISO 32000-1:2008 القسم 9.10، Extraction of Text Content).

عندما يعرض ملف PDF نصاً على الشاشة:

  1. يُصدر تدفق محتوى الصفحة أمر رسم يحتوي على تسلسل من رموز الحروف / معرّفات الأشكال (Glyph IDs) (على سبيل المثال: <0001 0002 0003> Tj).
  2. يفتح محرك العرض في برنامج PDF خط الحزمة الفرعية المضمن ويبحث عن شكل المنحنى رقم #1 ورقم #2 ورقم #3.
  3. يرسم المحرك منحنيات بيزيه التكعيبية في إحداثيات (x, y) دقيقة. وفي هذه اللحظة، لا يهتم محرك الرسوميات بما إذا كان الشكل رقم #1 يمثل حرف 'T' أو علامة تكامل رياضية أو شعار شركة.

وعندما تحدد هذا السطر وتضغط على Ctrl+C أو Cmd+C، تصبح المنحنيات المتجهية بلا فائدة لحافظة نظام التشغيل، إذ يتعين على عارض PDF ترجمة كل معرّف شكل داخلي إلى رمز يونيكود قياسي:

[مسار العرض على الشاشة]
تدفق أوامر الصفحة (<0001 0002 0003> Tj) ──► المنحنيات المتجهية للخط ──► بكسلات حادة وواضحة على الشاشة

[مسار النسخ إلى الحافظة]
تدفق أوامر الصفحة (<0001 0002 0003> Tj) ──► جدول /ToUnicode CMap للخط ──► نص يونيكود قياسي (U+0054 "T"...)
                                           │
                                  (إذا كان مفقوداً أو تالفاً)
                                           ▼
                                 رموز غير مفهومة / مربعات () / أحرف مزاحة

إذا قامت أداة إنشاء PDF بإنشاء حزمة فرعية من الخط (Subsetting)—أي تضمين 42 حرفاً فريداً فقط مستخدماً في المستند وترقيمها من 1 إلى 42 حسب ترتيب ظهورها—دون تضمين تدفق صريح لجدول /ToUnicode، يضطر برنامج العرض إلى التخمين. وهنا قد يُربط الشكل رقم #1 (الذي يرسم بصرياً حرف 'T') برمز التحكم غير القابل للطباعة U+0001، أو بخانة في منطقة الاستخدام الخاص (PUA) تظهر على شكل مربع مفرغ، أو بقيمة ASCII مزاحة.

الأسباب الجذرية الثلاثة لظهور نصوص PDF كرموز غير مفهومة عند النسخ

لا تفشل كل النصوص المنسوخة بنفس الطريقة. فمن خلال فحص شكل النص المشوه الذي يظهر عند اللصق في محررك، يمكنك تحديد الطبقة المعطوبة بدقة داخل ملف PDF:

ما تراه عند اللصقمثال نموذجيالسبب الجذري داخل ملف PDFهل يمكن لأدوات التحويل العادية (بدون OCR) إصلاحه؟
مربعات مفرغة أو علامات استفهام أو رموز تحكمأوالخط الفرعي المضمن يستخدم ترميز Identity-H أو ترقيماً مخصصاً مع غياب جدول /ToUnicode CMap.لا. معلومات مطابقة الرموز غير متوفرة إطلاقاً في الملف.
أحرف لاتينية مزاحة بتشفير قيصر أو رموز فوضوية"Hello" ← "Khoor" أو "!#$%&"ترميز مخصص Type 1 أو Type 3 أو تعمد الناشر تشويش الخطوط عبر إزاحة معرّفات الأشكال عن ترميز ASCII/Unicode القياسي.لا. تقرأ الأدوات القياسية نفس جدول الإزاحة المشوه.
سقوط أزواج من الحروف أو ظهور رموز غريبة"efficient" ← "ef cient" أو "ef?cient"الحروف المركبة (Ligatures) (مثل fi وfl وffi) أو رموز معادلات TeX المخصصة دون ربطها بقيم متعددة في /ToUnicode.جزئياً (فقط عبر البحث والاستبدال اليدوي).
خليط أحرف هجائية مشوهة (1lI0O وعلامات ترقيم عشوائية)"The result" ← "Thc rcsult ~!"طبقة نصية خفية وتالفة من تقنية OCR فوق مستند ممسوح ضوئياً: قام الماسح الضوئي بتشغيل OCR قديم ورديء قبل سنوات ووضع نصاً خفياً تالفاً خلف صورة الصفحة النظيفة.لا. يجب إزالة الطبقة القديمة وإعادة معالجة المستند عبر OCR (--force-ocr).

1. غياب أو تلف جداول /ToUnicode CMap في الخطوط المجتزأة

لتقليل حجم الملفات، يلجأ منشئو PDF دائماً إلى تضمين مجموعات فرعية (Subsetting) من الخطوط (مثل ABCDEF+TimesNewRoman)، حيث تُضمّن فقط الأشكال الرسومية المستخدمة فعلياً في الصفحة. تقوم مسارات عمل تحويل LaTeX القديمة مثل dvips / ps2pdf، وبرامج تصدير مخططات CAD، ومحركات الطباعة الافتراضية القديمة، وبعض أنظمة حماية المجلات الأكاديمية بتعيين معرّفات داخلية تسلسلية للأشكال (0x0001، 0x0002...) وفقاً لظهورها، وتعيين الترميز على Identity-H، مع حذف قاموس /ToUnicode كلياً.

داخل تدفق كائنات PDF المباشر، يظهر الفرق بين الخط السليم والخط المعطوب على النحو التالي:

% كائن خط سليم (النسخ واللصق يعمل بنجاح)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H
   /ToUnicode 15 0 R        % <-- يشير إلى تدفق CMap صالح يطابق معرّفات الأشكال بيونيكود
>>
endobj

% كائن خط معطوب (النسخ ينتج رموزاً مشوهة)
12 0 obj
<< /Type /Font
   /Subtype /Type0
   /BaseFont /BCDFEE+CMR10
   /Encoding /Identity-H    % <-- معرّفات داخلية فقط، دون أي إدخال لجدول /ToUnicode!
>>
endobj

2. الحروف المركبة (Ligatures) والترميزات المخصصة للرموز الرياضية

في التصميم الطباعي عالي الجودة (خاصة خط Computer Modern في أوراق LaTeX)، تُدمج الأحرف المتجاورة مثل f وi في شكل رسومي واحد مركب (fi). وإذا قام الخط بتعيين هذا الشكل الرسومي الفردي في موضع غير قياسي (مثل 0x0C) بدلاً من تعريف مطابقة متعددة الحروف في /ToUnicode (<000C> <00660069>)، فإن نسخ كلمة "first" يُنتج " rst" أو "?rst". ويحدث الأمر نفسه مع المتغيرات اليونانية وعلامات الطرح ورموز التكامل والمجموع المخزنة في خطوط رياضية مخصصة من نوع Type 1.

3. طبقة نصية خفية وتالفة من تقنية OCR خلف مسح ضوئي نقي

عندما تفتح بحثاً قديماً أو كتاباً ممسوحاً ضوئياً، تكون الصفحة المرئية في الواقع صورة نقطية عالية الدقة (JPEG أو JBIG2). ولجعل هذا المسح "قابلاً للبحث"، كانت الماسحات الضوئية في المؤسسات تشغل برامج OCR بدائية قبل 10 أو 15 عاماً وتضع طبقة نصية غير مرئية (عبر نمط العرض 3 Tr) فوق صورة الصفحة. وعندما تسحب مؤشر الفأرة على الصفحة، ترى عيناك مسحاً ضوئياً نقياً، بينما يحدد مؤشر الفأرة في الحقيقة تلك الطبقة النصية الخفية والمليئة بالأخطاء المطبعية التي تم إنشاؤها منذ سنوات طويلة.

تشخيص خلال 10 ثوانٍ: فحص جدول خطوط ملف PDF

قبل إهدار الوقت في تجربة برامج قراءة PDF مختلفة أو استخدام مواقع تحويل "PDF إلى Word" عبر الإنترنت، تحقق مما إذا كان جدول /ToUnicode مفقوداً بالفعل.

الطريقة (أ): تشغيل أمر pdffonts في الطرفية (الأسرع)

إذا كانت مكتبة Poppler مفتوحة المصدر لعرض ملفات PDF مثبتة على جهازك (brew install poppler على macOS، أو sudo apt install poppler-utils على Ubuntu/Debian)، شغّل أمر pdffonts على الملف:

pdffonts document.pdf

دقق النظر في عمودي sub (الخطوط المجتزأة) و**uni** (وجود جدول /ToUnicode) في النتائج:

name                                 type              encoding         emb sub uni object ID
------------------------------------ ----------------- ---------------- --- --- --- ---------
GJXPKL+CMR10                         Type 1C           Custom           yes yes no       14  0
GJXPKM+CMSY10                        Type 1C           Custom           yes yes no       18  0
ArialMT                              TrueType          WinAnsi          yes no  yes      22  0
  • uni = yes: يحتوي الخط على جدول /ToUnicode. وإذا كان النسخ واللصق يستمر في إنتاج رموز مشوهة، فإما أن الجدول نفسه يعين الرموز إلى نقاط غير صحيحة (تشويش متعمد لمنع النسخ)، أو أنك تنسخ من طبقة OCR خفية وتالفة.
  • sub = yes مع uni = no: الدليل القاطع. هذا خط مجتزأ ذو ترميز مخصص مع انعدام تام لبيانات مطابقة يونيكود داخل الملف. لا يمكن لأي قارئ PDF أو برنامج تحويل لا يعتمد على تقنية OCR استخراج نص سليم من هذا التدفق.

الطريقة (ب): فحص خصائص الخطوط في Adobe Acrobat Reader

إذا كنت تفضل الفحص عبر الواجهة الرسومية:

  1. افتح ملف PDF في برنامج Adobe Acrobat Reader.
  2. اضغط على Ctrl+D (Cmd+D على macOS) أو انتقل إلى File > Properties ثم انقر على علامة تبويب Fonts.
  3. وسّع قائمة الخطوط المستخدمة في الصفحة المعنية. عندما ترى Encoding: Custom أو Encoding: Identity-H بجوار خط مصنف كـ (Embedded Subset)—خاصة مع خطوط Type 1 أو Type 3 أو CID—فإن هذا الخط هو المسؤول المباشر عن ظهور الرموز المشوهة عند النسخ.

كيفية استعادة واستخراج النصوص السليمة

بمجرد التأكد من أن جدول /ToUnicode مفقود (uni = no) أو أن طبقة OCR القديمة تالفة، توقف عن تجربة حيل النسخ واللصق التقليدية أو أدوات تحويل "PDF إلى Word" التي لا تدعم OCR. فهذه الأدوات تقرأ نفس جدول الخطوط المعطوب الموجود في الملف. ولاستعادة نص مقروء، يتعين عليك تجاوز رموز الأحرف الداخلية للملف وقراءة الأشكال البصرية المرسومة فعلياً عبر تقنية التعرف الضوئي على الحروف (OCR).

الحل 1: استخراج المقاطع القصيرة فورياً عبر ميزة التعرف الضوئي على الشاشة

إذا كنت تحتاج فقط إلى فقرتين أو صف في جدول أو استشهاد مرجعي من ملف PDF معطوب:

  • نظام macOS (عبر تطبيق Preview أو ميزة Live Text في لقطة الشاشة): التقط لقطة شاشة سريعة (Cmd+Shift+4) للفقرة وافتحها في تطبيق Preview. تتجاهل ميزة Live Text في macOS قاموس خطوط PDF بالكامل وتتيح لك تحديد النص المرئي ونسخه مباشرة من الصورة.
  • نظام Windows (عبر أداة PowerToys Text Extractor): اضغط على Win+Shift+T واسحب مربع تحديد فوق نافذة PDF المفتوحة لنسخ النص المتعرف عليه مباشرة إلى الحافظة.

الحل 2: إعادة بناء الطبقة النصية للمستند بالكامل عبر ocrmypdf --force-ocr

إذا كنت ترغب في الحصول على ملف PDF دائم وقابل للبحث والنسخ واللصق مع عمل Ctrl+C بشكل سليم عبر كافة صفحات المستند، استخدم أداة ocrmypdf مع خيار --force-ocr. تتخطى أدوات OCR القياسية عادةً الصفحات التي تحتوي مسبقاً على تدفق خطوط؛ أما خيار --force-ocr فيقوم بتحويل الصفحة المتجهية إلى صورة نقطية بدقة 300 نقطة في البوصة (DPI)، ويتخلص من طبقة /ToUnicode المعطوبة (أو النص القديم التالف من المسح الضوئي)، ثم يدمج طبقة نصية جديدة ودقيقة بتنسيق يونيكود:

# تثبيت ocrmypdf (على macOS أو Ubuntu)
brew install ocrmypdf
# أو: sudo apt install ocrmypdf

# استبدال تعيينات الخط المعطوبة أو طبقة OCR التالفة بطبقة يونيكود سليمة وقابلة للنسخ
ocrmypdf --force-ocr broken-input.pdf clean-copyable.pdf

وإذا كان المستند يحتوي على لغات متعددة (على سبيل المثال، دليل فني باللغتين الإنجليزية والألمانية أو الصينية)، فمرر رموز لغات محرك Tesseract بوضوح (مثل -l eng+deu أو -l eng+ara).

الحل 3: ترجمة المستندات الأكاديمية والتقنية دون الحاجة للنسخ واللصق اليدوي

في كثير من الأحيان، يكون السبب الوحيد الذي دفعك لملاحظة مشكلة النسخ المشوه هو محاولتك نسخ فقرة معقدة بلغة أجنبية من ورقة بحثية مكونة من عمودين أو دليل هندسي للصقها في موقع ترجمة.

وبدلاً من مواجهة النصوص المشوهة في الحافظة، أو إصلاح الحروف المركبة يدوياً، أو إعادة تجميع الجمل المقسمة بين الأعمدة، يمكنك رفع ملف PDF مباشرة إلى سير عمل يعتمد على OCR الذكي للتخطيط مثل ترجمة مستندات إيكوالانج (Equalang) (راجع دليل ترجمة وقراءة مستندات PDF جنباً إلى جنب). إن معالجة الهيكل البصري للصفحة تتجاوز جداول /ToUnicode المفقودة، وتحافظ على التنسيقات متعددة الأعمدة والجداول والمعادلات الرياضية، وتتيح لك قراءة الصفحات الأصلية والمترجمة جنباً إلى جنب في مساحة عمل الترجمة.

عرض ورقة بحثية أكاديمية من عمودين باللغة الإنجليزية معروضة جنباً إلى جنب مع نسختها المترجمة في واجهة Equalang
عندما يؤدي غياب جدول /ToUnicode في ملف PDF إلى نسخ نصوص مشوهة، فإن ترجمة تخطيط المستند بالكامل تغنيك عن محاولات استخراج النص اليدوية

الأسئلة الشائعة

لماذا يبدو ملف PDF واضحاً تماماً عند تكبيره إلى 400%، ومع ذلك ينسخ نصوصاً غير مفهومة؟

لأن الحدة البصرية تنتج عن المنحنيات المتجهية للأشكال الرسومية (Vector Outlines) (وهي معادلات رياضية مخزنة داخل الخط المضمن)، بينما يعتمد النسخ واللصق على بنية منفصلة تماماً هي جدول مطابقة رموز الأحرف إلى يونيكود (/ToUnicode CMap). يستطيع قارئ PDF معرفة الشكل الهندسي الدقيق لكل حرف لرسمه بأي مستوى تكبير، حتى لو لم تكن لديه أي بيانات وصفية تحدد الحرف الذي يمثله ذلك الشكل.

هل يؤدي إلغاء قفل ملف PDF أو إزالة قيود كلمة المرور إلى حل مشكلة الرموز المشوهة؟

لا. تتحكم أذونات PDF في إمكانية النقر على خيار "نسخ" في القائمة من عدمها. فإذا كنت قادراً على تظليل النص، والضغط على Ctrl+C، ولصق أي محتوى (حتى لو كان مربعات فارغة أو أحرفاً عشوائية)، فإن قيود الأمان ليست هي المشكلة، بل يعود السبب إلى غياب جدول /ToUnicode أو تشويهه داخل كائن الخط.

لماذا يؤدي فتح ملف PDF في Microsoft Word أو مواقع التحويل المجانية إلى ظهور نفس الرموز؟

تستخرج معظم برامج التحويل السريعة تدفقات النصوص مباشرة من قواميس الخطوط الداخلية لملف PDF دون إجراء فحص بصري عبر تقنية OCR. وعندما يُظهر فحص pdffonts القيمة uni = no، فهذا يعني أن هوية الحروف غير مخزنة أساساً في تدفق النص داخل الملف، وبالتالي فإن أي أداة لا تطبق التعرف البصري ستُخرج نفس الرموز المشوهة.

المصادر