Кракозябры в CSV в Excel? Как быстро исправить кодировку UTF-8

Equalang

Вкратце

Устраните кракозябры и неверные символы вроде é, € или Привет при открытии CSV в Excel с помощью импорта данных, добавления UTF-8 BOM (utf-8-sig) или Google Таблиц.

Ключевые слова: кракозябры в excel csv; иероглифы в csv excel; открыть csv utf 8 в excel; импорт csv excel спецсимволы; utf-8 bom excel

При открытии файла .csv в кодировке UTF-8 двойным щелчком мыши Microsoft Excel часто заменяет кириллицу, буквы с диакритикой и знаки валют нечитаемыми символами и кракозябрами вроде Привет, Café или €. Это происходит потому, что обычный файл .csv представляет собой чистый текстовый поток без заголовка с метаданными о кодировке. В результате классический Excel пытается расшифровать файл с помощью устаревшей системной кодовой страницы Windows (Windows-1251 в русскоязычной среде, Windows-1252 в западноевропейской или MacRoman), если в самом начале файла отсутствует 3-байтовая метка порядка байтов UTF-8 BOM (EF BB BF). Ошибку можно устранить менее чем за минуту без смещения столбцов и потери начальных нулей. Главное правило: ни в коем случае не нажимайте Ctrl+S, пока на экране отображаются кракозябры, иначе Excel перезапишет исходный файл поврежденным текстом.

Краткое сравнение: 3 способа открыть CSV в UTF-8 без ошибок

Выберите наиболее подходящий вариант в зависимости от источника файла .csv и того, кто будет его открывать:

СпособДля чего подходит лучше всегоСохраняет ведущие нули (00412)?Работает ли при двойном клике в Excel?
1. Excel Данные > Из текста/CSVОткрытие существующего CSV без изменения файла на дискеДа (если в окне предварительного просмотра выбрать тип Текст)Нет (требуется импорт через пустую книгу)
2. Добавление UTF-8 BOM (EF BB BF)Экспорт CSV из Python, скриптов или баз данных для пользователей ExcelНет (Excel при двойном клике все равно автоматически преобразует числовые строки)Да
3. Google Таблицы / LibreOffice CalcБыстрый просмотр или конвертация UTF-8 CSV напрямую в .xlsxДа (при отключении автопреобразования чисел или при экспорте)Да (после сохранения в формате .xlsx)

Способ 1: Импорт через «Данные > Из текста/CSV» (с сохранением ведущих нулей)

При получении файла .csv, экспортированного из Shopify, Stripe, PostgreSQL или созданного в macOS/Linux, открытие двойным щелчком обходит выбор кодировки в Excel. Импорт через вкладку Данные заставляет Excel интерпретировать файл как 65001: Юникод (UTF-8) и позволяет зафиксировать столбцы с артикулами или номерами телефонов до того, как Excel удалит из них ведущие нули.

  1. Запустите Microsoft Excel и создайте Пустую книгу (не открывайте файл .csv двойным щелчком мыши).
  2. Перейдите на вкладку Данные (Data) на ленте и выберите пункт Из текста/CSV (From Text/CSV) в группе Получить и преобразовать данные.
  3. Выберите нужный файл .csv и нажмите Импорт.
  4. В появившемся окне предварительного просмотра найдите в левом верхнем углу выпадающий список Происхождение файла (File Origin). Измените региональную кодировку по умолчанию (например, 1251: Кириллическая (Windows) или 1252: Западноевропейская (Windows)) на 65001: Юникод (UTF-8).
  5. Посмотрите на таблицу предпросмотра: поврежденные строки вроде Привет или Café сразу же примут нормальный вид.
  6. Дополнительно (сохранение ведущих нулей и длинных идентификаторов): Если в таблице есть почтовые индексы, номера телефонов или артикулы вроде 00412, нажмите кнопку Преобразовать данные (Transform Data) в правом нижнем углу, чтобы открыть редактор Power Query. Выделите нужные столбцы, измените их Тип данных с Целое число на Текст, а затем нажмите Закрыть и загрузить (Close & Load).
  7. Если настраивать типы данных в столбцах не требуется, просто нажмите кнопку Загрузить (Load).

Способ 2: Добавление метки UTF-8 BOM (EF BB BF) для открытия двойным кликом

Если вы регулярно формируете файлы .csv для коллег или клиентов, которые привыкли открывать документы двойным щелчком в Проводнике или Finder, просить их каждый раз выполнять ручной импорт через вкладку «Данные» неудобно.

Вместо этого добавьте в самое начало файла (на нулевой байт) 3-байтовую метку порядка байтов UTF-8 (BOM) — шестнадцатеричные байты EF BB BF (\xEF\xBB\xBF). Обнаружив эти три байта в начале .csv, Excel сразу переключается на декодирование UTF-8 при стандартном двойном щелчке.

В Python (через pandas или стандартный модуль csv)

По умолчанию метод pandas.DataFrame.to_csv() выполняет запись в стандартном UTF-8 без BOM (encoding="utf-8"). Измените значение параметра кодировки на utf-8-sig, чтобы Python автоматически добавил 3-байтовый заголовок BOM:

import pandas as pd

df = pd.DataFrame({
    "city": ["München", "São Paulo", "東京"],
    "item": ["Café", "Crème brûlée", "抹茶"],
    "price": ["€4.50", "€6.00", "¥600"]
})

# Стандартный UTF-8 без BOM (при двойном клике в Excel превратится в кракозябры)
# df.to_csv("report_no_bom.csv", index=False, encoding="utf-8")

# UTF-8 с BOM (корректно открывается в Excel двойным кликом)
df.to_csv("report_excel_ready.csv", index=False, encoding="utf-8-sig")

Если вы используете встроенные функции Python open() и csv.writer, передайте параметр encoding="utf-8-sig" в функцию open():

import csv

with open("report_excel_ready.csv", "w", newline="", encoding="utf-8-sig") as f:
    writer = csv.writer(f)
    writer.writerow(["city", "item", "price"])
    writer.writerow(["München", "Café", "€4.50"])

В терминале macOS или Linux

Чтобы исправить существующий файл .csv в UTF-8 через командную строку без использования редакторов, добавьте байты \xEF\xBB\xBF с помощью команд printf и cat:

printf '\xEF\xBB\xBF' | cat - clean.csv > excel_ready.csv

Сохранение с BOM непосредственно в Excel (Сохранить как)

Если вы уже корректно импортировали данные и хотите сохранить копию в формате .csv, которую другие пользователи смогут открывать двойным щелчком:

  • Перейдите в меню Файл > Сохранить как и выберите в выпадающем списке типов файлов CSV-UTF8 (разделитель — запятая) (*.csv). Не выбирайте устаревшие варианты CSV (разделитель — запятая) (*.csv) или CSV (Macintosh) (*.csv).

Когда НЕ следует использовать UTF-8 BOM

Хотя Excel использует BOM для определения UTF-8 при двойном щелчке, спецификация консорциума Unicode указывает, что BOM не требуется и не рекомендуется для стандартных потоков данных UTF-8 в среде Unix и Linux. Строгие консольные утилиты и старые скрипты, которые не умеют автоматически отсекать \xEF\xBB\xBF, воспримут эти невидимые байты как часть имени первого столбца (превратив заголовок "id" в "\ufeffid"). Придерживайтесь двух правил:

  • Для передачи файлов .csv пользователям для работы в Excel: Используйте utf-8-sig (UTF-8 с BOM).
  • Для передачи файлов в серверные конвейеры Linux, CLI-утилиты и базы данных: Используйте стандартный utf-8 (без BOM).

Способ 3: Открытие через Google Таблицы или LibreOffice Calc

Если вы не хотите работать с консольными командами или диалоговыми окнами Power Query в Excel, откройте файл в табличном процессоре, который по умолчанию использует UTF-8:

  • Google Таблицы: Создайте пустую таблицу -> Файл > Импорт > Загрузка -> выберите ваш файл .csv. Сервис Google Таблицы автоматически определяет стандартную кодировку UTF-8 без BOM. После загрузки выберите Файл > Скачать > Microsoft Excel (.xlsx), чтобы получить стандартный файл Excel, в котором кодировка символов зафиксирована однозначно.
  • LibreOffice Calc: При открытии любого файла .csv сразу появляется диалоговое окно импорта, где можно убедиться, что параметр Кодировка установлен в Юникод (UTF-8), а также заранее задать нужным колонкам тип Текст, после чего нажать ОК.

Если вам также требуется перевести мультиязычный каталог товаров или таблицу в формате .csv или .xlsx без повреждения разделителей-запятых и структуры UTF-8, ознакомьтесь с нашими руководствами о том, как перевести файл CSV и как перевести файл Excel.

Почему Café превращается в Café, а кириллица — в кракозябры в Excel?

Появление странных символов вроде é, € или абракадабры из знаков вопроса и латиницы в таблице — это не случайное повреждение данных, а строго детерминированный процесс:

  1. Файлы .csv представляют собой необработанный поток байтов: В отличие от файлов .xlsx (которые представляют собой ZIP-архив с XML-файлами и явным указанием кодировки UTF-8), обычный .csv не имеет метаданных в заголовке. Современные инструменты разработки (Python pandas, PostgreSQL, Shopify, Stripe, Google Таблицы и утилиты macOS/Linux) по умолчанию экспортируют данные в UTF-8 без BOM.
  2. UTF-8 кодирует символы за пределами ASCII от 2 до 4 байтов: Базовые символы латинского алфавита и цифры (A-Z, 0-9) занимают ровно 1 байт (0x00–0x7F), поэтому они выглядят одинаково как в UTF-8, так и в устаревших кодировках. Любые другие символы кодируются несколькими байтами:
    • Буква é (U+00E9) в UTF-8 занимает 2 байта: C3 A9.
    • Буква ü (U+00FC) в UTF-8 занимает 2 байта: C3 BC.
    • Знак евро € (U+20AC) занимает 3 байта: E2 82 AC.
    • Символы кириллицы (русские буквы) кодируются в UTF-8 2 байтами (например, слово Привет занимает 12 байтов вместо 6).
    • Символы CJK (китайский, японский, корейский) занимают по 3 байта каждый.
  3. Excel использует системную региональную кодировку: При открытии .csv без BOM двойным кликом классический Excel считывает эти байты по одному через локальную системную таблицу (в русской Windows это Windows-1251, в западноевропейской — Windows-1252, в японской — Shift_JIS, а на Mac — MacRoman).

Когда однобайтовая кодовая страница читает многобайтовую последовательность UTF-8 побайтово, возникает эффект mojibake (кракозябры):

Исходный текстШестнадцатеричные байты UTF-8Декодирование в Windows-1252Декодирование в Windows-1251 (русская Windows)
Café43 61 66 C3 A9Café (C3 = Ã, A9 = ©)CafГ© (C3 = Г, A9 = ©)
München4D C3 BC 6E 63 68 65 6EMünchen (C3 = Ã, BC = ¼)MГјnchen
€100E2 82 AC 31 30 30€100 (E2 = â, 82 = ‚, AC = ¬)€100 (E2 = в, 82 = ‚, AC = ¬)
ПриветD0 9F D1 80 D0 B8 D0 B2 D0 B5 D1 82ÐџСЂÐёРІÐµС‚РџСЂРёРІРµС‚

Поскольку на самом диске байты остаются неповрежденными в формате UTF-8, простое закрытие файла без сохранения оставляет данные в целости. Но как только вы нажимаете Ctrl+S, Excel записывает отображаемые на экране ошибочные символы обратно на диск, безвозвратно уничтожая исходную кодировку.

Часто задаваемые вопросы

Почему сохранение CSV в Excel безвозвратно испортило текст?

Когда Excel открывает файл .csv в неверной кодировке (например, Windows-1251 или Windows-1252), на экране отображаются уже ошибочные символы. Нажатие Ctrl+S приводит к тому, что программа перезаписывает файл на диске именно этими испорченными символами, стирая исходные байты UTF-8. Если вы уже сохранили поврежденный файл, выполните повторный экспорт .csv из исходной системы либо восстановите предыдущую версию из резервной копии, после чего примените Способ 1 или Способ 2.

Почему Google Таблицы открывают этот же CSV без искажения символов?

Сервис Google Таблицы не зависит от настроек операционной системы вашего компьютера и региональных стандартов Windows или macOS. При загрузке .csv он по умолчанию применяет стандартную кодировку UTF-8. Так как почти все современные веб-приложения и базы данных выгружают файлы именно в UTF-8 без BOM, в Google Таблицах они открываются корректно с первого раза.

Как запретить Excel удалять ведущие нули (00412) или превращать длинные числа в 1.23E+15 при открытии CSV?

Добавление метки UTF-8 BOM решает только проблему с кодировкой текста при двойном щелчке, но не отменяет автоматическое распознавание чисел в Excel: программа продолжит удалять нули в начале почтовых индексов и артикулов, а также округлять числа длиннее 15 знаков. Чтобы сохранить ведущие нули, всегда открывайте файл через Данные > Из текста/CSV, нажимайте кнопку Преобразовать данные и вручную задавайте соответствующим столбцам тип данных Текст перед загрузкой.

Источники