Кракозябры в CSV в Excel? Как быстро исправить кодировку UTF-8
EqualangВкратце
Устраните кракозябры и неверные символы вроде é, € или Привет при открытии CSV в Excel с помощью импорта данных, добавления UTF-8 BOM (utf-8-sig) или Google Таблиц.
Ключевые слова: кракозябры в excel csv; иероглифы в csv excel; открыть csv utf 8 в excel; импорт csv excel спецсимволы; utf-8 bom excel
При открытии файла .csv в кодировке UTF-8 двойным щелчком мыши Microsoft Excel часто заменяет кириллицу, буквы с диакритикой и знаки валют нечитаемыми символами и кракозябрами вроде Привет, Café или €. Это происходит потому, что обычный файл .csv представляет собой чистый текстовый поток без заголовка с метаданными о кодировке. В результате классический Excel пытается расшифровать файл с помощью устаревшей системной кодовой страницы Windows (Windows-1251 в русскоязычной среде, Windows-1252 в западноевропейской или MacRoman), если в самом начале файла отсутствует 3-байтовая метка порядка байтов UTF-8 BOM (EF BB BF). Ошибку можно устранить менее чем за минуту без смещения столбцов и потери начальных нулей. Главное правило: ни в коем случае не нажимайте Ctrl+S, пока на экране отображаются кракозябры, иначе Excel перезапишет исходный файл поврежденным текстом.
Краткое сравнение: 3 способа открыть CSV в UTF-8 без ошибок
Выберите наиболее подходящий вариант в зависимости от источника файла .csv и того, кто будет его открывать:
Способ 1: Импорт через «Данные > Из текста/CSV» (с сохранением ведущих нулей)
При получении файла .csv, экспортированного из Shopify, Stripe, PostgreSQL или созданного в macOS/Linux, открытие двойным щелчком обходит выбор кодировки в Excel. Импорт через вкладку Данные заставляет Excel интерпретировать файл как 65001: Юникод (UTF-8) и позволяет зафиксировать столбцы с артикулами или номерами телефонов до того, как Excel удалит из них ведущие нули.
- Запустите Microsoft Excel и создайте Пустую книгу (не открывайте файл
.csvдвойным щелчком мыши). - Перейдите на вкладку Данные (
Data) на ленте и выберите пункт Из текста/CSV (From Text/CSV) в группе Получить и преобразовать данные. - Выберите нужный файл
.csvи нажмите Импорт. - В появившемся окне предварительного просмотра найдите в левом верхнем углу выпадающий список Происхождение файла (
File Origin). Измените региональную кодировку по умолчанию (например,1251: Кириллическая (Windows)или1252: Западноевропейская (Windows)) на65001: Юникод (UTF-8). - Посмотрите на таблицу предпросмотра: поврежденные строки вроде
ПриветилиCaféсразу же примут нормальный вид. - Дополнительно (сохранение ведущих нулей и длинных идентификаторов): Если в таблице есть почтовые индексы, номера телефонов или артикулы вроде
00412, нажмите кнопку Преобразовать данные (Transform Data) в правом нижнем углу, чтобы открыть редактор Power Query. Выделите нужные столбцы, измените их Тип данных сЦелое числонаТекст, а затем нажмите Закрыть и загрузить (Close & Load). - Если настраивать типы данных в столбцах не требуется, просто нажмите кнопку Загрузить (
Load).
Способ 2: Добавление метки UTF-8 BOM (EF BB BF) для открытия двойным кликом
Если вы регулярно формируете файлы .csv для коллег или клиентов, которые привыкли открывать документы двойным щелчком в Проводнике или Finder, просить их каждый раз выполнять ручной импорт через вкладку «Данные» неудобно.
Вместо этого добавьте в самое начало файла (на нулевой байт) 3-байтовую метку порядка байтов UTF-8 (BOM) — шестнадцатеричные байты EF BB BF (\xEF\xBB\xBF). Обнаружив эти три байта в начале .csv, Excel сразу переключается на декодирование UTF-8 при стандартном двойном щелчке.
В Python (через pandas или стандартный модуль csv)
По умолчанию метод pandas.DataFrame.to_csv() выполняет запись в стандартном UTF-8 без BOM (encoding="utf-8"). Измените значение параметра кодировки на utf-8-sig, чтобы Python автоматически добавил 3-байтовый заголовок BOM:
import pandas as pd
df = pd.DataFrame({
"city": ["München", "São Paulo", "東京"],
"item": ["Café", "Crème brûlée", "抹茶"],
"price": ["€4.50", "€6.00", "¥600"]
})
# Стандартный UTF-8 без BOM (при двойном клике в Excel превратится в кракозябры)
# df.to_csv("report_no_bom.csv", index=False, encoding="utf-8")
# UTF-8 с BOM (корректно открывается в Excel двойным кликом)
df.to_csv("report_excel_ready.csv", index=False, encoding="utf-8-sig")
Если вы используете встроенные функции Python open() и csv.writer, передайте параметр encoding="utf-8-sig" в функцию open():
import csv
with open("report_excel_ready.csv", "w", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
writer.writerow(["city", "item", "price"])
writer.writerow(["München", "Café", "€4.50"])
В терминале macOS или Linux
Чтобы исправить существующий файл .csv в UTF-8 через командную строку без использования редакторов, добавьте байты \xEF\xBB\xBF с помощью команд printf и cat:
printf '\xEF\xBB\xBF' | cat - clean.csv > excel_ready.csv
Сохранение с BOM непосредственно в Excel (Сохранить как)
Если вы уже корректно импортировали данные и хотите сохранить копию в формате .csv, которую другие пользователи смогут открывать двойным щелчком:
- Перейдите в меню Файл > Сохранить как и выберите в выпадающем списке типов файлов
CSV-UTF8 (разделитель — запятая) (*.csv). Не выбирайте устаревшие вариантыCSV (разделитель — запятая) (*.csv)илиCSV (Macintosh) (*.csv).
Когда НЕ следует использовать UTF-8 BOM
Хотя Excel использует BOM для определения UTF-8 при двойном щелчке, спецификация консорциума Unicode указывает, что BOM не требуется и не рекомендуется для стандартных потоков данных UTF-8 в среде Unix и Linux. Строгие консольные утилиты и старые скрипты, которые не умеют автоматически отсекать \xEF\xBB\xBF, воспримут эти невидимые байты как часть имени первого столбца (превратив заголовок "id" в "\ufeffid"). Придерживайтесь двух правил:
- Для передачи файлов
.csvпользователям для работы в Excel: Используйтеutf-8-sig(UTF-8 с BOM). - Для передачи файлов в серверные конвейеры Linux, CLI-утилиты и базы данных: Используйте стандартный
utf-8(без BOM).
Способ 3: Открытие через Google Таблицы или LibreOffice Calc
Если вы не хотите работать с консольными командами или диалоговыми окнами Power Query в Excel, откройте файл в табличном процессоре, который по умолчанию использует UTF-8:
- Google Таблицы: Создайте пустую таблицу -> Файл > Импорт > Загрузка -> выберите ваш файл
.csv. Сервис Google Таблицы автоматически определяет стандартную кодировку UTF-8 без BOM. После загрузки выберите Файл > Скачать > Microsoft Excel (.xlsx), чтобы получить стандартный файл Excel, в котором кодировка символов зафиксирована однозначно. - LibreOffice Calc: При открытии любого файла
.csvсразу появляется диалоговое окно импорта, где можно убедиться, что параметр Кодировка установлен вЮникод (UTF-8), а также заранее задать нужным колонкам типТекст, после чего нажать ОК.
Если вам также требуется перевести мультиязычный каталог товаров или таблицу в формате .csv или .xlsx без повреждения разделителей-запятых и структуры UTF-8, ознакомьтесь с нашими руководствами о том, как перевести файл CSV и как перевести файл Excel.
Почему Café превращается в Café, а кириллица — в кракозябры в Excel?
Появление странных символов вроде é, € или абракадабры из знаков вопроса и латиницы в таблице — это не случайное повреждение данных, а строго детерминированный процесс:
- Файлы
.csvпредставляют собой необработанный поток байтов: В отличие от файлов.xlsx(которые представляют собой ZIP-архив с XML-файлами и явным указанием кодировки UTF-8), обычный.csvне имеет метаданных в заголовке. Современные инструменты разработки (Pythonpandas, PostgreSQL, Shopify, Stripe, Google Таблицы и утилиты macOS/Linux) по умолчанию экспортируют данные в UTF-8 без BOM. - UTF-8 кодирует символы за пределами ASCII от 2 до 4 байтов: Базовые символы латинского алфавита и цифры (
A-Z,0-9) занимают ровно 1 байт (0x00–0x7F), поэтому они выглядят одинаково как в UTF-8, так и в устаревших кодировках. Любые другие символы кодируются несколькими байтами:- Буква
é(U+00E9) в UTF-8 занимает 2 байта:C3 A9. - Буква
ü(U+00FC) в UTF-8 занимает 2 байта:C3 BC. - Знак евро
€(U+20AC) занимает 3 байта:E2 82 AC. - Символы кириллицы (русские буквы) кодируются в UTF-8 2 байтами (например, слово
Приветзанимает 12 байтов вместо 6). - Символы CJK (китайский, японский, корейский) занимают по 3 байта каждый.
- Буква
- Excel использует системную региональную кодировку: При открытии
.csvбез BOM двойным кликом классический Excel считывает эти байты по одному через локальную системную таблицу (в русской Windows этоWindows-1251, в западноевропейской —Windows-1252, в японской —Shift_JIS, а на Mac —MacRoman).
Когда однобайтовая кодовая страница читает многобайтовую последовательность UTF-8 побайтово, возникает эффект mojibake (кракозябры):
Поскольку на самом диске байты остаются неповрежденными в формате UTF-8, простое закрытие файла без сохранения оставляет данные в целости. Но как только вы нажимаете Ctrl+S, Excel записывает отображаемые на экране ошибочные символы обратно на диск, безвозвратно уничтожая исходную кодировку.
Часто задаваемые вопросы
Почему сохранение CSV в Excel безвозвратно испортило текст?
Когда Excel открывает файл .csv в неверной кодировке (например, Windows-1251 или Windows-1252), на экране отображаются уже ошибочные символы. Нажатие Ctrl+S приводит к тому, что программа перезаписывает файл на диске именно этими испорченными символами, стирая исходные байты UTF-8. Если вы уже сохранили поврежденный файл, выполните повторный экспорт .csv из исходной системы либо восстановите предыдущую версию из резервной копии, после чего примените Способ 1 или Способ 2.
Почему Google Таблицы открывают этот же CSV без искажения символов?
Сервис Google Таблицы не зависит от настроек операционной системы вашего компьютера и региональных стандартов Windows или macOS. При загрузке .csv он по умолчанию применяет стандартную кодировку UTF-8. Так как почти все современные веб-приложения и базы данных выгружают файлы именно в UTF-8 без BOM, в Google Таблицах они открываются корректно с первого раза.
Как запретить Excel удалять ведущие нули (00412) или превращать длинные числа в 1.23E+15 при открытии CSV?
Добавление метки UTF-8 BOM решает только проблему с кодировкой текста при двойном щелчке, но не отменяет автоматическое распознавание чисел в Excel: программа продолжит удалять нули в начале почтовых индексов и артикулов, а также округлять числа длиннее 15 знаков. Чтобы сохранить ведущие нули, всегда открывайте файл через Данные > Из текста/CSV, нажимайте кнопку Преобразовать данные и вручную задавайте соответствующим столбцам тип данных Текст перед загрузкой.