Кодировки символов

Опубликовано: 04.03.2024

Кодирование символов — это процесс присвоения номеров графическим символам, особенно письменным символам человеческого языка, позволяющий их хранить, передавать и преобразовывать с помощью цифровых компьютеров. Существует множество различных кодировок текста, каждая из которых определяет способ преобразования символов в байтовое представление.

Ранние коды символов, связанные с оптическим или электрическим телеграфом, могли представлять только подмножество символов, используемых в письменных языках, иногда ограничиваясь только заглавными буквами, цифрами и некоторыми знаками препинания.

История символьных кодов иллюстрирует растущую потребность в машинно-опосредованной символьной информации на расстоянии с использованием некогда новых электрических средств. Самые ранние коды были основаны на ручных и рукописных системах кодирования и шифрования, таких как шифр Бэкона, шрифт Брайля, международные морские сигнальные флаги и 4-значная кодировка китайских иероглифов для китайского телеграфного кода (Ханс Шеллеруп, 1869). С внедрением электрических и электромеханических технологий эти самые ранние коды были адаптированы к новым возможностям и ограничениям ранних машин. Самый ранний хорошо известный символьный код с электрической передачей, азбука Морзе, представленный в 1840-х годах, использовал систему из четырех "символов" (короткий сигнал, длинный сигнал, короткий пробел, длинный пробел) для генерации кодов переменной длины.

Распространенные примеры систем кодирования символов включают азбуку Морзе, код Бодо, Американский стандартный код обмена информацией (ASCII) и Unicode. Unicode, четко определенная и расширяемая система кодирования, вытеснила большинство более ранних кодировок символов, но путь разработки кода до настоящего времени довольно хорошо известен.

Некоторые из наиболее распространенных сейчас кодировок:

ASCII (American Standard Code for Information Interchange) - кодировка для представления основных символов латинского алфавита, цифр и специальных символов и управляющих последовательностей, принятый в 1963 году Американской ассоциацией стандартов как основной способ представления текстовых данных в ЭВМ.
Unicode — это универсальная кодировка символов, которая в настоящее время является преобладающей в Интернете. Стандарт предложен в 1991 году некоммерческой организацией «Консорциум Юникода» (англ. Unicode Consortium, Unicode Inc.). Применение этого стандарта позволяет закодировать очень большое число символов из разных систем письменности: в документах, закодированных по стандарту Юникод, могут соседствовать китайские иероглифы, математические символы, буквы греческого алфавита, латиницы и кириллицы, символы музыкальной нотной нотации и т.д.
ISO 8859 — это семейство кодировок символов, каждая из которых предназначена для представления символов определенного языка.
Windows Code Page — это семейство кодировок символов для ОС Windows.
KOI8 — это кодировка символов, разработанная в СССР для представления символов кириллицы.
UTF-8 (от англ. Unicode Transformation Format, 8-bit — «формат преобразования Юникода, 8-бит») — распространённый стандарт кодирования символов, позволяющий более компактно хранить и передавать символы Юникода, используя переменное количество байт (от 1 до 4), и обеспечивающий полную обратную совместимость с 7-битной кодировкой ASCII. Стандарт UTF-8 официально закреплён в документах RFC 3629 и ISO/IEC 10646 Annex D. Кодировка UTF-8 сейчас является доминирующей в веб-пространстве. Она также нашла широкое применение в UNIX-подобных операционных системах.
EUC-JP — это кодировка, для японского текста.
Windows-1251 — набор символов и кодировка, являющаяся стандартной 8-битной кодировкой для русских версий Microsoft Windows до 10-й версии. В прошлом пользовалась довольно большой популярностью. Была создана на базе кодировок, использовавшихся в ранних «самопальных» русификаторах Windows в 1990—1991 гг. совместно представителями «Параграфа», «Диалога» и российского отделения Microsoft.

Рубрики по темам:

Статьи о Дизайне

Вам могут быть интересны материалы:

В чём отличие пакета от модуля в Python?

Как вы, возможно знаете, код на Python хранится в модулях (modules) и пакетах (packages). Давайте немного разберемся с ними по подробнее.

Что такое Lambda-функция?

Давайте разберемся, что такое лямбда функции, для чего они применяются и в чем их удобство. Лямбда-функции в Python являются анонимными, это означает, что функция не имеет имени, по которому ее можно вызвать и ее вызов происходит в момент создания.

Какие типы данных есть в python?

Рассмотрим один из самых популярных вопросов, с которого начинают на собеседованиях и который встречается в тестах и олимпиадах по программированию на Python.