Инспектор Unicode
Просматривайте каждый символ текста: его кодовую точку, общую категорию, письменность и байты UTF-8. Инспектор обнаруживает скрытые символы, такие как пробелы нулевой ширины, мягкие переносы, метки порядка байтов и управляющие символы двунаправленного текста; отмечает похожие буквы из кириллицы и греческого алфавита, имитирующие латинские, и предупреждает о словах, в которых смешаны письменности. Это распространенный прием в фишинговых доменах и спаме.
Часто задаваемые вопросы
Что инспектор показывает для каждого символа?
Его позицию, сам символ, если он видим, кодовую точку в записи U+, название специальных символов, таких как пробелы и управляющие символы, общую категорию Unicode, например Lu для букв в верхнем регистре или Zs для пробелов, письменность, к которой он относится, его байты в UTF-8 и примечание, если символ скрытый, особый пробел, управляющий символ или похожий на другой.
Какие скрытые символы обнаруживаются?
Пробел нулевой ширины, соединитель и несоединитель нулевой ширины, соединитель слов, мягкий перенос, метка порядка байтов, метки, встраивания, переопределения и изоляторы двунаправленного текста, невидимые математические операторы, заполнители хангыль, селекторы вариаций и теговые символы Unicode, которые могут скрывать текст внутри эмодзи или слова.
Что такое похожий символ?
Это символ из другой письменности или стилизованный символ, похожий на обычную букву, цифру или знак ASCII. Например, кириллическая а вместо латинской a, полноширинная буква, математическая жирная буква или типографское тире и кавычка. В примечании указано, какой обычный символ он имитирует, чтобы вы могли распознать поддельные слова и домены.
Что означает предупреждение о смешении письменностей?
В нем перечислены слова, содержащие буквы из нескольких письменностей, например латиницы и кириллицы в одном слове. В настоящих словах такое встречается редко, поэтому смешение письменностей в доменном имени, имени пользователя или адресе электронной почты — явный признак гомографической атаки.
Почему количество символов и графем подсчитывается отдельно?
Здесь символ — это одна кодовая точка Unicode. Графема — это то, что читатель воспринимает как один знак; она может состоять из нескольких кодовых точек, например буквы с комбинируемым ударением или эмодзи с оттенком кожи и соединителями. Это различие показывает, сколько кодовых точек скрыто за видимым текстом.
Что показывают счетчики UTF-8 и UTF-16?
Байты UTF-8 показывают размер текста в файлах, URL и большинстве баз данных. Кодовые единицы UTF-16 определяют длину строки в JavaScript, Java и Windows, поэтому эмодзи часто считается там за 2. Ограничения в формах и API обычно относятся к одному из этих двух значений.
Что такое NFC и NFKC?
Это формы нормализации Unicode. В тексте NFC используются предварительно составленные символы, если они существуют, поэтому буква с диакритическим знаком занимает одну кодовую точку. NFKC также заменяет символы совместимости, например лигатуры, полноширинные буквы и надстрочные знаки, их обычными вариантами. Инспектор показывает, соответствует ли ваш текст каждой из этих форм.
Можно ли получить текст без скрытых символов?
Да. Структурированный результат содержит текст, из которого удалены все невидимые и управляющие символы, а обычные пробелы, табуляции и переводы строк сохранены. Похожие буквы только отмечаются, но не заменяются, поскольку в другом языке они могут быть правильными.
Какой объём текста можно проверить?
До 5,000 символов за раз. В таблице показаны первые 1,000 символов, а количество символов и предупреждения всегда относятся ко всему тексту.
Почему у некоторых символов нет названия?
Инспектор называет пробелы, управляющие символы, знаки и пунктуацию, которые легко перепутать. Все остальные символы определяются по кодовой точке, категории и письменности — этого достаточно, чтобы найти их в любом справочнике Unicode.