Это вольный перевод <a href="https://cheatsheetseries.owasp.org/cheatsheets/Password_Storage_Cheat_Sheet.html">статьи OWASP</a>.

Очень важно хранить пароли в базе данных, так, что даже если кто-то получил бы к ним доступ, то не смог ими воспользоваться. В большинстве фреймворков и языков программирования инструменты для защиты паролей есть из коробки.

Если все таки, злоумышленник получит доступ к паролям, то он сможет прямым перебором паролей попытаться сопоставить их с хешами. Защититься от этого возможно, только правильно подобрав алгоритм хеширования.&nbsp;&nbsp;

В этой статье подробно рассказано как безопасно хранить пароли. <mark class="cdx-marker">Если лень читать, то вот основные выводы:</mark>

Определяемся с терминами

Разница между хеширование и шифрованием

Что хеширование, что шифрование являются инструментами для защиты данных. Но, практически во всех случаях пароли нужно только хешировать, а не шифровать.

Все потому что хеширование это необратимая процедура (т. е. расхешировать обратно не получится). Даже если злоумышленнику удастся заполучить доступ к хешу, расшифровать его, чтобы узнать пароль у него не получится.

Шифрование же наоборот, обратимая операция. Подходит больше для случаев, когда данные должны использоваться в открытом виде (например, адрес доставки – если бы мы хранили только его хеш, то такая информация была бы бесполезной).

Пароли шифруют только в редких случаях. Например, если пароль нужно будет использовать для аутентификация в друг сервисах, которые не поддерживают более безопасные методы вроде OpenID Connect (OIDC).&nbsp;

Подробнее про шифрование можно почитаться <a href="https://cheatsheetseries.owasp.org/cheatsheets/Cryptographic_Storage_Cheat_Sheet.html">здесь</a>.

Не смотря на то, что хеш нельзя расшифровать, все таки есть способы, которые могут помочь злоумышленнику получить оригинальный пароль.

Это выглядит примерно так:

Все эти шаги обычно использую, но в больших масштабах:

Даже учитывая, что количество таких вычислений может быть огромным, злоумышленнику может ничего не стоить вычислить пароль, если у него есть достаточно хорошее оборудование (например, GPU). Поэтому очень важно использовать лучшие практики для защиты паролей.

Способы хранения пароля

Соль это уникальная, случайно сгенерированная строка, которая добавляется к паролю в процессе хеширования. Так как соль уникальная для каждого пользователя, злоумышленнику придется генерировать хеш заново при каждой сверке пароля. Это достаточно сильно усложняет процесс, потому что количество затраченного времени растет прямо пропорционально количеству паролей.&nbsp;

Соль также защищает от использования предварительного сгенерированных хешей – так называемых радужных таблиц. Так же при использовании соли становится невозможным узнать используют ли пользователи одинаковые пароли.

Некоторые современные алгоритмы хеширование (Argon2id, bcrypt, and PBKDF2) автоматически добавляют соль к паролю, поэтому зачастую никаких дополнительных действий не требуется.

Перец это еще один слой защиты паролей. Позволяет защитить данные в случае, если злоумышленник получил доступ только к базе данных, а не ко всей системе.

Типичным способом поперчить пароль является сначала получение его хеша, а затем хеширование с помощью HMAC или шифрование симметричным ключем. При этом перец не должен храниться вместе с паролями.

Фактор работы это сколько итераций хеширования выполняется для пароля (обычно 2^фактор работы). Нужен, чтобы сделать вычисление хеша более ресурсно-затратным для злоумышленника. Фактор обычно хранится вместе с хешем.

При выборе фактора работа необходимо найти баланс между безопасностью и перфомансом. Чем выше фактор, тем сложнее будет злоумышленнику вычислить его хеш, при этом проверка пароля при аутентификации так же будет занимать время, более того это может использоваться как уязвимость для исчерпания CPU сервера при DDOS атаках. В общем старайтесь делать так, чтобы вычисление хеша занимало менее секунды.

Увеличение фактора работы

Одним из плюсов является, то, что фактор работы можно увеличивать со временем без проблем с обратной совместимостью.

Чаще всего фактор работы увеличивают при аутентификации, т. е. перегенерируют хеш и записывают в базу. При это стоит учитывать, что если пользователь давно не заходил в приложение, то его пароль будет менее защищен, чем остальные. В таком случае имеет смысл сбросить пароль пользователя и потребовать его восстановить при следующем входе.

Алгоритмы хеширования паролей

В настоящее время существует несколько алгоритмов хеширования, которые были разработаны специально для безопасного хранения паролей. То есть они работают достаточно медленно (а не так как MD5 или SHA-1, которые создавались быстрыми), и то насколько они медленные можно изменить через фактор работы.&nbsp;

Если вы используете современный алгоритм хеширования с правильной конфигурацией, то не обязательно скрывать название алгоритма от всех – злоумышленнику это не поможет.

На сегодняшний день существует три основных алгоритма:

Argon2&nbsp;является победителем 2015 года в конкурсе <a href="https://password-hashing.net/">«Password Hashing Competition»</a>. Существуют три версии алгоритма: Argon2i, который защищает от атак по сторонним каналам, Argon2d, устойчивый к GPU атакам и Argon2id объединяющий все вместе.

Взамен указания простого значения фактора работы, Argon2id кофигурируется тремя параметрами: минимальный размер памяти (m), минимальное количество итераций (t) и степень параллелизма (p).

Обе приведенные кофигурации дают хорошую защиту от аттак. Выбор только в том, какие ресурсы вы готовы зайдействовать больше – CPU или RAM.

scrypt&nbsp;– алгоритм хеширования паролей, разработанный&nbsp;<a href="https://twitter.com/cperciva">Колином Персиваль</a>. Хоть&nbsp;Argon2id и является более предпочтительным алгоритмом,&nbsp;scrypt также может быть использован при правильной конфигурации. Например, в Node.js scrypt является частью ситемной библиотеки и может быть использован в сочетании с randomBytes для соли.

Так же как Argon2id, scrypt конфигурируется тремя параметрами: минимальной CPU/memory, стоимостью (N), размером блока (r) и степенью параллелизма (p)

Все описанные конфигурации дают максимальную степень защиты – разница только в использовании CPU и RAM.

bcrypt&nbsp;следует использовать если ни один из предыдущих вариантов недоступен.&nbsp;При этом подбирайте настолько большой фактор работы, насколько позволяют ресурсы сервера, но не меньше 10.

Ограничение на длину пароля

bcrypt принимает на вход максимум 72 байта <a href="https://security.stackexchange.com/questions/39849/does-bcrypt-have-a-maximum-password-length">в большинстве случаев</a>. Это нужно учитывать при выборе длины пароля (72 байте это не длинна строки, некоторые символы, такие как emoji, могут занимать больше 1 байта)

Предварительное хеширование&nbsp;

Описанное выше ограничение можно обойти, если перед передачей пароля в bcrypt, предварительно хешировать его другим быстрым алгоритмом вроде&nbsp;SHA-256 (например,&nbsp;bcrypt(base64(hmac-sha256(data:$password, key:$pepper)), $salt, $cost)). Это популярная, но опасная практика из-за возможного&nbsp;<a href="https://www.youtube.com/watch?v=OQD3qDYMyYQ">«шакинга» пароля</a>&nbsp;и других проблем связанных <a href="https://blog.ircmaxell.com/2015/03/security-issue-combining-bcrypt-with.html">с комбинированием bcrypt с другими алгоритмами хеширования</a>.

PBKDF2&nbsp;алгоритм рекомендован&nbsp;NIST&nbsp;и соответствует FIPS-140. Поэтому его следует использовать в случаях, когда это обязанность по закону. Возможно в других юрисдикциях существует похожие требования относительно других алгоритмов и их тоже придется соблюдать.

PBKDF2 предоставляет выбор внутреннего алгоритма хеширования. HMAC-SHA-256 имеет хорошую поддержку и рекомендован NIST

Фактор работы PBKDF2 определяется количеством итераций.

Приведенные параметры гарантируют одинаковую степень защиты.

Если PBKDF2 используется одним из HMAC алгоритмов, и длина пароля больше размера блока (64 байта для SHA-256), пароль будет автоматически дополнительно предхеширован. Например, пароль "This is a password longer than 512 bits which is the block size of SHA-256" будет конвертирован в такой хеш fa91498c139805af73f7ba275cca071e78d78675027000c99a9925e2ec92eedd. В хороших реализациях&nbsp;PBKDF2, этап предхеширования будет исполнен до начала исполнения основного алгоритма. Но в некоторых реализациях, такое предхеширование происходит на каждой итерации, что приводит к значительному увеличению времени хеширования при использовании длинных паролей, например, как было в <a href="https://www.djangoproject.com/weblog/2013/sep/15/security/">Django</a>&nbsp;в 2013. В таком случает лучше делать ручное предварительное хеширование с солью.

Обновление легаси хешей

В старых приложениях могут использоваться менее защищенные алгоритмы хеширования вроде MD5 или SHA-1, поэтому их важно заменить на более современные и защищенные способы хеширования. 

В таком случае можно обновить хеш при следующей аутентификации пользователя. Или обязать пользователя сменить пароль. Но это значит, что до тех пор пока хеш не будет обновлен, старый хеш будет храниться в базе и представлять угрозу для безопасности.

Для этой проблемы есть два решений. Первое, это сбросить пароли всех неактивных пользователей. Но такой подход может поставить пользователей в неудобное положение или вообще заставить думать, что у вас есть какие-то проблемы в системе.

Альтернативным подходом может быть перехеширование всех хешей с новым алгоритмом. Например было&nbsp;md5($password), а стало bcrypt(md5($password)). Недостатки такого подхода уже описывались выше. 

Чтобы как-то нивелировать недостатки описанных проблем, вы можете комбинировать добавление дополнительного уровня хеширования с просьбой сменить пароль при следующем логине.

Но даже обновив алгоритм хеширования сейчас, будьте готовы перейти на новый алгоритм снова через какое-то время, потому что технологии не стоят на месте.&nbsp;

Международные символы

Также советуем убедиться в том, что выбранный алгоритм хорошо работает с большим количеством символов и совместим с Unicode. Пользователи не должны быть ограничены в выборе символов, которые они могут использовать для своих паролей. Также учитывайте, то что в пароле может содержаться NULL байт.

Гайд по хешированию паролей

Вчера я наконец-то понял как работает алгоритм распознавания линий дорожной разметки на фотографиях сделанных с автомобиля. Ну... Как минимум я понял как работает код, который я использовал.

Ниже вы можете увидеть блок этого кода. Я скопировал основную функцию, которая называется <code class="inline-code">draw_lane_lines</code>. В качестве аргумента этой функции передается изображение, далее с ним проводятся манипуляции и возвращается новое черно-белое изображение с выделенными линиями дорожной разметки.

Комментарии показывают основные этапы работы приведенного алгоритма. Всего фотография проходит 7 стадий обработки.

Мы же рассмотрим первые пять этапов. Последние два отвечают за подготовку фотографии к выводу и особой роли не играют.

Изображение представляет собой набор пикселей, расположенных в определенной последовательности. В нашем случае это набор размером 960x540 пикселей.

Каждый пиксель представляет собой определенную комбинацию красного, зеленого и синего, и может быть представлен тремя числами, соответствующими каждому из цветов (RGB) и отражающими их интенсивность. Эти числа не могут быть меньше 0 и больше 255, где 0 это наименьшая интенсивность, а 255 - наибольшая.

Например, белый пиксель можно представить как (255, 255, 255), а черный (0, 0, 0).

Наше изображение состоит из 960x540=518,400 таких RGB-чисел.

Теперь, когда мы разобрались, что изображение это последовательность чисел, мы можем начать работать с изображением используя математику.

1. Обесцвечиваем изображение

Работая с цветными изображениями нам приходится работать с группой из 3 чисел. Согласитесь, что было бы намного проще оперировать только одним числом. К счастью, в черно-белых изображениях каждый пиксель можно представить как одно число в диапазоне от 0 до 255, где 0 - это черный цвет, а 255 - белый.

Поэтому давайте преобразуем нашу фотографию в черно-белое изображение. Изначально я думал, что это можно сделать путем сложения красного, синего и зеленого и получения среднего арифметического.

Например, при таком подходе, цвет неба:

Который может быть предстsxxaxавлен как (120, 172, 209) в формате RGB.

В черно белом изображении будет (120 + 172 + 209)/3 = 167

Но, оказалось, что функция которую я использовал в коде генерирует немного другой серый цвет, числовое представление которого равно 164.

На самом деле, мой способ с вычислением среднего арифметического также верен. Но принято использовать взвешенное арифметическое, которое позволяет определить тот цвет, который лучше воспринимается нашим глазом. Наши глаза имеют больше "зеленых" рецепторов чем красных или синих, поэтому значение зеленного должно быть весомее.

Метод из кода использует такую формулу:&nbsp;0.2126 Красного + 0.7152 Зеленого + 0.0722 Синего.

И после преобразования мы получаем следующее...

Следующим шагом будет добавление размытия на изображение с помощью фильтра Гаусса.

Небольшое размытие уберет шум с фотографии, и сделает блоки пикселей более гладкими, что упростит их анализ.

Обычно, чтобы добавить размытие вам нужно сделать следующее:

1.&nbsp;&nbsp;&nbsp;&nbsp;Выбрать пиксель на фото и определить его значение

2.&nbsp;&nbsp;Определить значения всех соседних пикслей

3.&nbsp;&nbsp;&nbsp;Берем значение нашего пикселя и соседних пикселей и вычисляем среднее арифмитическое

4.&nbsp;&nbsp;Заменяем текщий пиксель на полученное значение

5.&nbsp;&nbsp;&nbsp;Делаем то же самое с остальными пикселями

Иными словами мы просто делаем каждый пиксель более похожим на другие пиксели.

В фильтре Гаусса используется Гауссовское распределение (Нормальное распределение). Его суть в том, что каждый пиксель имеет свой вес: чем ближе соседний пиксель к текущему пикселю, тем больше его вес. 

Теперь, когда мы имеем преобразованное черно-белое изображение, нужно найти его границы.

Граница это область на изображении где есть резкий скачок в значении.

Например на серой дороге есть белая пунктирная линия (дорожная разметка). Серая дорога имеет значение близкое к 126, а белая линия 255, и между ними нет никакого последовательного перехода. Это и есть граница.

Алгоритм Кэнни очень прост:

Для примера возьмем 3 последовательно расположенных пикселя. Средний будет текущим пикселем, с которым идет работа, а левый и правый это пиксели для определения разницы. Мы не используем группу пикселей для простоты примера. Пусть их значения будут такими: (левый пиксель, выбранный пиксель, правый пиксель) = (133, 134, 155). Далее мы вычисляем разницу между правым и левым пикселем, 155-133=22, и задаём полученное значение среднему пикселю.

Если текущий пиксель это граница, то разница между боковыми пикселями будет близка к 255 и поэтому на изображении будет показана белым цветом. Если выбранный пиксель не является границей, то разница будет близка к 0.

Как вы могли заметить, что мы определили границы только для горизонтальной последовательности. Тоже самое нужно сделать и для вертикальной последовательности.

Кстати, эта разница называется градиентом, и мы можем вычислить общий градиент используя Теорему Пифагора. Формула выглядит так: общий градиент²=вертикальный градиент²+горизонтальный градиент² .

Так, например, если вертикальный градиент = 22 и горизональный = 143, то общий градиент = sqrt(22²+143²) = ~145.

На выходе получаем такое изображение...

С помощью Алгоритма Кэнни мы завершили еще один этап обработки.

Но Алгоритм Кэнии также определяет не только все границы, но и выбирает из них самые важные.

Для этого нужно задать рамки: максимальное и минимальное значение градиента. Представим, что максимальное значение равно 200, а минимальное 150.

Любой общий градиент, значение которого больше максимально допустимого считается границей и поэтому цвет пикселя заменяется на белый (255). Любой градиент, значение которого меньше минимально допустимого границей не считается и поэтому цвет этого пикселя заменяется на черный (0).

Пиксель, градиент которого находится между 150 и 200, будет считаться границей только если он непосредственно граничит с другой границей.

Иначе говоря если слабая граница граничит с сильной границей, то это вероятнее всего одна граница.

После выполнения всех этих процессов мы получаем что-то вроде этого...

Этот шаг очень простой: по заданной маске убираем все части изображения, которые не линии.

На этом этапе мы будем использовать Преобразование Хафа чтобы найти математическое представление дорожных линий.

Честно говоря, алгоритм используемый в Представлении Хафа немного сложнее того, что мы рассматривали на предыдущих этапах.

Концепция выглядит так:

Алгоритм преобразования Хафа использует массив, называемый&nbsp;аккумулятором, для определения присутствия прямой&nbsp;y = mx + b. Размерность аккумулятора равна количеству неизвестных параметров пространства Хафа. Для каждой точки и её соседей алгоритм определяет, достаточен ли&nbsp;вес&nbsp;границы в этой точке. Если да, то алгоритм вычисляет параметры прямой и увеличивает значение в ячейке аккумулятора, соответствующей данным параметрам.

Потом, найдя ячейки аккумулятора с максимальными значениями, обычно поиском локального максимума в пространстве аккумулятора, могут быть определены наиболее подходящие прямые. Однако в разных ситуациях разные методы могут давать разные результаты. Так как полученные прямые не содержат информацию о длине, следующим шагом является нахождение частей изображения, соответствующих найденным прямым.

В итоге получается такая минималистичная картина:

Мы закончили разбирать алгоритм обработки изображения.

В итоге функция возвращает изображение, полученное на этапе 2 совмещенное с линиями найденными на этапе 5:

Гайд по хешированию паролей

M2M Day 185: Моя попытка объяснить как работает один из алгоритмов самоуправляемого автомобиля