Как устроено видео?
Начинаем цикл статей о видео, в котором наш СЕО Николай просто и понятно объясняет, что такое цифровое видео и как оно устроено.
Аналоговое и цифровое видео
Видео может быть аналоговым и цифровым.
Вся информация из реального мира вокруг нас — аналоговая. Волны в океане, звуки, облака, плывущие по небу. Это непрерывный поток данных, который не разбит на части и может быть изображён в виде волн. Люди воспринимают именно такую аналоговую информацию из окружающего мира.
Старые видеокамеры, записывавшие на магнитные кассеты, использовали аналоговый способ хранения информации. Бобинные магнитофоны и кассеты работали по тому же принципу: магнитная лента проходила через магнитные головки устройства, что позволяло воспроизводить звук и видео. Виниловые пластинки — тоже аналоговые носители.
Воспроизводились такие записи строго в том порядке, в котором они были записаны. Дальнейшее редактирование стало сильно затруднено, как и передача таких записей в интернете.
С повсеместным распространением компьютеров практически всё видео хранится в цифровом формате — в виде нулей и единиц. Когда вы снимаете видео на телефон, оно преобразуется из аналогового сигнала в цифровой и сохраняется в памяти устройства. При воспроизведении происходит обратное преобразование — из цифрового сигнала в аналоговый. Благодаря этому видео можно передавать по сети, хранить на жёстком диске, редактировать и сжимать.
Из чего состоит цифровое видео
Видео состоит из последовательности картинок или кадров, которые быстро сменяют друг друга и создают ощущение движения на экране.
Пример того, как делают видео.
Частота кадров (framerate)
Кадры на экране сменяются с определённой скоростью. Количество таких смен в секунду называют частотой кадров или фреймрейтом. Отсюда и появился знакомый геймерам термин FPS. Стандарт для телевидения — 24 кадра в секунду, а в кинотеатрах IMAX — 50 кадров в секунду.
Чем выше количество кадров в секунду, тем больше деталей видно при быстром движении объектов на видео.
Разница между 15, 30 и 60 кадрами в секунду.
Пиксель (pixel)
Все дисплеи на телевизорах, планшетах, телефонах и других устройствах состоят из маленьких светящихся элементов — пикселей. Допустим, каждый пиксель может отображать один цвет (на практике разные производители реализуют это по-разному).
Для того, чтобы отобразить изображение на дисплее, каждый пиксель на экране должен светиться определённым цветом.
Благодаря устройству экранов, в цифровом видео каждый кадр состоит из цветных точек — пикселей.
Количество таких точек по горизонтали и вертикали называют разрешением изображения. Записывают разрешение в формате 1024×768. Первая цифра — количество пикселей по горизонтали, вторая — по вертикали.
Разрешение всех кадров в видео одинаковое — это и называется разрешением видео.
Давайте рассмотрим один пиксель подробнее. На экране он выглядит как светящаяся точка определённого цвета, а в видеофайле хранится в виде цифровых данных — чисел. По этим числам устройство понимает, каким цветом должен загореться пиксель на экране.
Цветовые пространства
Существуют разные способы представления цвета точки в цифровом формате, и эти способы называются цветовыми пространствами или color spaces.
Цветовое пространство устроено так, что любой цвет можно представить точкой с определёнными координатами в этом пространстве.
К примеру, цветовое пространство RGB (Red Green Blue) — это трёхмерное пространство, в котором каждый цвет задаётся тремя координатами: одна отвечает за красный, другая — за зелёный, третья — за синий.
Любой цвет в этом пространстве задаётся комбинацией красного, зелёного и синего цветов.
Вот пример изображения, разбитого на составляющие цвета по каналам RGB:
Существует множество цветовых пространств, и они различаются количеством цветов, которые можно в них закодировать, и объёмом памяти, необходимым для хранения данных о цвете одного пикселя.
Самые популярные цветовые пространства — это RGB (используется в компьютерной графике), YCbCr (используется в видео) и CMYK (используется в полиграфии)
CMYK работает примерно так же, как RGB, только базовых цветов уже четыре: голубой, пурпурный, жёлтый и чёрный (Cyan, Magenta, Yellow, Key или Black).
RGB и CMYK пространства не очень эффективны, так как хранят избыточную информацию.
Для видео используется более эффективное цветовое пространство, учитывающее особенности человеческого зрения.
Органы зрения человека хуже различают цвета, чем яркость предметов.
В левой части изображения цвета квадратов A и B на самом деле одинаковы. Нам кажется, что они разные. Мозг заставляет нас больше обращать внимание на яркость, чем на цвет. С правой стороны между обозначенными квадратами есть перемычка того же цвета — поэтому мы (то есть наш мозг) легко понимаем, что там действительно один и тот же цвет.
Используя эту особенность зрения, можно разделить изображение на яркость и цвет. При сжатии можно убрать половину или даже четверть цветовой информации (например, оставить яркость с высоким разрешением, а цвет — с низким). Человек разницы не заметит, а объём данных сильно сократится.
О том, как именно работает сжатие цвета, поговорим в следующей статье).
Наиболее известным пространством, которое работает таким образом, является YCbCr и его варианты: YUV и YIQ.
Вот пример изображения, разложенного на составляющие в YCbCr. Где Y' — компонента яркости, а CB и CR — синие и красные цветоразностные компоненты.
Именно YCbCr используется при кодировании цветов в видео. Во-первых, это цветовое пространство позволяет эффективно сжимать цветовую информацию, а во-вторых, оно отлично подходит для чёрно-белых видео — например, с камер видеонаблюдения, — потому что данные о цвете (CB и CR) можно просто игнорировать.
Глубина цвета (Bit Depth)
Глубина цвета показывает, сколько бит памяти выделяется на один пиксель — чем больше бит, тем больше цветов можно закодировать и тем больше места занимает каждый пиксель. Чем больше цветов, тем лучше качество изображения.
Долгое время для видео стандартной глубиной цвета была 8 бит (Standard Dynamic Range или SDR видео). Сейчас всё чаще применяют 10 или 12 бит (High Dynamic Range или HDR видео).
При этом важно помнить, что в разных цветовых пространствах при одинаковом количестве бит на пиксель можно закодировать разное число цветов.
Битрейт (bitrate)
Битрейт — это количество бит, которое занимает одна секунда видео в памяти. Чтобы рассчитать битрейт несжатого видео, нужно умножить количество пикселей в кадре на глубину цвета и на частоту кадров в секунду:
1024 пикселей × 768 пикселей × 10 бит × 24 кадра в секунду = 188743680 бит в секунду
Это 23592960 байт, 23040 мегабайт или 22,5 гигабайта в секунду
Т. е. видео продолжительностью 5 минут займёт в памяти 6750 гигабайт или 6,59 терабайт.
Это подводит нас к тому, зачем нужны и почему появились способы сжатия видео. Без сжатия такие объёмы данных невозможно хранить и передавать по сети. Ролики на YouTube загружались бы очень долго.
