Dark-файлы и Unity ISO
Считается, что использование калибровочных dark-файлов, позволяет убрать темновой шум матрицы. При этом многие любители астрономии (ЛА), отмечают бесполезность использования дарков, которая может даже ухудшить итоговое изображение после сложения. Почему так происходит?
Темновой шум зависит в первую очередь от температуры матрицы. Но при этом присутствует постоянная составляющая на всех дарк-файлах одного ISO. Когда делается master-dark, то это собственно и есть получение постоянной составляющей темнового шума путём исключения хаотичного.
На практике всё немного сложней. Рассматривая дарки на низких ISO (100..400), я заметил «полосность» шума (везде фотоаппарат Nikon D5100 и выдержка по 30 секунд). Вот примерно так это выглядит (после дебайеризации и усиления гаммы, чтобы увидеть структуру шума — в реальности всё не так страшно :-) ).
Подобный структурный шум присутствует на всех дарках при любом ISO. Это говорит о том, что таковы физические особенности матрицы, зависящие от её производства.
Теоретически, при сложении такой dark должен быть вычтен из light-снимка, тем самым на выходе должно получиться ровное и красивое изображение. На практике же, на light-снимке вносится ещё один шум — фон неба. Если небо очень тёмное, то возникает ситуация, когда шум матрицы превосходит фон неба и, как следствие темновой шум проявляется на light-снимке.
На этом снимке (область Триплета Льва, ISO 100, 30 sec., дебайеризация и усиления гаммы), хорошо видна «полосность» фона, совпадающая по структуре с dark-файлом.
Вывод здесь довольно простой. Либо это очень тёмное небо (в реальности это «серая» зона), либо очень шумная матрица. В любом случае полосность вряд ли будет желательна, поскольку есть вероятность, что дарками (и офсетами) её убрать полностью не получится.
К сожалению у нас нет точных данных об устройстве матриц, а также нет информации о том, как работает усиление, регулируемое через ISO. Поэтому мы можем лишь предположить, что увеличивая ISO, происходит аналоговое усиление сигнала. Происходит ли при этом и усиление темнового шума? А если и происходит, то в той же мере, что и полезного сигнала?
В любом случае это лишь гадание, но можно проверить по реальным снимкам «полосность» шума в зависимости от ISO. При увеличении ISO полосность (то есть влияние темнового шума) должно падать за счет увеличения яркости фона неба.
Я сделал тестовые снимки с разными низкими ISO. Чтобы лучше увидеть полосность, масштаб 50%. Это сырые raw-файлы.
Ещё большая разница видна сравнивая ISO 100 и 320.
Численно определить ISO, при котором полосность не видна, можно с помощью Fitswork'а. Нужно открыть dark для ISO 100. На таком ISO будет самый малый уровень шума (лучшее значение Std. Deviation — чем меньше, тем лучше) для этого фотоаппарата. Нужно выделить участок и снять статистику по выделению.
В данном случает максимум равен 12.
Я специально выделил яркие пиксели, если без их выделения, то получится 3..5 по разным областям. Здесь мы ориентируемся на максимум, поскольку именно он указывает на предельное значение шума. Если смотреть статистику по всему снимку, то максимум может быть гораздо больше. Это скорее всего битые пиксели. Чтобы их отсечь, мы и выделяем достаточно большую область. То есть теперь мы знаем, что для этого фотоаппарата тепловой шум будет где-то около 12. Всё, что ниже — это паразитные шумы.
Теперь открываем light-файл для того же ISO. Выделяем область без звёзд и получаем статистику.
Берём значение mean (среднее). Максимум и минимум здесь бесполезны, поскольку они могут указывать на битые пиксели или звёзды. Среднее значение указывает на уровень фона неба (или матрицы). Это примерно тоже самое, если залить данный участок одним значением. Число 5 указывает на то, что шум матрицы (в нашем случае 12) выше фона неба.
Снимая подобным образом статистику с light-снимков (с разными ISO) получаем mean (мой вариант):
- ISO 100 — 5
- ISO 160 — 8
- ISO 200 — 10
- ISO 250 — 13
- ISO 320 — 17
- ISO 400 — 22
Получается, что «пограничная зона» примерно соответствует ISO 250..320, что согласуется с визуальным сравнением снимков выше. Это же значение соответствует т.н. Unity ISO (т.н. единичному усилению) DxOMark Derived Sensor Characteristics для данного фотоаппарата (ISO 265).
Необходимое пояснение.
Термин «Unity ISO» — довольно спорный и изначально базируется на предположении, что аналоговый усилитель матрицы может не только усиливать сигнал, но и его уменьшать. При коэффициенте усиления равным единице и говорят об «нативном ISO». На сегодняшний день нет доказательств, что аналоговый усилитель фотоаппаратов имеет дробный коэффициент, уменьшающий сигнал (хотя такие матрицы существуют). Если рассматривать матрицу и влияние ISO, то её светочувствительность не меняется на всём диапазоне ISO (ISO invariant). Таким образом уже на ISO 100 получится ровно то, что и на ISO 3200. Если бы это было не так, то увеличивая ISO, можно было бы регистрировать больше звёзд. Чего не происходит.
По этой причине понятие «Unity ISO» используется немного в другом ключе. Темновой шум матрицы вообще не зависит от ISO — он определяется физическими характеристиками фотодиодов и электронной «обвязкой». Увеличение ISO не приводит к увеличению шума, а только к его усилению в аналоговом усилителе. Алгоритм усиления, а также последующая обработка в АЦП нам не известна. Поэтому нужно ориентироваться на уровень шума по отношению к полезному сигналу и при этом добиваться максимально возможного динамического диапазона изображения.
Это примерно соответствует графику изменения отношения mean/max. (Собственноручно построенный на основе снятых показаний dark'ов: по горизонтали — ISO, по вертикали условные «попугаи», приведенные к 100%-шкале для удобства.)
Здесь видно (коричневая линия), что график «спрямляется» в районе ISO 250..320. Дальнейшее увеличение приводит к уменьшению динамического диапазона, а уменьшение — к ослаблению полезного сигнала, а значит к увеличению шума (SNR).
Однако следует учитывать тот факт, что при ярком небе, его фон окажется выше шума матрицы и тем самым будет превышать темновой шум даже на самом малом ISO. Вот пример статистики для фона неба при Луне первой четверти при ISO 250.
Значение mean равно 50. Сравним с 13 при отстутствии Луны. В данном случае можно было бы немного уменьшить ISO и получить больший динамический диапазон.
Таким образом ISO можно выставлять выше минимального, ориентируясь на значение «Unity ISO». При этом шум матрицы оказывается ниже фона неба. В таких случаях вычитание dark-файлов уже не оказывает существенного влияния (показатель шума) на итоговое изображение.
Dark-файл может быть создан как после астросессии, так и сразу после каждого кадра. Также существует возможность настроить фотоаппарат так, чтобы он самостоятельно создавал dark-файл и автоматически применял его к каждому изображения — функция подавления шума на длинных экспозициях. Этот вопрос я изучаю в статье Так ли нужны dark'и?.