черная дыра
Feb. 29th, 2020 11:46 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
sab123В ИЕЕЕшном журнале нпечатали статью про картинку черной дыры. Особенно Денису, который интересовался вопросами калибрации, наверное будет интересное чтение:
http://spectrum.ieee.org/blackhole-feb2020
Ну, и перескажу вкратце:
Во-первых, что бы там ни писали в fake news, это картинка не черной дыры, а ТЕНИ от черной дыры на фоне свечения позади нее. Но дыра эта посреди галактики, как так получается, что картинка не заслоняется телом галактики и прочим межзвездным газом? Для этого они выбрали для наблюдения длину волны, на которую все это хозяйство слабо влияет.
Для имитации очень большого телескопа они взяли несколько телескопов на поверхности Земли, получив в результате подобие телескопа размером с Землю. Но поскольку площадь собственно телескопов очень мелкая по сравнению с площадью сечения Земли, сигнал получается очень слабый. Его надо отфильтровывать от шума. Отфильтровали. Теперь чтобы получить единую картину, надо с большой точностью синхронизировать время наблюдения. Поставили высокоточные часы и синхронизировали их по GPS. Но это еще не все: на распространение этих волн влияет атмосфера Земли. Как ее толщина так и параметры - плотность и концентрация водяного пара. Поэтому параллельно наблюдениям поставили измерители состояния атмосферы и скорректировали данные на эти измерения. В статье про это подробно не говорится, но я про такое читал: наблюдают некий известный стабильный объект неподалеку и смотрят как меняется изображение.
Но тут еще пока ничего особо необычного нет. Теперь начинается самое интересное. После всех этих усилий телескоп размером в Землю дает изображение размером в 8 пикселей поперек (вот это световое пятно на картинке - это изначально 8 пикселей впоперек, а чернота вокруг - это то, что не попало в объектив). То есть даже не квадрат 8x8, а круг диаметром 8 пикселей. Хочется получить изображение с более высоким разрешением. Как? Земля у нас вращается и движется в пространстве. Поэтому если сделать не один снимок а много подряд, границы пикселей на этих снимках будут смещаться. Из разницы между снимками можно вытащить суб-пиксельную информацию и повысить разрешение, типа как из записи видеокамеры наблюдения вытащить номер машины с высоким разрешением.
Теперь специально для Дениса, в чем заключалась калибрация: для тестирования алгоритмов, они брали изображение известного объекта и имитировали движение по нему 8-пиксельной камеры. После чего на результат напускался алгоритм и смотрели, получится ли что-нибудь похожее на изначальный объект в высоком разрешении. Получилось. Я так понимаю, что аналогичные наборы использовались для тренировки. Алгоритмов использовали несколько.
В итоге они взяли изображения, полученные тремя алгоритмами (они получились похожие) и усреднили.
http://spectrum.ieee.org/blackhole-feb2020
Ну, и перескажу вкратце:
Во-первых, что бы там ни писали в fake news, это картинка не черной дыры, а ТЕНИ от черной дыры на фоне свечения позади нее. Но дыра эта посреди галактики, как так получается, что картинка не заслоняется телом галактики и прочим межзвездным газом? Для этого они выбрали для наблюдения длину волны, на которую все это хозяйство слабо влияет.
Для имитации очень большого телескопа они взяли несколько телескопов на поверхности Земли, получив в результате подобие телескопа размером с Землю. Но поскольку площадь собственно телескопов очень мелкая по сравнению с площадью сечения Земли, сигнал получается очень слабый. Его надо отфильтровывать от шума. Отфильтровали. Теперь чтобы получить единую картину, надо с большой точностью синхронизировать время наблюдения. Поставили высокоточные часы и синхронизировали их по GPS. Но это еще не все: на распространение этих волн влияет атмосфера Земли. Как ее толщина так и параметры - плотность и концентрация водяного пара. Поэтому параллельно наблюдениям поставили измерители состояния атмосферы и скорректировали данные на эти измерения. В статье про это подробно не говорится, но я про такое читал: наблюдают некий известный стабильный объект неподалеку и смотрят как меняется изображение.
Но тут еще пока ничего особо необычного нет. Теперь начинается самое интересное. После всех этих усилий телескоп размером в Землю дает изображение размером в 8 пикселей поперек (вот это световое пятно на картинке - это изначально 8 пикселей впоперек, а чернота вокруг - это то, что не попало в объектив). То есть даже не квадрат 8x8, а круг диаметром 8 пикселей. Хочется получить изображение с более высоким разрешением. Как? Земля у нас вращается и движется в пространстве. Поэтому если сделать не один снимок а много подряд, границы пикселей на этих снимках будут смещаться. Из разницы между снимками можно вытащить суб-пиксельную информацию и повысить разрешение, типа как из записи видеокамеры наблюдения вытащить номер машины с высоким разрешением.
Теперь специально для Дениса, в чем заключалась калибрация: для тестирования алгоритмов, они брали изображение известного объекта и имитировали движение по нему 8-пиксельной камеры. После чего на результат напускался алгоритм и смотрели, получится ли что-нибудь похожее на изначальный объект в высоком разрешении. Получилось. Я так понимаю, что аналогичные наборы использовались для тренировки. Алгоритмов использовали несколько.
В итоге они взяли изображения, полученные тремя алгоритмами (они получились похожие) и усреднили.
no subject
Date: 2020-03-01 09:55 am (UTC)Они массировали белый шум до тех пор, пока им не удалось подогнать этот шум под ожидаемое изображение.
https://dennisgorelik.dreamwidth.org/170455.html
no subject
Date: 2020-03-16 05:24 am (UTC)На 19:37 она рассказывает, что при попарном "сложении" (т.е. на самом деле умножении) ошибка, вызанная разницей усиления (gain) в разных телескопах, почти что взаимоуничтожается.
На 37:22 она показывает аналогичность результата, полученного при использовании одних и тех же параметров для анализа синтетического "полумесяца" и реального изображения. Более того, дальше она рассказывает, что если взять параметры, откалиброванные на круге и использовать их для анализа реального изображения, то получается все равно "полумесяц". Это полная противоположность подгонки под желаемое - когда берут параметры, подогнанные под другое изображение, но на реальных данных с ними все равно получают примерно тот же результат, что и с правильно подогнанными параметрами.
no subject
Date: 2020-03-19 12:24 am (UTC)Каким образом из возможности уменьшения ошибки - следует, что, якобы "you do not need any calibration whatsoever"?
> если взять параметры, откалиброванные на круге и использовать их для анализа реального изображения, то получается все равно "полумесяц".
Где именно она сказала про "полумесяц"?
~~~~~
https://youtu.be/UGL_OL3OrCE?t=2275
Even this data was amazing that you could even get a ring, ...
~~~~~
no subject
Date: 2020-03-19 07:51 pm (UTC)Если ошибка взаимоуничтожается, потребности в ее калибрации нет.
> Где именно она сказала про "полумесяц"?
"Crescent". Она называет это неравномерное кольцо crescent.
no subject
Date: 2020-03-19 11:44 pm (UTC)С какой бы стати ошибка взаимоуничтожалась?
Ошибка может быть уменьшена, но не уничтожена.
> "Crescent". Она называет это неравномерное кольцо crescent.
В какой части видео она сказала "crescent"?
no subject
Date: 2020-03-20 12:11 am (UTC)Это не ко мне, я всех подробностей не понимаю. Там написаны уравнения, почитай. Насколько я понимаю, там телескопы рассматриваются в группах, а не отдельно. Каждый телескоп участвует по разу в нескольких группах, и суммарно в каждой группе получается одинаковое произведение ошибок. То есть, это даже не ошибки, а разные коэффициенты ослабления сигнала в атмосфере над разными телескопами. Как-то так.
Это какой-то упрощенный режим, дающий приблизительную картинку. Суть его - в том, чтобы сравнить точный режим с приблизительным и убедиться, что изображение примерно похоже. Что говорит о том, что калибрация в точном режиме близка к реальности. Приблизительный режим не требует калибрации (благодаря взаимоуничтожению при рассмотрении телескопов в группах), но поскольку в нем каждый телескоп не рассматривается сам по себе, в-остальном точность получается ниже.
> В какой части видео она сказала "crescent"?
В многих, начиная с калибрации алгоритма на тестовых заданиях.
no subject
Date: 2020-03-20 12:27 am (UTC)Какой смысл читать уравнения, если модель, на которую эти уравнения опираются - не верна?
> суммарно в каждой группе получается одинаковое произведение ошибок
Почему это произведение ошибок будет одинаковым?
> разные коэффициенты ослабления сигнала в атмосфере над разными телескопами
И что из этого следует?
> сравнить точный режим с приблизительным и убедиться, что изображение примерно похоже. Что говорит о том, что калибрация в точном режиме близка к реальности.
Что такое "калибрация в точном режиме"?
Чем она отличается от просто "калибрации"?
Что означает "калибрация близка к реальности"?
Бывает ли калибрация, которая не близка к реальности?
no subject
Date: 2020-03-20 01:05 am (UTC)С чего ты взял, что она не верна? Это сильное и голословное утверждение с твоей стороны.
> Почему это произведение ошибок будет одинаковым?
>
> > разные коэффициенты ослабления сигнала в атмосфере над разными телескопами
>
> И что из этого следует?
Из этого следует ответ на твой вопрос строчкой выше. Это не случайная ошибка, и собственно вообще не ошибка как таковая. Это консистентное различие силы сигнала, принимаемого разными телескопами. А произведение будет одинаковым по закону ассоциативности:
a * (b*c) = (a*b) * c = (a*c) * b
> Что такое "калибрация в точном режиме"?
> Чем она отличается от просто "калибрации"?
В другом режиме вычислений калибрация вообще не требуется. Ты возмущался тем, почему она не требуется, я тебе разжевал, почему. Это не тот режим, который использовали для получения окончательной картинки. В нем получается более низкое разрешение. Его использовали для проверки режима высокого разрешения (который я выше назвал "точным режимом"), который требует калибрации: убедились, что картинка высокого разрешения, которая требует калибрации, соответствует картинке низкого разрешения, которая калибрации не требует.
> Что означает "калибрация близка к реальности"?
> Бывает ли калибрация, которая не близка к реальности?
Очевидным образом, да, если измерить значения калибрации неправильно.
Собственно, почти вся лекция посвящена не рассказу о том, как они посчитали окончательную картинку (это небольшая часть), а рассказу о тестировании, том, как они использовали несколько альтернативных способов расчета, с проверкой на нескольких этапах, и все они сошлись к одинаковой картинке. Она долго и упорно рассказывает разные варианты "а еще мы предположили, что может быть ошибка в вот таком месте и попробовали посчитать другим способом, который пусть более грубый, но позволит легко заметить этот конкретный вид ошибки, но нет, результаты и таким образом тоже сошлись и ошибки не обнаружилось". Если ты этого не понял, это говорит только о том, что ты в этой лекции вообще ничего не понял и не можешь задавать осмысленные вопросы.
no subject
Date: 2020-03-20 02:43 am (UTC)Потому что измерения без калибровки - не работают.
> Это сильное и голословное утверждение с твоей стороны.
"Сильное" - да (учитывая массовое помешательство сказками от симпатичной девахи-астронома).
"Голословное" - нет.
> a * (b*c) = (a*b) * c = (a*c) * b
С чего бы у разных телескопов были одинаковые значения {a, b, c}?
Они же смотрят через воздух в разных местах.
> я тебе разжевал
Ты разжевал только то, что ты сам неправильно понимаешь, о чем ты пишешь.
В частности, ты не понимаешь, что такое калибровка (calibration).
> картинке низкого разрешения, которая калибрации не требует
С какой это стати картинка низкого разрешения не требует калибровки?
> измерить значения калибрации неправильно
Что такое "значения калибрации"?
Есть "значения измеряемой величины". Ты это имел ввиду?
no subject
Date: 2020-03-20 04:19 pm (UTC)(1) Это безосновательное утверждение.
(2) Они провели калибровку в окончательном результате.
> "Голословное" - нет.
Чтобы оно не было голословным, ты должен разумно объяснить причину. Я этого объяснения не видел. Более того, я не думаю, что ты понимаешь в деталях их процедуру формирования картинки. Я вот лично не понимаю, понимаю только на уровне общих слов, а судя по твоим расскзам, ты явно и того не понимаешь, ты даже путаешь собственно вычисление результата и его тестирование. Поэтому ты вряд ли можешь быть в состоянии обяснить причину.
> С чего бы у разных телескопов были одинаковые значения {a, b, c}?
a - значение для одного телескопа, b - для другого, c - для третьего
> В частности, ты не понимаешь, что такое калибровка (calibration).
Ну так изложи свое понимание. Насколько я понял из твоих предыдущих рассказов, ты этого напрочь не понимаешь.
> С какой это стати картинка низкого разрешения не требует калибровки?
С такой, что при ее вычислении факторы калибровки взаимоуничтожаются. Тебе это повторили уже как минимум три раза и ты все еще не понял.
> Что такое "значения калибрации"?
> Есть "значения измеряемой величины". Ты это имел ввиду?
Нет. Я имел в виду те a,b, c, что вверху. Если хочешь, называй их факторами калибровки. Ослабление сигнала в каждом индивидуальном телескопе.
no subject
Date: 2020-03-20 05:46 pm (UTC)~~~~~~~~~~
https://ru.wikipedia.org/wiki/Калибровка
Калибровка измерительных приборов — установление зависимости между показаниями средства измерительной техники (прибора) и размером измеряемой (входной) величины. Под калибровкой часто понимают процесс подстройки показаний выходной величины или индикации измерительного инструмента до достижения согласования между эталонной величиной на входе и результатом на выходе
~~~~~~~~~~
>> С какой это стати картинка низкого разрешения не требует калибровки?
> С такой, что при ее вычислении факторы калибровки взаимоуничтожаются.
С какой стати при вычислении картинки низкого разрешения факторы калибровки взаимоуничтожаются?
> факторами калибровки. Ослабление сигнала в каждом индивидуальном телескопе.
Калибровка - не ослабляет сигнал. Калибровка [точнее второй шаг калибровки] изменяет значение измеренной выходной величины.
no subject
Date: 2020-03-22 12:10 am (UTC)Калибровка
Date: 2020-03-22 01:05 am (UTC)> Я тебе уже рассказал как миниумм два раза, в подробностях.
Где именно ты "рассказал в подробностях"?
> объяснено, что именно они калибруют
Они калибруют интерпретатор данных с их телескопов под теоретическую картину черной дыры, которую они предполагают увидеть.
Верно?
> Ты себе вообразил какую-то не ту калибровку
В чем разница между той калибровкой, которую я вообразил и той калибровкой, которую они использовали?
Re: Калибровка
Date: 2020-03-24 06:30 am (UTC)Вот в этом треде, выше.
> Они калибруют интерпретатор данных с их телескопов под теоретическую картину черной дыры, которую они предполагают увидеть.
> Верно?
Нет, не верно.
Конкретно в моменте, на который ты сослался, они калибруют степень ослабления сигнала в атмосфере над каждым телескопом и разницу в чувствительности телескопов (оба два покрываются одним коэффициентом).
В других моментах они калибруют логику восстановления статической картины высокого разрешения по "видео" (последовательности кадров) низкого разрешения. Но там твое утверждение тоже неверно.
> В чем разница между той калибровкой, которую я вообразил и той калибровкой, которую они использовали?
Во всем. В частности, ты поэтому не понимаешь, о чем они говорят, что оно не требует калибровки.
Re: Калибровка
Date: 2020-03-24 01:32 pm (UTC)>> Верно?
> Нет, не верно.
Я же цитировал как команда Katie Bouman подгоняла результаты под теоретическую модель:
~~~~~~~~~~~
https://youtu.be/UGL_OL3OrCE?t=1177
19:37
What you can do is to use methods where you [have] do not need any calibration whatsoever and you can still can get pretty good results.
So here on the bottom at the top is the truth image, and this is simulated data, as we are increasing the amount of amplitude error and you can see here ... it's hard to see ... but it breaks down once you add too much gain here. But if we use just closure quantities - we are invariant to that.
So that really, actually, been a really huge step for the project, because we had such bad gains.
~~~~~~~~~~~
Станно, что ты до сих пор не можешь разглядеть подгонку данных в этом описании.
"Simulated data" - сгенерирована на основании теоретической модели черной дыры, которую они пытались "сфотографировать".
Re: Калибровка
Date: 2020-03-26 08:26 pm (UTC)Re: Калибровка
Date: 2020-03-27 10:21 am (UTC)Что они в состоянии подогнать их алгоритм под любую желаемую ими картинку?
Re: Калибровка
Date: 2020-03-27 11:27 am (UTC)Re: Калибровка
Date: 2020-03-27 12:50 pm (UTC)Где это они такое достижение по улучшению качеству картинки демонстрировали?
Это было бы огромным достижением, гораздо более важным, чем фотографирование черной дыры.
Ты, вероятно, что-то не так понял из их демонстрации.
Re: Калибровка
Date: 2020-03-29 05:51 pm (UTC)Re: Калибровка
Date: 2020-03-29 08:34 pm (UTC)Re: Калибровка
Date: 2020-04-01 05:55 pm (UTC)Re: Калибровка
Date: 2020-04-01 06:11 pm (UTC)Ты неправильно понял, что они делали.
https://youtu.be/UGL_OL3OrCE?t=1487
Они не улучшали качество картинки, а ухудшали качество картинки снеговика с помощью своих алгоритмов.
Разные алгоритмы ухудшали качество картинки снеговика в разной степени.
Соответственно, тот же самый алгоритм, который ухудшает качество картинки снеговика -- вполне может ухудшить белый шум, снимаемый с телескопов -- до картинки черной дыры.
А ты сейчас - восхищаешься результатами этой фальсифицированной трансформации белого шума.
Re: Калибровка
Date: 2020-04-01 09:20 pm (UTC)Re: Калибровка
Date: 2020-04-01 09:25 pm (UTC)Откуда именно ты это взял?
Если бы картинка сначала размазывалась, то она бы должна была эту размазанную картинку показать и явно указать, что она используется на входе алгоритма.
Re: Калибровка
Date: 2020-04-04 08:40 pm (UTC)Калибровка снеговика
Date: 2020-04-04 10:18 pm (UTC)Я, как раз, понял, что она не показала размазанную картинку [снеговика], которую послали на вход алгоритма.
А ты этого не понял. И продолжаешь упорствовать в своем заблуждении, несмотря на то, что найти эту несуществующую картинку не можешь.
no subject
Date: 2020-03-20 02:50 am (UTC)Да: она перебирает некоторые варианты возможных ошибок.
Но не рассматривает самую главную опасность - то, что они настроили свою систему видеть то, что они хотят увидеть (вместо того, чтобы поставить настоящий научный эксперимент).
no subject
Date: 2020-03-20 04:28 pm (UTC)