![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
самоуправление
Dec. 17th, 2024 08:38 pmЯ нынче был на конференции NeurIPS (я слышал варианты произношения "нёрпс" и "нюрипс") и у меня много впечатлений. Раз уж тут https://eugenegp.dreamwidth.org/613920.html спрашивают про автомобильное самоуправление, начну с него.
Из спонсоров в этой области присутсвовали Тесла, Вэймо, и кто-то мелкий, так что оно если и вырождается, то еще не совсем выродилось. Тесла демонстрировала кино с автоматическим вождением во дворе, полном белых прицепов! (Это, если кто не знает, предмет типовых аварий, не замечаемый тесловым автопилотом).
Из докладов (постеров) мне запомнилось несколько. То есть, для контекста, конференция про все на свете в нейротематике, от собственно медицинских нейронаук (но их нынче мало, говорят раньше было около половины) до искусственных интеллектов. На ней в этот раз опубликовалось 4 тысячи с мелочью работ в виде постеров с приставленными к ним авторами (выставлялись по чуть меньше 800 штук за раз на трехчасовой интервал, в двух залах, всего 6 интервалов), и особо ценным давали выступить с устным докладом. К счастью, в поисках интересного среди всего этого помогает аппа, где можно заранее просмотреть список и пометить, что хочешь посмотреть. Ну, и иногда просто методом случайных блужданий. То есть, я уверен, что в реальности там было всего больше, но я его так или иначе не увидел. Если кому интересно полистать, https://neurips.cc/search?q=autonomous+driving+2024
Вообще модели для вождения, насколько я понимаю, попадают в категорию Graph NN, хотя есть и попытки нововведений типа Spiking NN (что оно из себя представляет, не читал).
Теперь про запомнившееся:
A Simulation Benchmark for Autonomous Racing with Large-Scale Human Data
https://neurips.cc/virtual/2024/poster/97499
Это не нормальное вождение, а гонки на симуляторе (несколько вариантов видеоигр и более профессиональных симуляторов). Причем гонки нэчэсные: человеку приходится получать все ощущения через изображение и симуляцию руля, а в НН скармливается еще и сырая информация об ускорениях. И не совсем гонки, а езда по трассе без соперников. Люди все равно побеждают, но естественно далеко не любые люди. То есть, сами авторы тут даже не разрабатывали модели, а сравнивали несколько чужих моделей и людей.
Второй я найти не могу. Видимо, наткнулся на него случайно, и решил, что и так запомню, но не запомнил. Или возможно там что-то сглючило в системе - у меня была пара случаев, когда на месте искомых постеров оказывались совсем другие постеры. Так или иначе, люди разработали метрику оценки тракеторий от хороших до плохих (приводящим к съезду с дороги или авариям). Метрика, кстати, по моим ощущениям неправильная, поскольку правильная метрика должна быть по сути полиномом с бесконечной переменной - например, все траектории со съездом с дороги должны быть бесконечно хуже траекторий без этого, то есть их вес иметь коэффициент в минус бесконечность, траектории с аварией еще хуже - минус бесконечность в квадрате, траектории с заведомым переезжанием кого-то - минус бесконечность в кубе. Чтобы была возможность сравнивать траектории в плохом классе если более хороших нет, но заведомо отбрасывать их если есть более хорошие. У них же метрика со значениями от 0 до 1, с критериями отсутствия аварий, отсутствия съезда с дороги, продвижения вперед к цели, и я не понял, есть ли у них гарантия, что траектория без аварий всегда окажется лучше траектории с большим продвижением к цели, но в результате аварией. Люди сетовали на то, что во-первых публично доступных данных для тренировки мало (бизнесы своими данными не делятся), во-вторых практически все время траектории тривиальны, сложные случаи, интересные для тренировки, случаются очень редко, и им приходится создавать симуляции. Вообще, кстати, симуляции сцен для автономного вождения - похоже, популярная тема и в академии и в индустрии. Я ему посоветовал посмотреть на гонки у людей с другим постером - там постоянно происходит выбор траектории на пределе возможностей и важно продвижение к цели, но он мой совет не оценил, это, говорит, другое.
Третий я тоже найти не могу, там было что-то про предотвращение атак на этапе обучения сетей, с примером в виде автономного вождения - типа, враги проберутся и подсунут обучательные примеры, где знак стоп со специальной наклейкой не воспринимается как стоп. Я это воспринял как возможность поспрашивать специалиста - а что, не научились ли массово рассматривать сцену в нескольких разрешениях (ну вот типа с примером где изменением нескольких пикселей кот превращается в самолет, если картинку одновременно рассматривать в низком разрешении, то эти измененные врагами пиксели там станут невидимыми и атака не пройдет). Оказалось, нет, никто про такое не слышал (еще в одном месте спрашивал, тоже никто не слышал). Второй интересный момент с моей точки зрения заключается в том, что знаки "стоп" и "уступите дорогу" специально сделаны уникальной формы для того, чтобы их можно было различить даже сзади или если они полностью облезли или закрашены. Логично было бы тренировать сети на такое, специально перекрашивая эти знаки для тренировки, чтобы распознавалась именно форма. Но нет, про такое тоже не слышали. Третий момент заключается в том, что если есть небольшое количество примеров (вброшенных врагами или так просто), которые сильно отличаются от других, тренировка на них пойдет тяжело. Логично было бы такие редкие примеры просматривать людьми - они скорее всего окажутся ошибками пометки, но и вброшенне врагами примеры вылезут там же. Но это тоже не массово известная идея. По крайней мере, в академии.
Is Your LiDAR Placement Optimized for 3D Scene Understanding?
https://arxiv.org/pdf/2403.17009
Тут я не особо понимаю, но интересные моменты, что (а) люди все еще активно используют лидары, а не только видеокамеры, и (б) похоже, что у них вышло, что оптимальное расположение лидаров - асимметричное.
Из спонсоров в этой области присутсвовали Тесла, Вэймо, и кто-то мелкий, так что оно если и вырождается, то еще не совсем выродилось. Тесла демонстрировала кино с автоматическим вождением во дворе, полном белых прицепов! (Это, если кто не знает, предмет типовых аварий, не замечаемый тесловым автопилотом).
Из докладов (постеров) мне запомнилось несколько. То есть, для контекста, конференция про все на свете в нейротематике, от собственно медицинских нейронаук (но их нынче мало, говорят раньше было около половины) до искусственных интеллектов. На ней в этот раз опубликовалось 4 тысячи с мелочью работ в виде постеров с приставленными к ним авторами (выставлялись по чуть меньше 800 штук за раз на трехчасовой интервал, в двух залах, всего 6 интервалов), и особо ценным давали выступить с устным докладом. К счастью, в поисках интересного среди всего этого помогает аппа, где можно заранее просмотреть список и пометить, что хочешь посмотреть. Ну, и иногда просто методом случайных блужданий. То есть, я уверен, что в реальности там было всего больше, но я его так или иначе не увидел. Если кому интересно полистать, https://neurips.cc/search?q=autonomous+driving+2024
Вообще модели для вождения, насколько я понимаю, попадают в категорию Graph NN, хотя есть и попытки нововведений типа Spiking NN (что оно из себя представляет, не читал).
Теперь про запомнившееся:
A Simulation Benchmark for Autonomous Racing with Large-Scale Human Data
https://neurips.cc/virtual/2024/poster/97499
Это не нормальное вождение, а гонки на симуляторе (несколько вариантов видеоигр и более профессиональных симуляторов). Причем гонки нэчэсные: человеку приходится получать все ощущения через изображение и симуляцию руля, а в НН скармливается еще и сырая информация об ускорениях. И не совсем гонки, а езда по трассе без соперников. Люди все равно побеждают, но естественно далеко не любые люди. То есть, сами авторы тут даже не разрабатывали модели, а сравнивали несколько чужих моделей и людей.
Второй я найти не могу. Видимо, наткнулся на него случайно, и решил, что и так запомню, но не запомнил. Или возможно там что-то сглючило в системе - у меня была пара случаев, когда на месте искомых постеров оказывались совсем другие постеры. Так или иначе, люди разработали метрику оценки тракеторий от хороших до плохих (приводящим к съезду с дороги или авариям). Метрика, кстати, по моим ощущениям неправильная, поскольку правильная метрика должна быть по сути полиномом с бесконечной переменной - например, все траектории со съездом с дороги должны быть бесконечно хуже траекторий без этого, то есть их вес иметь коэффициент в минус бесконечность, траектории с аварией еще хуже - минус бесконечность в квадрате, траектории с заведомым переезжанием кого-то - минус бесконечность в кубе. Чтобы была возможность сравнивать траектории в плохом классе если более хороших нет, но заведомо отбрасывать их если есть более хорошие. У них же метрика со значениями от 0 до 1, с критериями отсутствия аварий, отсутствия съезда с дороги, продвижения вперед к цели, и я не понял, есть ли у них гарантия, что траектория без аварий всегда окажется лучше траектории с большим продвижением к цели, но в результате аварией. Люди сетовали на то, что во-первых публично доступных данных для тренировки мало (бизнесы своими данными не делятся), во-вторых практически все время траектории тривиальны, сложные случаи, интересные для тренировки, случаются очень редко, и им приходится создавать симуляции. Вообще, кстати, симуляции сцен для автономного вождения - похоже, популярная тема и в академии и в индустрии. Я ему посоветовал посмотреть на гонки у людей с другим постером - там постоянно происходит выбор траектории на пределе возможностей и важно продвижение к цели, но он мой совет не оценил, это, говорит, другое.
Третий я тоже найти не могу, там было что-то про предотвращение атак на этапе обучения сетей, с примером в виде автономного вождения - типа, враги проберутся и подсунут обучательные примеры, где знак стоп со специальной наклейкой не воспринимается как стоп. Я это воспринял как возможность поспрашивать специалиста - а что, не научились ли массово рассматривать сцену в нескольких разрешениях (ну вот типа с примером где изменением нескольких пикселей кот превращается в самолет, если картинку одновременно рассматривать в низком разрешении, то эти измененные врагами пиксели там станут невидимыми и атака не пройдет). Оказалось, нет, никто про такое не слышал (еще в одном месте спрашивал, тоже никто не слышал). Второй интересный момент с моей точки зрения заключается в том, что знаки "стоп" и "уступите дорогу" специально сделаны уникальной формы для того, чтобы их можно было различить даже сзади или если они полностью облезли или закрашены. Логично было бы тренировать сети на такое, специально перекрашивая эти знаки для тренировки, чтобы распознавалась именно форма. Но нет, про такое тоже не слышали. Третий момент заключается в том, что если есть небольшое количество примеров (вброшенных врагами или так просто), которые сильно отличаются от других, тренировка на них пойдет тяжело. Логично было бы такие редкие примеры просматривать людьми - они скорее всего окажутся ошибками пометки, но и вброшенне врагами примеры вылезут там же. Но это тоже не массово известная идея. По крайней мере, в академии.
Is Your LiDAR Placement Optimized for 3D Scene Understanding?
https://arxiv.org/pdf/2403.17009
Тут я не особо понимаю, но интересные моменты, что (а) люди все еще активно используют лидары, а не только видеокамеры, и (б) похоже, что у них вышло, что оптимальное расположение лидаров - асимметричное.
