![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ассоциативная память
"Dense Associative Memory Through the Lens of Random Features"
https://neurips.cc/virtual/2024/poster/96886
Тут ассоциативная память - не то, к чему мы привыкли в компьютерах, а другой смысл у того же названия. Тут идея в том, что хардкодятся коэффициенты нейросети, по которым она запоминает несколько наборов данных, связанных с определенными входными данными. И потом при подаче некоих данных на вход вспоминает ближайший к ним набор. Насколько я понял, предмет достижений тут в том, что научились добавлять значения динамически, впихивая их между уже существующими.
Насколько я понял из их картинок, по сути это работает как две ступени: в первой ступени нечто типа хэммингова кода находит идентификатор ближайшего входного набора, и во второй ступени по нему выдается соответствующий выходной набор. Они в таких терминах не думают, но когда я описал, что это значит, подтверили, что да, так оно и работает. С глубокой стратегией втыкать идентификаторы новых наборов так, чтобы оставить максимальное кодовое расстояние от предыдущих.
https://neurips.cc/virtual/2024/poster/96886
Тут ассоциативная память - не то, к чему мы привыкли в компьютерах, а другой смысл у того же названия. Тут идея в том, что хардкодятся коэффициенты нейросети, по которым она запоминает несколько наборов данных, связанных с определенными входными данными. И потом при подаче некоих данных на вход вспоминает ближайший к ним набор. Насколько я понял, предмет достижений тут в том, что научились добавлять значения динамически, впихивая их между уже существующими.
Насколько я понял из их картинок, по сути это работает как две ступени: в первой ступени нечто типа хэммингова кода находит идентификатор ближайшего входного набора, и во второй ступени по нему выдается соответствующий выходной набор. Они в таких терминах не думают, но когда я описал, что это значит, подтверили, что да, так оно и работает. С глубокой стратегией втыкать идентификаторы новых наборов так, чтобы оставить максимальное кодовое расстояние от предыдущих.