> У меня есть практическая задача: взять резюме кандидата, и извлечь из этого резюме ключевые слова, по которым можно искать работу для этого кандидата.
> Думаешь neural network, в настройке которой ты упражнялся, поможет в решении этой задачи?

Ну, во-первых, я пока упражняюсь еще не в настройке, а в построении механизма. Мне хочется понять, как оно работает. В реальности большинство data engineers используют механизмы как черный ящик, плохо понимая, как он внутри работает.

Во-вторых, твоя задача, наверное, хорошо решается более простым способом? От простого поиска по хэш-мапу до построения байесовой модели (которая по своей сути соответствует одному слою нейронов, по одному нейрону для каждого возможного результата). Для отдельных слов или для словосочетаний из двух-трех слов. Или ты пробовал и не решается? Ну, можем обсудить.

Для Байеса у меня, кстати, есть примеры на Перле: https://sourceforge.net/projects/exbayes/ . Циферки в именах файлов соответствуют номерам в серии постов в блоге, где они обсуждаются.

> Для того, чтобы имитировать простую гладкую функцию - нет необходимости использовать neural network.

Эта задача интересна тем, что она тривиальна. И если методы тренировки показывают странные эффекты (а они показывают) на такой тривиальной задаче, то они будут их показывать и на более сложных задачах. Эти эффекты общеизвестны, и на более сложных задачах их пытаются решать шаманизмом: "давайте возьмем другие случайные начальные значения", "давайте сдвинем диапазон случайных значений", "давайте возьмем больше нейронов", и т.д. Потому что там трудно проследить, что вызывает эти проблемы и какой именно получается подробный эффект от разных попыток решения. А на маленькой и тривиальной задаче все это видно хорошо. И мне интересно в этом поковыряться. Без кратковременной практической выгоды, просто так (ну а долговременно - кто знает, может когда-то пригодится).

Ну, а в следующем этапе у меня запланировано попробовать классическую простую задачу - распознавнаие цифер из набора рукописных образцов.