Вдогонку, для распознавания разных контекстов использования слов может подойти нейросеть (но может быть и чего-то более простого будет достаточно). Например, машинный перевод нынче делается в два этапа, двумя сетями. Первая пытается распознавать смысл слов в контексте, вторая получает слова не в сыром виде, а в виде индикации от первой, и пытается генерить перевод.
Распознавание смысла делается примерно так: делается сеть, которая пытается предсказывать следующее слово. Она натренировывается. Потом с нее срезуют верхний слой нейронов, и используют выходы с предпоследнего слоя как индикаторы смысла.
Но я сам на анализ текста подробно никогда не смотрел, представляю только в общих словах. Могу еще сказать, что для анализа текста типовой топологией сети является LSTM, которая закольцовывает сигнал с выхода на вход.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
Re: How to create a job search query from resume text?
Date: 2022-10-06 05:51 pm (UTC)Распознавание смысла делается примерно так: делается сеть, которая пытается предсказывать следующее слово. Она натренировывается. Потом с нее срезуют верхний слой нейронов, и используют выходы с предпоследнего слоя как индикаторы смысла.
Но я сам на анализ текста подробно никогда не смотрел, представляю только в общих словах. Могу еще сказать, что для анализа текста типовой топологией сети является LSTM, которая закольцовывает сигнал с выхода на вход.