задопихание

[sab123]

Как backpropagation выводится из градиентного спуска:

https://babkin-cep.blogspot.com/2022/10/optimization-4-backpropagation-for-last.html
https://babkin-cep.blogspot.com/2022/10/optimization-5-backpropagation-further.html

Comments

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

Сейчас я вижу, что ты и я говорим о разных частотах.
Ты говоришь о том, насколько много resumes содержат рассматриваемый нами skill (HowManyResumesContainOurSkill).
Я же говорю о том, сколько раз рассматриваемый нами skill встречается в одной работе (HowManyTimesOurResumeContainsOurSkill).

Вероятность соответствия между резюме и работой:
- пропорциональна 1/HowManyResumesContainOurSkill
- пропорциональна log(HowManyTimesOurResumeContainsOurSkill + 1)

То есть формула вероятности:
log(HowManyTimesOurResumeContainsOurSkill + 1) / HowManyResumesContainOurSkill

> проще всего начать с рисования квадрата, который будет представлять всех кандидатов

Всех кандидатов на все работы?
Или всех кандидатов на одну работу?

Re: Skills: frequency vs Bayesian probability

[sab123]

> Я же говорю о том, сколько раз рассматриваемый нами skill встречается в одной работе (HowManyTimesOurResumeContainsOurSkill).

В смысле, не в работе, а в резюме?

> Вероятность соответствия между резюме и работой:
> - пропорциональна 1/HowManyResumesContainOurSkill
> - пропорциональна log(HowManyTimesOurResumeContainsOurSkill + 1)

Так не получается, математически она не может быть одновременно пропорциональна обоим. Если ты каждому резюме приписываешь вес в log(HowManyTimesOurResumeContainsOurSkill + 1), то математически правильно будет смоделировать, что вероятность соответствия будет 1/(сумма_этих_весов).

Ну, не говоря уже про использование частоты встречания фразы как предсказателя ценности. Если кто-то поменял за год 5 работ и в каждой написал скилл, будет ли ему соответствие лучше, чем человеку, который написал этот скилл один раз в одной работе?

> Всех кандидатов на все работы? Или всех кандидатов на одну работу?

Хоть так, хоть так, смотря что хотеть мерять. Если ты ищешь среди всех работ, то для кандидатов на все работы.

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

> > Я же говорю о том, сколько раз рассматриваемый нами skill встречается в одной работе (HowManyTimesOurResumeContainsOurSkill).

> В смысле, не в работе, а в резюме?

Да, сколько раз skill встречается в резюме (а не в работе).

На самом деле, сколько раз skill встречается в работе - тоже желательно учитывать. И тоже по логарифмической шкале. Только, естественно, при подсчитывании match score - нужно будет поделить на сумму весов skills (умноженных на логарифм количества встречания этих skills.

А вот для резюме -- логарифмы количества использования skills в резюме - делить на общую сумму -- не обязательно. Потому, что мы ищем (и сортируем) работы для одного резюме. Поэтому делитель, во всех случаях, одинаковый. Поэтому сортировка не нарушается.

> Если кто-то поменял за год 5 работ и в каждой написал скилл, будет ли ему соответствие лучше

Мы же ищем наиболее подходящую работу для этого job-hopper. Поэтому учитывать нужно только пропорцию между skills в этом резюме.

Если бы мы для работы искали кандидатов - тогда нужно было бы делить resume matching skills score на общую skills score.

Re: Skills: frequency vs Bayesian probability

[sab123]

Ну, может он не от хорошей жизни так скачет, а оттого, что попадаются только плохие работы, и приходится брать что есть.

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

> попадаются только плохие работы, и приходится брать что есть

1) Даже если бы это было так (а это не так), это никак не отменяет того, что при поиске работ для job seeker, учитывать нужно только пропорцию между skills в этом резюме.

2) Обычно, люди часто меняют работу потому, что на интервью они выглядят лучше, чем в самой работе.

Re: Skills: frequency vs Bayesian probability

[sab123]

1) ну, как мы уже обсудили, более недавние скиллы важнее давних

2) обычно люди часто меняют работу потому, что постепенно находят варианты с больше денег

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

> никак не отменяет того, что при поиске работ для job seeker, учитывать нужно только пропорцию между skills в этом резюме.

> как мы уже обсудили, более недавние скиллы важнее давних

Да: недавние skills - важнее давних.
Поэтому при учете пропорции между skills в резюме - надо учитывать и давность тоже.


>> 2) Обычно, люди часто меняют работу потому, что на интервью они выглядят лучше, чем в самой работе.

> 2) обычно люди часто меняют работу потому, что постепенно находят варианты с больше денег

Варианты с "больше денег", для подавляющего большинства людей - не возникают часто.

Re: Skills: frequency vs Bayesian probability

[sab123]

> Варианты с "больше денег", для подавляющего большинства людей - не возникают часто.

Если цены на рыне труда растут, то как раз возникают часто. Каждый работодатель норовит спросить прошлую зарплату, и предложить чуть больше нее. Поэтому скажем вместо чем один раз поменять работу и повысить зарплату вдвое, окажется, что пришлось менять работу 3 раза и каждый раз добывать 30% (а то и 10 раз по 10%).

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

Так если зарплата постоянно растет - разве не проще попросить текущего работодателя поднять зарплату?

Re: Skills: frequency vs Bayesian probability

[sab123]

Нет. Как бы видно, что о методах формирования зарплат у тебя туманные представления.

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

Что произойдет, если попросить поднять зарплату на основании того, что из других компаний приходят более выгодные предложения о работе?

Re: Skills: frequency vs Bayesian probability

[sab123]

В самом лучшем и оптимальном случае - "we will match it". В остальных - и того нет.

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

Почему нынешний работодатель не готов поднимать зарплату?
Ведь программист с опытом работы на текущем проекте, как правило, гораздо важнее/продуктивнее, чем программист, нанимаемый со стороны.

Re: Skills: frequency vs Bayesian probability

[sab123]

В больших компаниях есть большая бюрократия. Чтобы существенно (ну, скажем, хотя бы 30%) поднять зарплату, обычно надо поднять еще и должность, которая делается через сложную процедуру, и соответственно менять структуру и бюджеты. Ну, это не говоря уже про "сейчас одному поднимем и сразу другие захотят". Ну, и естественно, что пока есть другие люди, согласные работать за меньшие деньги, то нет смысла поднимать одному несогласному. А в мелкой компании может даже тупо не быть денег. Им может быть не надо лучше, а надо дешевле.

Re: Skills: frequency vs Bayesian probability

[dennisgorelik]

> пока есть другие люди, согласные работать за меньшие деньги

Получается, что причина, по которой переходящие с работы на работу зарабатывают больше -- заключается в том, что на новом месте -- нет других людей, согласных работать за меньшие деньги?

Re: Skills: frequency vs Bayesian probability

[sab123]

Да. Когда рынок работ расширяется и все уже где-то пристроены, то чтобы заманить людей на пустующие места, надо им предлагать больше денег. И для этого, естественно, должны быть деньги.

Квадрат Bayesian probability

[dennisgorelik]

> Хоть так, хоть так

Давай рассмотрим случай "всех кандидатов на одну работу" (как более простой).
Ты написал:

https://sab123.dreamwidth.org/679065.html?thread=2657177#cmt2657177
начать с рисования квадрата, который будет представлять всех кандидатов. Потом его поделить на две части: в одной части те, что нашли работу, в другой - что не нашли работу, и с площадью пропорциональной количеству. Потом каждую часть поделить на две части: у которых есть скилл, и у которых нет скилла.

Под "не нашли работу" ты имеешь ввиду, что "не нашли работу, на которую мы, сейчас, пытаемся найти кандидатов? Или "не нашли никакую работу"?

Re: Квадрат Bayesian probability

[sab123]

Ну, если цель - найти работу, которую хотели, то "не нашли ту работу, которую хотели".

Re: Квадрат Bayesian probability

[dennisgorelik]

Как отличить кандидатов, кто нашел интересующую нас работу от кандидатов, кто не нашел интересующую нас работу?

https://sab123.dreamwidth.org/679065.html?thread=2657177#cmt2657177
рисования квадрата, который будет представлять всех кандидатов. Потом его поделить на две части: в одной части те, что нашли работу, в другой - что не нашли работу, и с площадью пропорциональной количеству. Потом каждую часть поделить на две части: у которых есть скилл, и у которых нет скилла.

Re: Квадрат Bayesian probability

[sab123]

В точности, без получения информации от них самих - никак. Но можно строить предположения исходя из того, что если есть предлагаемые работы, то должны же туда кого-то нанять.

Re: Квадрат Bayesian probability

[dennisgorelik]

> можно строить предположения исходя из того, что если есть предлагаемые работы, то должны же туда кого-то нанять

Это - неверное предположение.
Есть много работ, на которые никого нанять не могут. Или могут нанять, но потом хотя снова заменить на другого соискателя, потому что предыдущий не устраивает (или сбежал).

И есть много работ, которые нанимают вообще без публикации вакансии. Например, по знакомству. Или с помощью поиска в базах резюме.

Re: Квадрат Bayesian probability

[sab123]

Но если всей этой информации в доступе нет, приходится пытаться моделировать приближение к точной информации по той информации, которая есть.

Re: Квадрат Bayesian probability

[dennisgorelik]

Мне кажется, что оценка количества нанятых по числу опубликованных работ - слишком уж неточна для того, чтобы на эту оценку полагаться.