Новый алгоритм вычисления

Издательства

загрузка списка...


Вы здесь: Авторские колонки FantLab > Авторская колонка «creator» > Новый алгоритм вычисления средней оценки произведения
Поиск статьи:
   расширенный поиск »

Новый алгоритм вычисления средней оценки произведения

Статья написана 24 сентября 2017 г. 16:39

Друзья, мы перешли ко второму этапу борьбы с накруткой средних оценок и рейтингов. Четыре года назад мы разработали и внедрили более корректный алгоритм вычисления рейтинга авторов, который минимизирует влияние преднамеренных манипуляций. Сейчас мы изменили также формулу расчёта средней оценки произведений, заменив её на средневзвешенную. Весовые коэффициенты для каждой оценки складываются из ряда факторов, которые занижают влияние оценки при подозрении на попытку манипуляции над рейтингами. К примеру, если регистрируется посетитель, ставит единицы всем произведениям одного автора, и больше ничего — вес такого будет нулевым. Это классический пример, но это далеко не единственные критерии, и алгоритм гораздо сложнее.

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее, но при росте числа оценок всё большее значение имеет доверительный вес, линейно и плавно переводя алгоритм от простого среднего к средневзвешенному. На странице детализации рейтинга произведения можно увидеть старое значение средней оценки — посмотрите там абзац «Обратите внимание!».

Мы надеемся, что новый алгоритм позволит сделать рейтинги более честными, лишёнными умышленных «вбросов» со стороны.





11877
просмотры





  Комментарии
Страницы: 1234567
Ссылка на сообщение26 сентября 2017 г. 05:56
Потратил время на изучение подробностей. Смотрел только малую форму. Результаты прискорбны.
1. Администраторы фантлаба! А именно те из вас, кто на голубом глазу уверяет посетителей, что их удельный вес не виден. Он прекрасно виден. Любому, у кого есть авторская страница. У абсолютного большинства посетителей после вашего пересчета он колеблется от 0.02 до 0.04. При этом у тех, кого за пределами фл именуют «фантлабовскими снобами» он зашкаливает. От 25 до 45. Таким образом, удельный вес фантлабовского сноба в несколько ТЫСЯЧ раз больше, чем рядового посетителя при подсчете средней. И если раньше этот выкрутас влиял лишь на рейтинг автора, и без этого недостоверный, то сейчас стал влиять на каждое произведение.
2. Средние переводной литературы почти не пострадали. А иногда и выросли. В полном соответствии с усредненным мнением фантлабовских снобов.
3. Средние отечественных произведений малой формы в 95 случаях из 100 рухнули. Иногда рухнули на .5 балла, в среднем — на .25 — .35.
4. Отношение к фантлабовским снобам за пределами фантлаба резко отрицательное. Что у авторов, что у издателей. Подозреваю, что у бОльшего числа посетителей тоже. Оттого, что индивид активен на форумах и одиозен в оценках, удельный вес его оценивания лишь возрастает. Это даже не нонсенс, это волапюк.
5. Средняя была единственным критерием, обладающим достаточно высокой степенью достоверности. Была. И быть перестала. Это не дутый фантлабовский рейтинг автора. Это средняя ЧИТАТЕЛЬСКАЯ оценка. Не мера одиозности фантлабовского актива, как стало после пересчета. Сейсас этой средней попросту грош цена, какими бы красивыми словами то ни обставлять. Это попросту усредненное мнение десятка фантлабовских активистов. С полным игнором мнения остальных.
6. Я надеюсь, у вас хватит адекватности вернуть среднюю оценку. А усредненную от фантлабовских снобов задвинуть на задний план.
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 06:43

цитата MikeGel

Оттого, что индивид активен на форумах и одиозен в оценках, удельный вес его оценивания лишь возрастает

Вообще-то нет.
Подозреваю, что количество сообщений на форуме вообще по факту не влияет на удельный вес.

цитата MikeGel

Он прекрасно виден

Да.
 
Ссылка на сообщение26 сентября 2017 г. 07:44

цитата MikeGel

Таким образом, удельный вес фантлабовского сноба в несколько ТЫСЯЧ раз больше, чем рядового посетителя при подсчете средней.


Тогда это тоже накрутка рейтинга.

Если какие-то посетители имеют преимущества за счёт весовых коэффициентов, то это то же самое, как если бы они завели себе клонов и проголосовали каждый многократно. Но одно отличие: возможность накручивать оценки им даёт алгоритм подсчёта рейтинга, а не собственные труды по клонированию.
 
Ссылка на сообщение26 сентября 2017 г. 08:23

цитата MikeGel

Он прекрасно виден.

Если Вы про страницу детализации рейтинга автора, то там не то совсем. Там ещё сложнее. ))

цитата MikeGel

2. Средние переводной литературы почти не пострадали. А иногда и выросли. В полном соответствии с усредненным мнением фантлабовских снобов.
3. Средние отечественных произведений малой формы в 95 случаях из 100 рухнули. Иногда рухнули на .5 балла, в среднем — на .25 — .35.

Всё верно. Потому что от переводных авторов не приходят армии фанатов-накрутчиков.

Вы человека начитанного, знакомого с творчеством множества авторов, называете снобом. Это защитный рефлекс или что?

цитата MikeGel

удельный вес фантлабовского сноба в несколько ТЫСЯЧ раз больше, чем рядового посетителя при подсчете средней

Нет и нет! У рядового и, как Вы говорите, «сноба» очень близкие коэффициенты. А вот у тех, кто однообразно ставит единицы или десятки избранным авторам — у тех вес занижается практически в ноль. Считайте, что его вообще нет.
 
Ссылка на сообщение26 сентября 2017 г. 09:13
Это не я так называю. Это общепринятое название за пределами фантлаба. Так называют группу фантлабовских форумчан, активно пропихивающих мнение, что отечественная фантастика умерла.
Подкрепляющих свое мнение низкими оценками и уничижительными отзывами, активно плюсующимися единомышленниками. Да — десятки и колы вы отбросили. А вместе с ними и всеипрочие оценки от рядовых читателей. Оставили фактически лишь оценки завсегдатаев. Ну, принудить вас вернуть достоверные оценки невозможно. Рассчитываю лишь на здравый смысл. Фантлаб был единственным ресурсом, на который можно было положиться по части качества оценок. Но теперь — именно был.


Ссылка на сообщение26 сентября 2017 г. 07:02
Меня всегда поражала низкая оценка романа Колпакова «Гриада» ... она была 6.3 ... теперь же она вообще опустилась до 5.9 ... это как же надо ненавидеть читателей чтобы учудить такое ... :))


Ссылка на сообщение26 сентября 2017 г. 08:07
Вот я смотрю Кокоулина. Он как раз в сборниках бывает.
Зведокровь. https://fantlab.ru/work800130/details
53 оценки
СВЗ = 7.25, Простое среднее по оценкам этого произведения даёт значение 7.25.

Рыцарь мой. https://fantlab.ru/work730502/details
41 голос
СВЗ=7.00, С=6.93, то есть выросла на 0,07

Ктомыдети https://fantlab.ru/work916991/details
47 голосов
СВЗ=7.27, С=7.30, то есть упала но 0,03

Чистка https://fantlab.ru/work946676/details
31 голос
СВЗ=6,55. Было = 6.61, то есть падение на 0,06

Итого: из 4-х: 1 не изменился, один вырос/ один упал примерно на одну величину, а один на 0,03 вниз.
не знаю, какой вывод сделать... что-то выросло, что-то упало, а что-то не изменилось.
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 09:02
Так и что получается: заметные изменения в оценках — на полбалла и больше — у произведений, где счет оценок идет на сотни. А ведь сотни оценок у произведений известных авторов. И вряд ли составителю сборников или ответственному редактору нужен рейтинг фантлаба, чтобы решить, принимать к рассмотрению рассказ известного автора или нет.
А у не столь именитых авторов, у которых счет оценок идет на три-четыре десятка, — там изменения в оценках на сотые доли. Каждая добавленная оценка изменит средневзвешенную на эти самые сотые доли. И стоит ради этого копья ломать?
 
Ссылка на сообщение26 сентября 2017 г. 09:23
Вы ошибаетесь. Попросите фантлабовского активиста выставить низкую оценку любому тексту с 40 оценками. И увидите, что будет.
 
Ссылка на сообщение26 сентября 2017 г. 09:19
Вы смотрите исключительно на оценки текстов, прошедших через фантлабовский конкурс. Да — они почти не изменились. Потому что фантлабовский актив его не оценивает. Смотрие другие произведения. Возьмите любой сборник или антологию, увидите разниуу.
 
Ссылка на сообщение26 сентября 2017 г. 09:49
Да, я смотрю то, что я читал и оценивал. Тут вы правы. Пф... сборник? Ну попробую.
«По ту сторону отражений», сборник.
Из рассказов Кокоулина, которые не рассматривались раньше, добавился только один: «Небезнадёжен!» , но он тоже с ФЛР. https://fantlab.ru/work27... вырос на +0,02.
Ещё рассказы Марины Ясинской есть в сборнике. Всего два рассказа с более-менее приличным количеством оценок (больше 30).
Пересечь границу https://fantlab.ru/work23... — (36 голосов) без изменений.
Шарманщик и Буратинко https://fantlab.ru/work20... (50 голосов) тоже без изменений.
 
Ссылка на сообщение26 сентября 2017 г. 10:00
См мой пост ниже. Оценки вновь пересчитали теперь они стали гораздо ближе к изначальным. Но все равно еще искажены.
 
Ссылка на сообщение26 сентября 2017 г. 10:01
Понятно. Значит, будем ждать окончательного варианта, чтобы потом его критиковать.


Ссылка на сообщение26 сентября 2017 г. 08:55
Взял Евгения Шикова (Роланд23).
Все обрыдаются https://fantlab.ru/work802615/details
35 голосов
Стало = 6.94, было = 6.91, изменение +0,03

Модель '39 https://fantlab.ru/work862983/details
46 голосов
стало = 7,35, было = 7,35. Изменение = 0,00

Виктор Цой — охотник на вампиров https://fantlab.ru/work640610/details
голосов 60
Стало = 4,95 Было = 4,93. Изм. = +0,02

Я сожгу этот мир в пламени моей ненависти https://fantlab.ru/work389219/details
голосов 119
Стало = 6,95, было = 6,92. Изм. = +0,05

Когда я рассыплюсь https://fantlab.ru/work819942/details
голосов 41
Стало = 7,68, было=7,73. Изм = -0,05 (наконец-то нашёл рассказ, который упал).
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 09:20
Та же история. Это конкурсные оценки. Возьмите автора, в конкурсе не участвующего.
 
Ссылка на сообщение26 сентября 2017 г. 09:59
Не могу. Я же их не знаю, не читал, оценок не ставил и их судьба, мягко говоря, мне до лампочки. Я даже их имён не знаю, извините.
Каганова что ли взять? Грелочника?
 
Ссылка на сообщение26 сентября 2017 г. 10:02
Можете посмотреть ма моем примере. Но сейчас оценки вновь пересчитаны. Они сталт похожи на изначальные. Но пока только похожи


Ссылка на сообщение26 сентября 2017 г. 09:22
Не плохо было бы ещё график добавить, в том числе гендерный и по возрасту.


Ссылка на сообщение26 сентября 2017 г. 09:39
Вижу, что оценки вновь пересчитаны по сравнению с теми, что были вчера. Одновремеено пересчитаниудельный вес посетителей. У фл актива он упал в среднем в два раза. И о чудо средние оценки стали ближе к средним арифметическим. Но лишь ближе, на исходную не вернулись. Не пора ли вернуть их туда? А удельный вес посетителей учитывать на заднем плане с припиской «обратите внимание»? Кто в теме, тот и так внимание давно обратил. И выводы сделал. Особенно это касается тех, кто рассчитывал на об«ективность фантлаба как на подспорье в профессиональной деятельности. Но именно самого фантлаба, а не десятка-другого форумных завсегдатаев, несущих свое пренебрежительное видение в массы.
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 09:58
Я пока не доделал, не спешите судить.
Просто хотел показать «на заценить» более компромиссный вариант.
Скажу как готово будет
 
Ссылка на сообщение26 сентября 2017 г. 10:02

цитата MikeGel

Не пора ли вернуть их туда?

К равнозначным оценкам я точно не верну.
Ну как вы себе это представляете? Вот этого кренделя тоже считать наравне со всеми?
https://fantlab.ru/user43213/...
 
Ссылка на сообщение26 сентября 2017 г. 10:18
Алексей, этого кренделя можно было бы просто выпилить. Но фантлабовская оценка всегда жили на принципе больших чисел. Одиозные оценки от крендедей подобно этому компенсировались не менее одиозными оценками от других кренделей, оценивающих нарочито высоко. И результату при большом количестве оценок можно было доверять. А то, что вы предлагаете — это доверять десятку-полутора фантлабовских форумчан, а остальных игнорить. Это называется вместе с водой вылить младенца. Хотя бы потому, что изрядная часть тех, у кого на фл накручен рейтинг, откровенно предвзята. Есть кренделя, огульно ставящие трояки всем текстам любого сборника — подряд. Есть среди них и те, что не ленятся отточить свое остроумие в дрянном отзыве. И у них высочайший удельный вес. Они завсегдатаи форумов и раз за разом педалируют свое «авторитетное» мнение повсеместно. А для меня, к примеру, мнение такого вот фантлабовского кренделя ни гроша не стоит. Оно одиозно, предвзято и высосано из пальца.
И таких вот кренделей у меня намкаждом тексте с полдюжины пасется. Стоит сборнику появиться на пиратских сайтах неизменно приходит 3-4 кренделя из тех, что с больгим удельным весом, и одаривают всех подряд трояками. Ваш новый алгоритм таких весьма ценит. Вы бы задумались над этим.
 
Ссылка на сообщение26 сентября 2017 г. 12:32
(поморщилась) нет, ну что значит «выпилить». Человек имеет право высказать свое мнение, и о Мартине, и о Гелприне, и о ком угодно. Другое дело, что когда это один крендель, другое — когда система оценок дает преимущество одной категории людей.
Не согласна с тоном Майка, но по смыслу — да, произведения зарубежных авторов заметно выросли, а наших — упали в рейтинге.
Словом — я бы оставила все как было, а оценку по новому алгоритму как раз поставила под флажок -«это интересно». ну или как-то так. Сам по себе то эксперимент и правда как минимум интересный :-))
 
Ссылка на сообщение26 сентября 2017 г. 14:01
Не «даёт преимущества«! Просто не учитывает очень подозрительные оценки.
Всё ж вы любите подвести к правам и свободам человека.
 
Ссылка на сообщение26 сентября 2017 г. 14:47
а подозрительные оценки получается только у российских авторов? судя по результату? нет, с одной стороны понятно, что наших в теории больше накручивают, по очевидным причинам. Но и у зарубежных авторов — фанатов только в путь...
да боги с ними, с правами и обязанностями. :-)
просто — мне и как читателю, и как профессионалу, с новой системой оценок много непонятно, и по большому счету и неудобно, и кажется что и не так уж объективно. Могу ошибаться, конечно — так пока не поняла, в чем ошибка. Пытаюсь разобраться.
 
Ссылка на сообщение26 сентября 2017 г. 19:32
Да, только у российских. Приходят и накручивают. Уже который день идёт атака на Фантлаб ботов Тармашева.
https://fantlab.ru/use...
Шкурный интерес понятен, он даже озвучен в «отзыве»:
https://fantlab.ru/wor...

цитата

Все книги автора читаются легко, на одном дыхании. Так все миры автора связаны, жду продолжения любой из серий. Так понимаю некоторые серии провалились из-за пиратских электронных копий. Жажду, чтобы эту раскупили и издали новую, и чтобы издательство просило написать продолжение.

Он пошёл на переиздание своих опусов (всех), вот и нужно попиарить.
А подозрительные 10-ки (https://fantlab.ru/use... ) после ввода алгоритма заменили подозрительные 8-ки (https://fantlab.ru/use... ) , главное — рейтинг поднять.
Отсекать вручную? А на каком, простите, основании? Что, фанатам Тармашева запрещено приходить скопом и ставить 10-ки, 9-ки и 8-ки его писанине? Нет, не запрещено.
Если это реальный человек-новичок, то он вполне может прижиться, почитать что-то ещё и со временем обрасти не только оценками, но и опытом чтения, что приведёт к пересмотру им самим оценок Тармашева и к повышению их веса.
Элегантное решение против накрутчиков.

И старые оценки остались. Да, придётся чуть побольше открыть окон и чуть подольше потыкать мышкой, раскрыв детализацию, но, имхо, составление сборников того стоит.

А иначе мы будем завалены Тармашевыми и подобными, причём издательство как раз и будет апеллировать к фантлабовским рейтингам.
 
Ссылка на сообщение26 сентября 2017 г. 14:50

цитата creator

Не «даёт преимущества«! Просто не учитывает очень подозрительные оценки.


эмм. а вроде подозрительные оценки и раньше не учитывались? админы же следят? а автоматически понять подозрительность — это я даже не представляю, о чем это.

и мне казалось — нет, может и казалось — что речь шла не о подозрительных оценках, а именно о системе веса оценок? при чем тут подозрительные колы или десятки?
 
Ссылка на сообщение26 сентября 2017 г. 15:30

цитата creator

К равнозначным оценкам я точно не верну.
Ну как вы себе это представляете? Вот этого кренделя тоже считать наравне со всеми?
https://fantlab.ru/use...


Таких то точно надо либо гнать в шею, либо не учитывать их оценки, в любом случае должны быть приняты какие-нибудь меры. Соглашусь в этом случае с вами, пусть пока новая система не учитывает оценки таких выхухолей, до тех пор пока не будет принята другая альтернатива, либо пока не приживется новая модель подсчета. :-[
 
Ссылка на сообщение27 сентября 2017 г. 02:09
Ооо, ну ему осталось не долго. Тем более мёртвая душа. Думаю возражений среди админов не будет.


Ссылка на сообщение26 сентября 2017 г. 15:25
Алексей, я не буду лезть в алгорттмы расчета, у меня другой вопрос.

цитата

1. Администраторы фантлаба! А именно те из вас, кто на голубом глазу уверяет посетителей, что их удельный вес не виден. Он прекрасно виден. Любому, у кого есть авторская страница. У абсолютного большинства посетителей после вашего пересчета он колеблется от 0.02 до 0.04. При этом у тех, кого за пределами фл именуют «фантлабовскими снобами» он зашкаливает. От 25 до 45. Таким образом, удельный вес фантлабовского сноба в несколько ТЫСЯЧ раз больше, чем рядового посетителя при подсчете средней. И если раньше этот выкрутас влиял лишь на рейтинг автора, и без этого недостоверный, то сейчас стал влиять на каждое произведение.

Если уж уж удельный вес пользователя скрыли от него самого, то скрой, пожалуйста, этот вес и от авторов.
Я думаю никому не нужны набеги в личку местных МТА с истерикой: «Поставь мне десятку сейчас -же!!!»
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 15:43
Удельный вес пользователя — это стимулирующий показатель. Наоборот, его надо открыть у всех, чтобы те, кто любит большие цифры у себя в профиле, могли наблюдать, как он меняется в результате их действий и вести себя соответственно, чтобы этот вес увеличивался.
 
Ссылка на сообщение26 сентября 2017 г. 15:53
Для этого надо раскрывать алгоритм, а Алексей это делать не хочет,как я понял.
 
Ссылка на сообщение26 сентября 2017 г. 19:19
ну... кому он нужен, этот удельный вес пользователя? это же виртуал, а не реал. Оно же не материальное!
 
Ссылка на сообщение26 сентября 2017 г. 19:36
И сам пользователь тоже всего лишь набор буковок.

Поэтому и удельный вес у него такой.


Ссылка на сообщение26 сентября 2017 г. 19:17
куча единиц.... круто! мне бы так....
написала отзыв, упомянула олигархов-свет-батюшек, так мне кучу минусов впилили....меня проняло, и захотелось написать еще чего нибудь на минус, но не всегда получается.

цитата creator

Ну как вы себе это представляете? Вот этого кренделя тоже считать наравне со всеми?


уметь единицы ставить, тоже нужно.
но было бы неплохо, чтобы объяснялось в отзывах, за что единицу поставили. лично я стараюсь объясняться. не всегда внятно получается, но .... стараюсь.




P.S. а вообще, заглянула, чтобы посмотреть к какому выводу пришли, какой консенсус вынесли...
но... как то... вижу что все оно еще в процессе разговоров.
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 19:42

цитата zdraste

но... как то... вижу что все оно еще в процессе разговоров.


Тут надо пригласить какого-нибудь профессионального накрутчика, чтобы он проверил систему на прочность и уронил, например, Кира Булычёва или ещё кого из отечественных звёзд фантастики с неправомерно завышенным рейтингом. Тогда и можно было бы сделать вывод, насколько система хороша.

У палки два конца, антинакрутка тоже является накруткой.


Ссылка на сообщение26 сентября 2017 г. 19:39
Решил проверить свой удельный вес у разных любимых авторов.
Вот например у Высоцкого, которому я понаставил 24 оценки, в основном десятки, но три восьмерки и шесть девяток тоже есть. Короче меня походу как недобросовестного исключили из общих оценок автора. Свой удельный вес я там не нашёл, хотя клянусь честью ставил оценки от души. ну нравятся мне стихи Владимира Семеновича, что ж мне теперь через не хочу единицу и двойку ему лепить?
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 20:06
То же самое — и с Высоцким, и со Стругацкими, и с Толкином, и с Булгаковым :-))). Офигительная система — ниспровергнем классиков, так сказать; дадим шанс МТА :-))). Её ещё допиливать и доделывать надо очень основательно. А то выйдет как с приснопамятными нововведениями на Кинопоиске, которые потом срочно отменяли.
 
Ссылка на сообщение26 сентября 2017 г. 21:03

цитата Melanchthon

дадим шанс МТА

да тут примерно они же и протестуют))
 
Ссылка на сообщение27 сентября 2017 г. 06:55
У вас вес близок к максимум по текущей системе.
Стихотворения на странице рейтинга не включаются, как непрофильные для сайта.


Ссылка на сообщение26 сентября 2017 г. 20:08
ну вот, допустим, Киплинг. Случайно взятый текст из моих десяток. Система «опустила» его на 0,7

https://fantlab.ru/work69354/details

23 накрутчика? Да ладно.
свернуть ветку
 
Ссылка на сообщение26 сентября 2017 г. 20:31
Справедливости ради — 0,07. Это мизер, тем более для оценки выше 9 баллов.
 
Ссылка на сообщение26 сентября 2017 г. 20:48
да, вы правы, но неясно — зачем?
 
Ссылка на сообщение27 сентября 2017 г. 06:59
Потому что вес юзеров, поставивших 7-8, оказался чуть выше, чем у тех кто ставил 9-10.
 
Ссылка на сообщение27 сентября 2017 г. 09:22
я понимаю, КАК это вышло. Зачем — совсем другой вопрос
Страницы: 1234567

⇓ ⇑ Наверх