внимание!  05 марта 2013 г. 15:32 

Идут изменения системы подсчёта рейтингов авторов

В настоящее время девелоперский отдел ФантЛаба проводит работы по изменению системы подсчёта рейтингов авторов и произведений. Рейтинги могут довольно существенно меняться, просьба не придавать значения. Окончанию работ будет посвящён отдельный пост.

разместил suhan_ilich


  Комментарии посетителей
(2013-03-05) elninjo_3:

То-то я смотрю мне сегодня минусов за отзывы понаставили, думал это ненавистники, а это, наверное, перерасчет. Ведь правда?^_^:-D

 
(2013-03-05) Tyrgon:

Продублирую здесь:

Скажите, пожалуйста, введение системы весовых коэффициентов посетителей сказалось на мере подобия единомышленников и индивидуальных рекомендациях, прогнозе оценки произведения (что дается на его странице) и если да, то каким образом?..

 
(2013-03-05) Evil Writer:

В чем хоть перерасчет будет?

 
(2013-03-05) MiKat:

То-то я смотрю. у меня 2х2 никак не равно 4, да и количество оценок скачет без фактического изменения списка... Ждем окончания и развернутых комментариев.

 
(2013-03-05) Cirujano:

интересно, а чего вдруг решили изменить систему подччёта...?)

 
(2013-03-05) С.Соболев:

Вот куда подевался человек с лопатой!

 
(2013-03-05) Dikiy Plush:

:-))) Может он к нам вернется, Соболев:?

 
(2013-03-05) Elric:

Что значит Авторов ???

А отдельных произведений и сериалов это не коснется ?

 
(2013-03-05) Kima Kataya:

А мне казалась имеющаяся система вполне адекватной. Процентов на 80% уж точно. Посмотрим посмотрим)

 
(2013-03-05) george1109:

А вообще, речь-то о чем? ^_^

 
(2013-03-05) creator:

Будет пост в Гласе админа. Так думаю, что завтра-послезавтра, когда доделаю всё. Я там подробно напишу что поменялось.

Данная новость имеет цель успокоить, снять рецидив паники. :-)

 
(2013-03-05) Alex32:

А зачем? Вроде всё замечательно.

 
(2013-03-05) timur-aliev:

то-то смотрю, все мои средние баллы упали. странный перерасчет, только в минус работает???

 
(2013-03-05) kypislona:

ААААААААААА, мой рейтинг упал на 100 пунктов!!!!!!!!!!! "Ненавижу Фантлаб!" (с) :-))):-D:-)))

 
(2013-03-05) darkseed:

Эту фразу в мемы! ))

 
(2013-03-05) kypislona:

причем целиком :-D

 
(2013-03-05) ЭльНора:

Нормальные оценки были.

А теперь с этим перерасчетом даже не знаю, как ориентироваться((.

 
(2013-03-05) jenom:

Ну, возможно, введут что-то вроде байесовской оценки рейтинга, вместо простого подсчета среднего арифметического. ИМХО, это будет правильней)

 
(2013-03-05) ЭльНора:

По моим прикидкам выходит, что в настоящее время (после понижения) рейтинг строится по принципу: у кого из пользователей выставлено больше оценок на сайте, тот правее остальных :-)))

 
(2013-03-05) Мельдар:

Зыков на 145 месте? Справедливость восторжествовала ^_^

 
(2013-03-06) olvegg:

"Солярис" на 12-м месте и "Сумерки" на 2974 — это :cool!:

 
(2013-03-06) Бурундук:

Оценки были ужасные! Классики наравне с каким-нибудь Васей Пупкиным имели 8 баллов>:-| Средняя температура по больнице-очччень информативно

 
(2013-03-06) drenay:

А мне такой подсчет больше нравится! А то не понимал почему допустим Зыков, Кош по рейтингу так высоко, а оценки то у них колеблются от 1 до 10. Как я понял рейтинг сейчас ставится по "средней"оценке за произведение (цикл), выставленный каждым фантлабовцем-это справедливо!

 
(2013-03-06) ЭльНора:

ЦИТАТА: "Оценки были ужасные! Классики наравне с каким-нибудь Васей Пупкиным имели 8 баллов Средняя температура по больнице-очччень информативно"

И что теперь каждую книгу классики считать шедевром для каждого читателя? Личное восприятие побоку? o_O

Не верю, что у Белянина, например, "Меч без имени" средняя оценка 7,17, хотя там 10, 9 и 8 превалируют. Или возьмем "Пришествие Хиспа" Миротворцева. Средняя оценка ж= 7,38 , м= 7, 80 , но общая средняя оценка =6,86 . Я в шоке от такой арифметики.

 
(2013-03-06) suhan_ilich:

Не гадайте, подождите официального объявления creatora.

 
(2013-03-06) тессилуч:

Странно когда в верхней части рейтинга какие-то Горькавые и Осояну. Или Сапковский выше Лема

 
(2013-03-06) Бурундук:

"...И что теперь каждую книгу классики считать шедевром для каждого читателя? Личное восприятие побоку?"

Но, вообще-то, классика-она потому и классика, что является шедевром, проверенным временем. Но речь не о том

 
(2013-03-06) тессилуч:

Поэтому и решили рейтинги пересмотреть:-[

 
(2013-03-06) xotto:

Судя по всему, теперь вес оценки каждого лаборанта зависит от его класса. Эта логика кажется правильной для нулевиков, но дальше работает, мягко говоря, криво.

 
(2013-03-06) Vladimir Puziy:

Да, интересно будет понять логику нынешнего подсчета.

Потому что вот, например, простой расклад: http://fantlab.ru/work85070/details Две девятки и две восьмерки в сумме дают 8,24.

 
(2013-03-06) xotto:

Vladimir Puziy, есть гораздо более нелепые варианты. Один гранд-мастер низкой оценкой забарывает высокие оценки пятерых философов, в результате средняя оценка никак не отображает то, что должна отображать — среднюю оценку.

На популярных авторах/книгах новая система, наверное, работает неплохо. Но на мало- и среднеоценённых получается диковато.

 
(2013-03-06) Vladimir Puziy:

Я просто все не отслеживал, глянул пару-тройку примеров, сильно удивился. Очень сильно. Тем более странно, если это действительно основано на рейтингах: это же порочный круг, человек накручивает рейтинг, выставляя оценки текстам, а затем эти же его оценки имеют больший вес, чем у других. Получается, мнение одних _статистически_ значимей, чем мнение других. Но в том и была соль оценок: они показывали голую статистику, без попытки оценить оценивающих. Для последнего существовали отзывы и плюсы-минусы за них.

В общем, подождем официального объявления, но если все так -- лично для меня "Фантлаб" потеряет еще один раньше очень важный нюанс.

 
(2013-03-06) creator:

Привязки к классу посетителя в методике расчёта рейтинга НЕТ. Поставив кучу оценок вы получите лишь мизерный прирост вашего веса.

Теперь действуют совсем другие, на порядок более важные критерии. Я об этом напишу.

Зачем вы выводы поспешные делаете? Я же написал — всё будет в Гласе.

 
(2013-03-06) Dark Andrew:

2 тессилуч

Обратите внимание, что для оптимального показа надо выставить порог 250, а если вас интересуют именно самые "классики", то порог 500. Что касается Сапковского выше Лема, то что тут странного? Это же рейтинг читателей, а они книги Сапковского оценивают выше.

 
(2013-03-06) Белокнижник:

мне новый рейтинг нравится8-)

 
(2013-03-06) drenay:

Тоже хочется побыстрее официального объявления, а привязка оценок к "философам", "гранд-мастерам", "миродержцам"-это полный бред. Мне понятнее такая арифметика: допустим "Властелин Колец", выставленных оценок 10-1000 оценок, 9-1000 оценок, 6-1000 оценок, выводим среднее арифметическое и получается 8,33. И как говорится: " и волки сыты, и овцы целы". И всем тогда все понятно

 
(2013-03-06) ЭльНора:

Цитата: "Теперь действуют совсем другие, на порядок более важные критерии. Я об этом напишу".

Мне больше среднее арифметическое нравилось. Глянешь — и все понятно. А теперь в голове надо будет держать какую-то супер-формулу. Не понимаю, почему классика должна быть в более привилегированном положении, чем остальные книги. Если уж она так хороша, то оценки скажут сами за себя. По моему мнению, Фантлаб после такого командирского решения потеряет большую часть привлекательности в качестве оценочного ресурса. Получится, что кто-то априори назначил одни книги выше остальных, руководствуясь домостроевскими порядками и памятью поколений.

 
(2013-03-06) Белокнижник:

Я так понял, что среднеарифметический рейтинг больше ориентирован на мнение "максималистов", понравилось — 10, не понравилось — 1, а теперь все как-то подравнялось (ну, мне так кажется).

 
(2013-03-06) ЭльНора:

Подравнялось для книг с большим количеством баллов. А для малооцененных новая система — беда. Возьмем эту книгу http://fantlab.ru/work295323/details . Всего 3 оценки:

10 — 1

5-1

3-1

Итого: 3,76

Это как? Выходит, что мнение одного человека с минимальным баллом ценнее, чем два других?! Даже интересно будет узнать, какой логикой руководстовались при таком подсчете среднего балла.

 
(2013-03-06) Denver_inc:

Здаётся мне, что что-то подобное есть на Кинопоиске.

 
(2013-03-06) Белокнижник:

ЭльНора, для малооцененных любая система несправедлива, ИМХО. А если ориентироваться на ваш пример, то 5-ка для выставившего ее пользователя оценка заметно ниже средней (у него заметно лучше задействован диапазон 6-10), так что, тут скорее два мнения побеждают одно.8:-0

 
(2013-03-06) creator:

Среднюю оценку произведений вернул как было. ЭльНора права — на малооценённых это слишком бросается в глаза. Нас закидают помидорами.

Весовые доли нужны на больших объёмах, где они избавят нас от накрутки, от неадеквата, но при этом будут незаметны — т.е. именно в самом разделе "рейтинги". Вот там теперь они применяются. Как для авторов, так и для произведений.

 
(2013-03-06) ЭльНора:

Белокнижник, из ваших прикидок вывод следующий:

Один использует шкалу от 7 до 10 и 7 у него — ужасная книга. Другой выставляет от 1 до 7 и пару десяток для любимых книг. В итоге 10-ка "мягкого" человека, у которого дифференциация баллов меньше, в общем зачете получается весомее чем 10-ка более сурового критеГа, если смотреть на примере разных книг. o_O Я в этом справедливости не вижу.

 
(2013-03-06) ЭльНора:

"Среднюю оценку произведений вернул как было".

creator, спасибо.

Так реально лучше :-)

 
(2013-03-06) Белокнижник:

ЭльНора, все совсем наоборот, судя по вашему первому примеру. И 5 и 3 соответствуют "очень слабым" книгам по мнению данных в примере читателей, естественно что они перекрывают одну единственную 10-ку, а итоговый рейтинг книги получается "слабая".8-)

 
(2013-03-06) creator:

>> Один использует шкалу от 7 до 10 и 7 у него — ужасная книга.

Вот такие теперь на рейтинги слабо влияют. Очень ценятся те, кто в полной мере используют всю шкалу. Причём с нормальным распределением.

 
(2013-03-06) Белокнижник:

Нас закидают помидорами.(с) А нельзя все-таки хоть иногда новый рейтинг включать8:-0 (хотя, по мне, пример ЭльНоры, как раз говорит в его пользу, но нет так нет), некоторым ведь интересен и такой рейтинг где:

"Солярис" на 12-м месте и "Сумерки" на 2974

upd. или новый рейтинг не коснется только малооцененных авторов (произведения)?

 
(2013-03-06) Dark Andrew:

Не путайте, пожалуйста, оценки на страницах произведений и рейтинги на странице рейтингов.

Оценки произведений останутся по среднему арифметическому, т.к. это на самом деле чистая статистика.

Рейтинги будут с учётом всех поправочных коэффициентов, о которых creator напишет отдельно.

 
(2013-03-06) Белокнижник:

Dark Andrew, ага, разобрался, выглядит психоделично (когда 6,5 выше 6,6) но, пожалуй, на данный момент оптимально (хотя, любопытно было бы видеть оба варианта оценок, и среднюю и с поправочными коэффициентами8:-0)

 
(2013-03-06) xotto:

Dark Andrew, так вопросы-то появились как раз из-за изменений в карточках произведений. Которые сейчас уже откатили назад.

>>Привязки к классу посетителя в методике расчёта рейтинга НЕТ.

creator, извините за поспешное суждение. Спасибо за разъяснения.

>>Очень ценятся те, кто в полной мере используют всю шкалу

Тоже не самое очевидное решение. Получается, если человек не читает то, что ему категорически не по вкусу, и не оценивает то, что не прочёл, доверия к его оценкам меньше.

С другой стороны,

>>Среднюю оценку произведений вернул как было.

если новая система будет работать только для общего рейтинга, то вопросов нет.

 
(2013-03-06) Kima Kataya:

Ребята, не судим раньше времени! Система тестируется. Ждём с нетерпением финальной версии.

 
(2013-03-06) komons:

>>Очень ценятся те, кто в полной мере используют всю шкалу

Хм, ну вот я в основном выставлял оценки от 5 до 10, но не потому, что мне двойку некому поставить, просто оценивал сначала более-менее приличных авторов и произведения, а до "двоечников" просто руки не дошли :) К тому же, если книга лично мне не нравится, но она объективно не столь уж плоха, а может и вообще замечательная, я не буду занижать ей оценку ниже плинтуса, а напишу про это в отзыве. А получается, мнение тех, кто влепил "кол" Солярису ", а 10-ку какой-нибудь "Шпаге Рианона" очень ценится"?

 
(2013-03-06) Белокнижник:

komons, судя по результатам, кол "Солярису" при новой системе ценится меньше, чем ценился раньше;-)

 
(2013-03-06) Бурундук:

Цитирую komons : "...вот я в основном выставлял оценки от 5 до 10, но не потому, что мне двойку некому поставить, просто оценивал сначала более-менее приличных авторов и произведения, а до "двоечников" просто руки не дошли"

А я принципиально стараюсь отстой не читать. И у меня всего одна "4" выставлена. Это же не потому что я "мягкий" читатель. Да и вообще, книга должна оцениваться не по критерию "нравится-не нравится" (уж очень субьективно), а по качеству произведения. Как бы мне не нравился, к примеру, "Страж" Пехова, но я же отдаю себе отчет, что класс данного произведения, мягко говоря, ниже "Соляриса" и "Волшебника Земноморья"

 
(2013-03-06) ЭльНора:

Да и вообще, книга должна оцениваться не по критерию "нравится-не нравится" (уж очень субьективно), а по качеству произведения. Как бы мне не нравился, к примеру, "Страж" Пехова, но я же отдаю себе отчет, что класс данного произведения, мягко говоря, ниже "Соляриса" и "Волшебника Земноморья"

А объективность складывается из суммы субъективностей :-))) . Зачем пытаться заглянуть в чужую голову? Это неблагодарное занятие. И в личных рекомендациях тогда вы получите не те книги, которые вам действительно будут интересны, а те, что по результатам чьих-то измышлений, являются более качественными.

 
(2013-03-06) Славич:

Среди прочего учитывается нормальность распределения оценок, то есть то насколько распределение оценок в профиле пользователя соответствует среднестатистическому по сайту. Иными словами, если человек поставил несколько низких оценок (1-3), заметно больше средних (4-6), много семёрок и восьмёрок, некоторое количество девяток и десяток, то он сильнее влияет на рейтинг. А если человек ставит много единиц и/или десяток, его влияние на рейтинг слабее. При этом важно не само количество оценок, а их распределение.

Такой же алгоритм давно работает при вычислении единомышленников для рекомендаций.

Не знаю, как проще объяснить.

 
(2013-03-06) xotto:

Славич, уже всё понятно. Этот алгоритм адекватен для общего рейтинга, вопросов нет. Просто вчера он внезапно заработал и в отдельных карточках. И для произведений, у которых оценок мало, показался ужасно СТРАННЫМ. Это как противоречие между ОТО и квантовой механикой. При изменении масштаба адекватность куда-то улетучивается.

 
(2013-03-06) creator:

>> Тоже не самое очевидное решение. Получается, если человек не читает то, что ему категорически не по вкусу, и не оценивает то, что не прочёл, доверия к его оценкам меньше.

Да, доверия меньше. Представьте, что вы общаетесь с двумя читателями. Один что ни прочитает, то считает шедевром. Другой может привести в пример кучу книг, которые прочитал и разочаровался. Но у второго есть и шедевры. Не знаю как Вы, но я бы лучше мнению второго доверял, потому как он познал шедевры в сравнении с чем-то. Первый более однобоко оценивает.

>> если новая система будет работать только для общего рейтинга, то вопросов нет.

Да, именно так.


>> я в основном выставлял оценки от 5 до 10

komons, гистограмма распределения Ваших оценок очень близка к общесредней по сайту. А общесредняя и принята за нормальное. ) Доверие Вашей гистограмме будет порядка 98%.

 
(2013-03-06) creator:

Бурундук, у Вас тоже оценки нормально распределены. Доверие порядка 90-92%.

Никто не заставляет пересматривать свои оценки, насильственно лепить колы и двойки. Не нужно! Наоборот, можете хуже только сделать.

 
(2013-03-06) xotto:

>>Один что ни прочитает, то считает шедевром.

Я не о том. Но это и не важно уже. Потому что мотивы каждого отдельного пользователя растворяются и не играют роли, когда речь идёт о достаточно больших числах (с которыми и имеет дело общий рейтинг).

 
(2013-03-06) Vladimir Puziy:

"Да, доверия меньше. Представьте, что вы общаетесь с двумя читателями. Один что ни прочитает, то считает шедевром. Другой может привести в пример кучу книг, которые прочитал и разочаровался. Но у второго есть и шедевры. Не знаю как Вы, но я бы лучше мнению второго доверял, потому как он познал шедевры в сравнении с чем-то. Первый более однобоко оценивает."

Или первый имеет некоторый опыт, который позволяет ему заранее отсеивать плохо написанные книги. Но как раз мнение такого профессионала при такой системе уравнивается с мнением, условно говоря, сверхвосторженного наивного читателя.

Но, опять же, подождем официального подробного объявления, а то спорить в кулуарах -- толку мало.

 
(2013-03-06) Kima Kataya:

Единственные оценки, которые имеет хоть какой-то смысл резать по моему мнению, это "призраки" которые прийдут, поставят кучу десяток чему-нибудь малоизвестному, п (обычно отечественному) и исчезнут либо флудят на форуме.

 
(2013-03-06) Shean:

хм. а не возникнут ли массово вот такие эксцессы: http://fantlab.ru/user96222/markspageall — полезла посмотреть кто это мне единиц налепил кучу, а я оказывается там в хорошей компании...

 
(2013-03-06) Dark Andrew:

Shean — а это вообще прямо mastino писать надо. Явное произвольное изменение рейтинга с произвольным же выставлением оценок. На рейтинг это влиять не будет (алгоритм такое учитывает), но с посетителем такое выставившее надо разбираться.

 
(2013-03-06) xotto:

>>Или первый имеет некоторый опыт, который позволяет ему заранее отсеивать плохо написанные книги

Vladimir Puziy, вот я примерно это же имела в виду.

 
(2013-03-07) grad:

Может как на некоторых киносайтах (весьма известных)) рейтинги зрителей и критиков отдельно)

 
(2013-03-07) komons:

creator

>>komons, гистограмма распределения Ваших оценок очень близка к общесредней по сайту. А общесредняя и принята за нормальное. ) Доверие Вашей гистограмме будет порядка 98%.

Ну, доверие гистограмме — это, конечно, хорошо, а рейтинговый вес "низкий", как я и предсказывал. И вроде, даже, понятно, что надо Брэдбери и прочим Лемам двоечек понавтыкать...   :-)))

 
(2013-03-07) darkseed:

98 низкий? фигасе)

 
(2013-03-07) Kima Kataya:

creator , а где посмотреть свою репрезентативность?) Гиксограмма понятно где, внизу в оценках. Но про проценты релевантности там ни слова.

 
(2013-03-07) komons:

to darkseed:

98 — это, конечно, хорошо, но это просто цифИрка в комментах, а в профиле при этом значилось "низкий".

to Kima Kataya:

рейтинговый вес уже скрыли, чтоб не тревожить впечатлительную общественность, видимо :)

 
(2013-03-07) drenay:

а у меня только что мысль пришла, не знаю удачная или нет и насколько она осуществимая-оставить рейтинговый вес в профиле "низкий", "средний", "высокий", у кого какой есть и если это возможно сделать таблицу с рейтинговым весом. Человек посмотрел в таблицу и может ориентироваться на людей у кого высокий или очень высокий рейтинговый вес и доверять, что отзывы написаны не от балды и оценки проставлены не "от фонаря". Потому что много людей есть на фантлабе , которые ставят оценки на книги, кторые никогда и не читали. С этим я думаю никто не будет спорить, очень много так называемых "призраков".

 
(2013-03-07) komons:

to drenay:

Почему-то не сомневаюсь, что у Вас высокий рейтинговый вес и "оценки не от фонаря" :-)

>>...много людей есть на фантлабе , которые ставят оценки на книги, кторые никогда и не читали.>>

А мне вот любопытны люди, которые ставят "кол" (а я предполагаю, что это очень низкая оценка и произведение, заслужившее её — ужасающее, практически за гранью добра и зла) толстенному роману из большого цикла и продолжают читать все романы того же автора из этого цикла (и не только), выставляя "кол" каждому. Возможны три варианта объяснения такого парадокса, сформулирую их в виде вопросов (к Вам и не только):

1.Это — мазохизм в чистом виде?

2.Просто недостоверная информация, основанная, возможно, на отвлечённых эмоциях, а книги вовсе не так плохи?

3.На самом деле прочитывается одна книга в лучшем случае, а остальные получают балл автоматом по этому впечатлению? Видимо, с целью набрать побольше оценок для статуса, и что, вполне естественно, делается тогда и в случае других оценок во всём диапазоне.

Понятно, что только в первом случае оценка более-менее достоверна, но я себя на месте такого читателя даже представить не могу, ну и не хочу...

 
(2013-03-08) ЭльНора:

3.На самом деле прочитывается одна книга в лучшем случае, а остальные получают балл автоматом по этому впечатлению? Видимо, с целью набрать побольше оценок для статуса, и что, вполне естественно, делается тогда и в случае других оценок во всём диапазоне.

А иногда бывает, что домучила первую часть, чтобы с полным правом влепить кол. Потом приболела, отправила другого человека вместо себя с расплывчатыми инструкциями в платный отдел бумажной библиотеки , а тебе вторую часть тащут по совету библиотекаря :-))) . И деваться некуда — или спать, или за свои же деньги жевать кактус, благо что голова все равно не варит... Хотя жевание третьего кактуса я действительно не понимаю, перебор-с.

 
(2013-03-08) komons:

to ЭльНора:

>> Хотя жевание третьего кактуса я действительно не понимаю, перебор-с.>>

Третьего... А как насчёт 5-го, или 8-го? :-)))

>>И деваться некуда — или спать, или за свои же деньги жевать кактус >>

Этого не понимаю, как бы быстро и много человек не читал, всегда останутся тысячи хороших книг, которые он не прочитает, просто не успеет, зачем "кактусы" жевать и ещё из "платного отдела"? У меня всегда есть несколько сотен непрочитанных книг под рукой (бумажных естественно, про электронные и не говорю). И в любом случае, лучше перечитать что-то старое достойное, чем мучиться над заведомой дрянью. Кто-то из великих сказал, что не жалеет, что не успел прочитать многих книг, а жалеет, что не перечитал некоторых...

 
(2013-03-08) nostradamvs:

Придумать бы какой механизм, который не позволял бы рейтингам "с.т.о.ч.к.е.р.о.в." быть выше рейтингов книг.

 
(2013-03-08) Shean:

8-) а у меня-прекрасной рейтинг подскочил в результате ваших усилий!

 
(2013-03-10) alexnoo:

komons: 3.На самом деле прочитывается одна книга в лучшем случае, а остальные получают балл автоматом по этому впечатлению? Видимо, с целью набрать побольше оценок для статуса, и что, вполне естественно, делается тогда и в случае других оценок во всём диапазоне.

Понятно, что только в первом случае оценка более-менее достоверна, но я себя на месте такого читателя даже представить не могу, ну и не хочу...

++

Ну почему так все спешат и стараются плохое про других подумать и сказать... Во-первых, шкала оценок может быть не "нра / не нра", а по степени значимости книги. И во-вторых, читать он может не значимые книги, и конечно, знать об этом отлично, для развлечения. А потом проставить им справедливые оценки. И тут приходит кто-то, и удаляет его оценки, потому что они ему не нравятся. :-( И спрашивается, зачем их ставить, отзывы писать, и играть вообще в игры кармапоклонников?

 

  Ваш комментарий
Ваше имя:
Комментарий:
доступно после регистрации —>
⇑ Наверх