Новый алгоритм вычисления

Издательства

загрузка списка...


Вы здесь: Авторские колонки FantLab > Авторская колонка «creator» > Новый алгоритм вычисления средней оценки произведения
Поиск статьи:
   расширенный поиск »

Новый алгоритм вычисления средней оценки произведения

Статья написана 24 сентября 2017 г. 16:39

Друзья, мы перешли ко второму этапу борьбы с накруткой средних оценок и рейтингов. Четыре года назад мы разработали и внедрили более корректный алгоритм вычисления рейтинга авторов, который минимизирует влияние преднамеренных манипуляций. Сейчас мы изменили также формулу расчёта средней оценки произведений, заменив её на средневзвешенную. Весовые коэффициенты для каждой оценки складываются из ряда факторов, которые занижают влияние оценки при подозрении на попытку манипуляции над рейтингами. К примеру, если регистрируется посетитель, ставит единицы всем произведениям одного автора, и больше ничего — вес такого будет нулевым. Это классический пример, но это далеко не единственные критерии, и алгоритм гораздо сложнее.

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее, но при росте числа оценок всё большее значение имеет доверительный вес, линейно и плавно переводя алгоритм от простого среднего к средневзвешенному. На странице детализации рейтинга произведения можно увидеть старое значение средней оценки — посмотрите там абзац «Обратите внимание!».

Мы надеемся, что новый алгоритм позволит сделать рейтинги более честными, лишёнными умышленных «вбросов» со стороны.





11909
просмотры





  Комментарии
Страницы: 1234567
Ссылка на сообщение27 сентября 2017 г. 19:34
В связи с нововведениями с сегодняшнего дня на сайте не будет ни одной новой моей оценки. Вот и все, что я могу сказать по этому поводу.
свернуть ветку
 
Ссылка на сообщение28 сентября 2017 г. 17:05
Не знаю как сайт это переживёт :-)))
 
Ссылка на сообщение28 сентября 2017 г. 17:44
Не спорю. Но это единственное, что под силу маленькому винтику: принимать решения за себя. Глядишь, и другим надоест быть людьми второго сорта.
 
Ссылка на сообщение28 сентября 2017 г. 17:53

Ужас.
 
Ссылка на сообщение28 сентября 2017 г. 17:55
То есть вы из накрутчиков?
 
Ссылка на сообщение28 сентября 2017 г. 19:54
Оценки ставил искренне, так что нет. Но догадываюсь, что новый алгоритм считает, что я завышаю отдельным авторам, хотя ставлю по своим субъективным впечатлениям от прочитанного.
 
Ссылка на сообщение28 сентября 2017 г. 20:12
max, у Вас стандартный вес доверия оценкам, как у всех. Поверьте, занижается он только в крайних случаях, где совсем всё плохо.
PS: глянул оценки. Вообще почти идеальное распределение.
 
Ссылка на сообщение28 сентября 2017 г. 20:49

цитата max

Но догадываюсь, что новый алгоритм считает

Ну, вот КАК?! Как вы догадываетесь???


Ссылка на сообщение27 сентября 2017 г. 20:22
Интересная дискуссия здесь показала ... что большинство высказавшихся признают важность ОТЗЫВОВ и не видят большого смысла в ОЦЕНКАХ ... и это понятно все мы легко кликаем на циферку ... поскольку она безлична ... но писать отзыв часто не хотим ведь он выдаёт нас с ног до головы ... как говорил царь ... чтобы дурь каждого была видна ... :)) Мне кажется что нет смысла заморачиваться над совершенствованием алгоритмов оценок ... надо просто отменить начисление за них баллов ... а баллы за отзывы наоборот поднять. Creator, что Вы об этом думаете ?
свернуть ветку
 
Ссылка на сообщение27 сентября 2017 г. 21:36
оценки нужны для подбора рекомендаций. За оценку и так капает меньше, чем за отзыв, это честно.
 
Ссылка на сообщение27 сентября 2017 г. 23:04
В рейтинге посетителей есть некто А Попов (33 года), который нагнал себе за счет оценок аж 3 место. Как можно верить таким оценкам
 
Ссылка на сообщение27 сентября 2017 г. 23:11
3-ий месяца? ну, оно ж само уйдет
 
Ссылка на сообщение28 сентября 2017 г. 02:58
Я имею в виду общий рейтинг Фантлаба (Посетители). Где он поставил 36300 оценок. Я не думаю, что им столько прочитано.
 
Ссылка на сообщение28 сентября 2017 г. 03:18
А какую выгоду он от этого получил? Если отсортировать рейтинг по числу комментариев, скажем, то на втором месте окажется вовсе не Попов, а небезызвестный писатель-активист Богданов Борис Геннадьевич, а если «по сумме баллов за отзывы», то на третьем месте вместо Попова будет замечательная наша primorec, чьи рецензии я регулярно читаю.
«По авторским колонкам» на пятое место выводит вас,
«По авторским страницам» — другие лица
и так далее.
Так что же третье место в одном из видов сортировки пользователей даёт Попову? Ничего. Даже медальки нету виртуальной.
Так зачем переживать?
(Кстати, не так уж Попов бесполезен. Он занимает 49-е место по аннотациям. 304 аннотации сделал! Разве это плохо?)
 
Ссылка на сообщение28 сентября 2017 г. 03:38
Я говорю о том, не думаю что он всё прочитал то, что оценил. Поэтому оценкам веры нет-накрутка. За 60 лет ещё можно столько прочитать и оценить.
 
Ссылка на сообщение28 сентября 2017 г. 03:58

цитата тессилуч

не думаю что он всё прочитал то, что оценил

ну почему же? Дурацкое дело нехитрое:
«
Стихотворение:   16225
Рассказ:   9504
Микрорассказ:   3662
«
А у меня:
Стихотворение:   740
Рассказ:   3431
Микрорассказ:   592
Поэтому отстаю от Александра Попова. И сильно. :-(((:-D

Говорила мне учительница литературы в школе: «Читайте больше стихи, дети». А я ей не верил. Вот и расплачиваюсь теперь 60 каким-то местом в суперважном рейтинге на интернет-сайте. Вся жизнь, можно сказать, прошла не так. :-(((
 
Ссылка на сообщение28 сентября 2017 г. 04:11
Ради неизвестной науке справедливости, возможно, стоит потребовать от администрации изменения системы начисления баллов?
Скажем, за оценку стихотворения = 0,1 балл, за микрорассказ = 1 балл, за рассказ = 2 балла, за повесть = 3 балла, за роман = 5 баллов?
 
Ссылка на сообщение28 сентября 2017 г. 04:39
Согласен с вами.;-)
 
Ссылка на сообщение28 сентября 2017 г. 08:01
кстати может быть и так, да
 
Ссылка на сообщение28 сентября 2017 г. 08:46
Баллы ничего не стимулируют. За аннотации дают огромное количество баллов, но всё равно аннотаций не хватает. Мне в обзорах новинок постоянно для процентов 20-30 новинок приходится писать аннотации самому.

А оценок я не ставлю совсем, не хочу получать за них баллы.
 
Ссылка на сообщение28 сентября 2017 г. 17:15

цитата ziza

Баллы ничего не стимулируют.

Для большинства.
Но есть пользователи, которые за ними гонятся 8-)
Это не я, если чё :-)))
 
Ссылка на сообщение28 сентября 2017 г. 18:01
Пусть тогда аннотации пишут. За них больше баллов дают.

На сайте очень много книг без аннотаций.
 
Ссылка на сообщение28 сентября 2017 г. 17:13

цитата тессилуч

не думаю что он всё прочитал то, что оценил. Поэтому оценкам веры нет-накрутка

да, то что вам что-то кажется — это весомый аргумент

цитата тессилуч

В рейтинге посетителей есть некто А Попов (33 года), который нагнал себе за счет оценок аж  3 место.

Вам реально не всё равно?

Даже если он накрутил, вы это не докажете.

Неужели кому-то интересны эти рейтинги???
 
Ссылка на сообщение28 сентября 2017 г. 17:15
Надо как-то совершенствовать сайт. Ведь он посвящен фантастике. За державу обидно.8:-0
 
Ссылка на сообщение28 сентября 2017 г. 18:15
Вот админы постарались улучшить. А сколько недовольных сразу? Дело неблагодарное...
 
Ссылка на сообщение28 сентября 2017 г. 18:34
Скромнее надо быть. Улучшить, но не объявлять этого публично.

Ни одно доброе дело безнаказанным не останется.
 
Ссылка на сообщение28 сентября 2017 г. 05:57
Не знаю, я лично, например, отзывы как правило не читаю, ибо легко можно наткнуться на неприкрытый спойлер. Не всегда, но можно.
Только после прочтения для сравнения впечатлений, но выбирать по ним книгу... упаси, Боже.
А что касается оценок, то высокой рейтинг на Фантлабе меня лично мало когда обманывал. При том, что на Кинопоиске вкусы часто расходятся с его обитателями, здесь я доверяю вкусам аудитории. Конечно, есть и недооцененные и низкооцененные книги, которые я бы оценил побольше. Но, если у произведения рейтинг 8,5 и выше, это уже гарантия качества.
 
Ссылка на сообщение28 сентября 2017 г. 17:43

цитата Ro Man

А что касается оценок, то высокой рейтинг на Фантлабе меня лично мало когда обманывал. При том, что на Кинопоиске вкусы часто расходятся с его обитателями


Вывод? Надо отдать Кинопоиск в лапы Фантлабу :-D


Ссылка на сообщение27 сентября 2017 г. 21:42
Shean не совсем так: за поставленную оценку произведению: 5
за написанный отзыв о произведении: от 0.1 до 10 (в зависимости от длины текста)
Один клик для оценок даёт вам 5 ... а чтобы получить 5 за отзыв надо попотеть ... :))
свернуть ветку
 
Ссылка на сообщение27 сентября 2017 г. 21:43
:-D значит, я все время длинные писала...


Ссылка на сообщение28 сентября 2017 г. 15:18
   Более объективная оценка произведения могла бы быть если читатель имел бы возможность дать дифференцированную оценку по нескольким показателям — однозначно ему понятным.
     Ориентироваться же на «рекомендации» данные при существующей и озвученной системе оценок — вообще фикция.
свернуть ветку
 
Ссылка на сообщение28 сентября 2017 г. 15:41
Само по себе не такая уж плохая мысль ввести доп параметры при оценке. Например: мир, персонажи, сюжет, качество языка, перевода.

Проблема в том, что база уже огромная и долго будет заполняться. И как тогда учитывать старые оценки, чьи авторы никогда не зайдут повторно, чтобы их откорректировать к новому виду. В целом эта не та система, которую получится навесить на уже готовый и долгоживущий проект.


Ссылка на сообщение28 сентября 2017 г. 17:54

цитата creator

Поскольку шкала может быть только одна: 1..10, и её нужно использовать в полной мере. Если Вы внутри этой шкалы создаёте для себя свою собственную (например, 5..8), то это уже Ваша проблема, а не остальных. Сайт не может догадаться, что 5 для вас низшая оценка, а 8 — высшая.

Угу. Вот поэтому, попытавшись как-то пару лет назад конструктивно обсуждать алгоритм рекомендаций, я это дело бросил за бесперспективнстью. Потому что расхождения фундаментальны, они прям философские и мировоззренческие. И заключаются в дилемме: «Сайт для пользователя или пользователь для сайта?» Увы, опыт показывает, что «комплекс сисадмина» необорим. (На него же выше натолкнулся Майкл Гелприн.) «Я сделал классный продукт, потому что я крут и знаю, что сделал классный продукт! А что клиентов он не устраивает — это вина клиентов! Они не так оценивают, не те шкалы применяют, и вообще должны быть такими, как я считаю нужным, а не такими, какие есть!» Рассуждай так мой продавец — был бы уволен в 24 часа. Но ФЛ — не мой бизнес. Так что остается вздохнуть и сказать: ну что ж, не работает сервис — и бог с ним, свет клином не сошелся, есть много способов искать для себя книги.
Замечу только, что шкалу от 1 до 10 используют считанные единицы. И как раз для них система корреляций не cработает вообще, поскольку у подавляющего большинства средняя оценка гораздо выше 6, а обычно и выше 7. Понимаете ли, все создают для себя внутри 1..10 собственную шкалу, вот такие вот у сервиса пользователи, блин, неправильные... А сервис великолепен, о!
PS «Догадаться», какая у юзера шкала, сайт может элементарно: посчитав среднюю и дисперсию.
свернуть ветку
 
Ссылка на сообщение28 сентября 2017 г. 18:03

цитата anagor1

Понимаете ли, все создают для себя внутри 1..10 собственную шкалу

Что за исследование? Приведите источники.

цитата anagor1

шкалу от 1 до 10 используют считанные единицы

Тысячи, а то и десятки тысяч.

цитата anagor1

А что клиентов он не устраивает — это вина клиентов!

Собирайте единомышленников, пишите аргументированную (!) петицию. Я посмотрю сколько будет подписавшихся. Спорим, единицы?

Добавлю. Недовольство у народа возникло не из-за нововведения, а из-за комментариев, где истеричные паникёры сразу стали кричать «нас дискриминируют! мы для них люди второго сорта!». Ёлы-палы, расчёт средней по весовому доверию — общепризнанная практика. В статистике применяется повсеместно. Вы когда опрос проходите, натыкаетесь на схожие вопросы, призванные присвоить вам величину лживости. И он же используется а) для отсечения вас, если величина выше пороговой и б) для весового среднего. Почему никто по результатам опроса не кричит, что его права занижены, что его назвали человеком второго сорта?

Таким образом всё это недовольство — есть эффект цепной реакции, которую вы сами и создали. Один крикнул «наши права ущемляют» — и понеслось.
Весь это дет.сад мне напоминает мультик (вот не могу вспомнить как назывался) — «Мама, он и меня посчитал!»...
 
Ссылка на сообщение28 сентября 2017 г. 18:12
«Козлёнок, который считал до десяти». Даже у него была шкала от 1 до 10.
 
Ссылка на сообщение28 сентября 2017 г. 18:17
:-D Спасибо!
 
Ссылка на сообщение28 сентября 2017 г. 18:08
Наверное, так не получится. Сейчас матожидание и дисперсия одни, а потом пользователь ещё добавит оценки, и оба параметра изменятся.

Если так делать, то после первого же подсчёта придётся данному пользователю принудительно ограничить шкалу, чтобы не ставил оценок вне своего интервала.
 
Ссылка на сообщение28 сентября 2017 г. 19:12

цитата anagor1

А что клиентов он не устраивает — это вина клиентов! Они не так оценивают, не те шкалы применяют, и вообще должны быть такими, как я считаю нужным, а не такими, какие есть!» Рассуждай так мой продавец — был бы уволен в 24 часа.

Такое ощущение, что у вас Фантлаб платный :-D
 
Ссылка на сообщение29 сентября 2017 г. 10:33
Бесплатный, но с большими амбициями:-)))
 
Ссылка на сообщение30 сентября 2017 г. 16:06
надо еще помнить, что изрядный треугольник с основанием внизу от оценок отрезает требование дочитывать до конца. Я НЕ БУДУ дочитывать до конца то, что за поставлю единицу, если мне за это не заплатят большие деньги. А нет дочита — нет оценки.
 
Ссылка на сообщение30 сентября 2017 г. 17:05
В том и дело не поставил оценку получи книгу в рекомендацию а кнопки уберите эту гадость (неосилил) нет потому люди и ставят колы я так думаю.
 
Ссылка на сообщение30 сентября 2017 г. 22:27
почему нет? я регулярно этой кнопкой пользуюсь!


Ссылка на сообщение28 сентября 2017 г. 18:34

цитата creator

Один крикнул «наши права ущемляют» — и понеслось.

Причём здесь права ... Вы сосредоточились на ОЦЕНКАХ как главном достижении Фантлэба ... а многие считают этот параметр как минимум противоречивым ... отывы на произведение написаны человеческим языком и прочитав несколько из них можно составить представление о Реальном содержании ... здесь дисперсия и стандартное отклонение непричём ... :))
свернуть ветку
 
Ссылка на сообщение28 сентября 2017 г. 18:36

цитата sanhose

Вы сосредоточились на ОЦЕНКАХ как главном достижении Фантлэба

Вот с чего Вы это взяли? С того, что из тысячи задач по плану у меня таки дошли руки до оценок, спустя много лет?
 
Ссылка на сообщение28 сентября 2017 г. 18:40
creator я очень уважаю Вашу деятельность ... искренне потрясён объёмом проделанной работы и считаю Ваше создание Фантлэб замечательным ресурсом ... но к мнениям по конкретным деталям Вам надо бы прислушиваться ибо «Клиент всегда прав» ... ;))
 
Ссылка на сообщение28 сентября 2017 г. 18:43
Дело в том, что те, кто доволен нововведением, либо поставили лайк, либо просто промолчали. Я же вижу процентик недовольных, который всегда есть. Что ни делай.
Алгоритм, кстати, подкрутил. Теперь более лояльный. Веса практически идентичны у всех. Обнуление веса — только в самом очевидном случае накрутки.
 
Ссылка на сообщение28 сентября 2017 г. 18:49
Вот это отлично ... меня лично возмутила оценка на «Гриаду» ... не знаю Ваши предпочтения в чтении но я посвятил много сил на Вашем сайте отстаивая это произведение и увидев дополнительное резкое падение оценки (см. мой пост выше) я взорвался ... ;))
 
Ссылка на сообщение28 сентября 2017 г. 18:51
Колпакова если, то было 6.3, стало 6.2. Трагедии нет )
 
Ссылка на сообщение28 сентября 2017 г. 18:58
Но было 5.9 ... подкрутка немного помогла ... :))


Ссылка на сообщение29 сентября 2017 г. 03:04

цитата creator

Вот с чего Вы это взяли? С того, что из тысячи задач по плану у меня таки дошли руки до оценок, спустя много лет?


??? что это подразумевает?
как неискушенному обывателю достичь понимания этой сакральной фразы?

а что делалось в течении этих «спустя много лет»?

когда искала книги и читала отзывы на них, то в гугле всегда на первое место выскакивал фанлаб именно с отзывами-комментариями к книгам.
потом благодаря другу, зарегистрировалась, то на первое место для зарегистрированного пользователя всегда выходят оценки...

что на фанлабе делается кроме как оценок, отзывов?
ведь чтобы пользоваться какими то дополнительными услугами, то нужно выставить 200-300 оценок, как я узнала недавно, и здесь об этом спрашивала.
свернуть ветку
 
Ссылка на сообщение29 сентября 2017 г. 07:13

цитата zdraste

а что делалось в течении этих «спустя много лет»?


Вот здесь то, что делалось:
https://fantlab.ru/news

А чтобы были библиографии, серии, авторские колонки, рубрики и прочее, надо написать программы, которые помогают всё это редактировать, хранить и показывать всем.

цитата zdraste

ведь чтобы пользоваться какими то дополнительными услугами, то нужно выставить 200-300 оценок, как я узнала недавно, и здесь об этом спрашивала.


Оценки можно и не ставить. И отзывы писать необязательно.

Для доступа к каким-то дополнительным возможностям (например, возможности классифицировать произведения) надо набрать баллы, а их можно получить и без оценок. Например, писать сообщения на форуме или сочинять рецензии к произведениям или находить ошибки и писать заявки на их исправление.
 
Ссылка на сообщение29 сентября 2017 г. 11:24

цитата zdraste

на первое место для зарегистрированного пользователя всегда выходят оценки...

Это ещё почему? ???

цитата zdraste

что на фанлабе делается кроме как оценок, отзывов?

Форум огромнейший есть тут 8:-0
А ещё ФЛР :-)))


Ссылка на сообщение29 сентября 2017 г. 10:55
Прошу прощения за изложение ниже некоторых из аксиом сбора и обработки статистических данных:
Для того, чтобы сделать корректный прогноз и дать корректные рекомендации требуется наличие большого объема самых разносторонних данных. В части целей (имеющейся системы оценок) озвученных администрацией Фантлаба эти данные должны содержать:
— формирование оценки по нескольким четким параметрам, каждый из которых допускает минимум возможных отклонений в толковании посетителем сайта
— блок демографических данных по посетителю:
как минимум
— пол
— возраст посетителя ставящего оценку, при этом отдельной проблемой встает учет — выставляется ли оценка непосредственно по прочтении книги или она дается на основании своих детских воспоминаний
   — неплохо бы уровень образования и сферу его деятельности, хотя бы на уровне предпочтений «гуманитарий\технарь», «физик\лирик»

   Таких данных у создателя системы нет и, у меня лично сложилось такое впечатление, он принципиально не понимает необходимости их наличия.
Отсюда вывод — проделанная работа огромна и безусловно доставила большое удовольствие программисту в части реализации озвученных алгоритмов, но она абсолютно бесполезна с т.з. практического использования её посетителями сайта.
свернуть ветку
 
Ссылка на сообщение29 сентября 2017 г. 11:11
нет, всё ровно наоборот.
Как раз по прочитанным книгам и оценкам можно (с некоторой вероятностью) определить:
— пол
— возраст
— образование
— детские воспоминания.

Как говорится, «скажи мне, кто твой друг (единомышленник), и я скажу тебе, кто ты».

Именно так работают многие системы... ну, скажем, определение личности в детективах: что надето, что в карманах, какие часы на руке — из этого делают выводы о характере и роду деятельности. Помните Холмса и часы? Как он определил и пьянство хозяина, и его нужду (закладывал в ломбард) и т.п.
Теоретически, при существенном объёме прочитанных книг, можно не только определить прошлое человека, но и предсказать его поведение, то есть прорицать будущее.
Во как! :-D
 
Ссылка на сообщение29 сентября 2017 г. 12:26

цитата TargaM

чтобы сделать корректный прогноз и дать корректные рекомендации требуется наличие большого объема самых разносторонних данных

Нововведение не касается системы рекомендаций. Только средней оценки пр-й.


Ссылка на сообщение29 сентября 2017 г. 13:49

цитата creator

>> шкалу от 1 до 10 используют считанные единицы
Тысячи, а то и десятки тысяч.

Используют, но с перекосами. Меня, больше всего после накрутки, напрягают оценки пользователей по принципу нравится 10, не нравится 1. Еще, пусть меньше, отсутствие гауссового распределения оценок пользователя, когда на 10-ку приходится больше половины, а иногда и ¾ от всех оценок.
Такое, что читатель не видит разницы между книгами на 10, маловероятно. Буквально недавно был диалог с одним знакомым:
– что лучше X или Y?
– конечно X, и заметно! Y — так, неплохо, но без претензий.
– так почему у тебя для обоих оценка 10?
– эээ, ну так обе хороши. Понравились.
Это как раз тот случай, когда 80% – 10, 10% – 9, 5% – 8, 3% – 7, ну и остальные 2% размазаны на 4-6 балла.

Поэтому не говорите, что личный стиль не сказывается на репутации произведения и не должен быть учтен в расчетах. Да, обработка оценки и выдача рекомендаций, весьма непростая математика. Надеюсь, что вы в ней разобрались.

ЗЫ. Больше всего разочаровала ваша фраза:«считаю, что он (алгоритм) близок к идеальному.» Нет предела совершенству!
свернуть ветку
 
Ссылка на сообщение30 сентября 2017 г. 16:07

цитата Lecron

Меня, больше всего после накрутки, напрягают оценки пользователей по принципу нравится 10, не нравится 1. Еще, пусть меньше, отсутствие гауссового распределения оценок пользователя, когда на 10-ку приходится больше половины, а иногда и ¾ от всех оценок.

Это ещё может быть связано с тем, что недочитанным произведениям выставлять оценки нельзя. Не дочитал — не оценил. Вот и выходит, что большинство оценок положительные. Иногда слишком положительные.
А ещё не обязательно же выставлять оценки всему прочитанному. Может, кто-то ставит только то, что особо запомнилось-понравилось.

Вообще, очень не хватает при оценивании графы «не смог дочитать» :-)))
 
Ссылка на сообщение1 октября 2017 г. 16:05
Если выставляют по памяти, для «запомнилось-понравилось», то это никак не несколько сотен оценок. Как например пример «Крайне экстремальный» из моего коммента ниже, с почти 800-ами оценками.

Если недочитал, что тоже вероятно, то можно не использовать какую-то нижнюю часть диапазон, как например у меня.

Но в целом, для среднего пользователя, какбы он предварительно ни выбирал книгу для прочтения, пик должен приходится на диапазон нормально-хорошо или примерно 6-8 баллов. Еще могу понять большое количество «так себе» с рейтингом 4-5, но как ни странно, такого почти не встречается. А вот доминирование 10-ок, которые можно описать как «шикарно, лучше не бывает», это рейтинговая аномалия, которая должна быть учтена при расчете средней, даже если это не накрутка.
 
Ссылка на сообщение1 октября 2017 г. 16:31
Отчего ж аномалия? Десятки вполне могут доминировать, и тому есть вполне логичные объяснения.
1. Книги с низкими оценками (5 и ниже) просто-напросто могут не дочитываться, соотвптственно — низкие оценки — не ставиться.
2. Книги, которые оцениваешь на 10 — крепко запоминаются. И даже если книга прочитана давно, впечатление сохранилось, оценку можно ставить смело. Книга же, даже оцененная по прочтению на 6-8 баллов по прошествии времени вполне может подзабыться и остаться неоцененной.
3. Прочитал новую интересную книгу — книжка впечатлила, тут же зашел на ФЛ, выставил баллы. А ради средненькой — лень и оценку ставить.
4. Каждый всё-же подбирает себе чтение по-вкусу. То есть, начиная читать, читатель уже предварительно отфильтровал для себя эту книгу. Если «читательские фильтры» подобраны правильно, то большинство прочитанных книг будет где-то на 8-10.
 
Ссылка на сообщение1 октября 2017 г. 17:01

цитата razrub

То есть, начиная читать, читатель уже предварительно отфильтровал для себя эту книгу.


Так точно. Я рекомендациями не пользуюсь, выбираю книги сам, и ни разу не пожалел о своём выборе. С книгами, что мне предлагали прочитать другие, так хорошо не было.

Тут возможны два исхода.

1.Начиная читать, уже предполагаешь, чего можно в ней ожидать. Если ожидания оправдываются, хвалишь себя за догадливость и на радостях ставишь автору десятку.

2.Автор делает неожиданный сюжетный вираж и выходит интереснее, чем ожидал. Тут уж автору полагается десятка за доставленное удовольствие.

Третьего не дано. Если ожидал чего-то, а автор не справился, то сам читатель виноват. Выбрал для чтения невесть что. Оценку не ставим совсем.

А лучше оценок не ставить вовсе. На самом деле оценки ставишь не автору, а себе. Выставляешь на всеобщее обозрение свою глупость, отсутствие эстетического вкуса и злобный характер. Обидеть литератора дело нехитрое.

Хорошо бы рекомендациям оценки тоже поставить, чтобы узнать, насколько верно они попадают в точку. Это могло бы улучшить систему рекомендаций. Отдельно считать ничего не надо: получил рекомендацию, прочитал рекомендованную книгу, поставил книге оценку. Оценка книге будет совпадать с оценкой рекомендации. Надо только собрать все такие оценки отдельно и посмотреть, насколько они близки к максимальной оценке.
 
Ссылка на сообщение1 октября 2017 г. 17:07
Я вот как раз дочитала книгу по рекомендациям. Пророчили, что я поставлю 8. А я оценила только на 6. 8:-0
 
Ссылка на сообщение1 октября 2017 г. 17:43
Вас можно поздравить.

Когда у читателя большая разница между предсказанной и выставленной оценкой, это означает, что система рекомендаций ошиблась и что читателю лучше самому выбирать себе чтение, а не полагаться на единомышленников.

Раз он вышел из кластера единомышленников, то класс его как читателя вырос. Единомышленники бывают только у новичков в искусстве книжной премудрости.
 
Ссылка на сообщение1 октября 2017 г. 18:09
Я не про ЧАСТНЫЙ стиль оценок и их причины, а про его влияние на ОБЩЕЕ среднее. Поэтому и критерии привожу другие. Основное возражение, шедевров (10 баллов) не может быть много. Вот от этого и надо плясать. Начиная с — запомнилось != шедевр.

Ниже я привел 4 стиля оценок. Представьте, что две условно одинаковые для общества книги, одну оценил 1,2 и 3 читатель (5, 7, 10 баллов) , а вторую — 2, 3 и 4 (7, 10, 10 баллов). И вот уже они отличаются. Отличаются кардинально. Одна имеет среднюю 7.3 балла, а вторая 9 баллов.
Поэтому система определения средней оценки, обязана учитывать различие стилей головосвания.
 
Ссылка на сообщение1 октября 2017 г. 19:14

цитата Lecron

две условно одинаковые для общества книги


Раз априори известно, что для общества книги одинаковые, то зачем тогда нужны оценки?

Подкручивание результатов при помощи весовых коэффициентов, фильтров антиподхалим или учёта различия стилей голосования всегда является той же накруткой, с которой ведётся борьба. Учёт стиля голосования означает дискриминацию голосующих, при этом одним из них даётся преимущество перед другими.

Реальной накруткой является лишь выставление оценок одним физическим лицом под разными виртуальными масками. И победить это можно только одним способом. Не охотой за двойниками. А учётом каждого значения в шкале оценок только один раз.

Например, произведению выставили оценки: 1, 1, 1, 2, 2, 5, 5, 5, 7, 8, 8, 9, 10. Средняя оценка получается 64/13=4,923. После нормализации остаются оценки 1, 2, 5, 7, 8, 9, 10. Средняя оценка получается 42/7=6. Сколько бы голосующие не выставили единиц/десяток, учтена она будет только один раз.
 
Ссылка на сообщение1 октября 2017 г. 19:56
Не туда пошел разговор. Идеально нормализовать и устранить «заскоки» невозможно, главное минимзировать их количество. То есть устранить влияние экстремумов, по каким бы причинам они не возникли.

Нужен профиль среднего пользователя. Его средняя оценка и кв.отклонение, причем раздельно для положительного и отрицательного, изначально допуская несимметричность распределения. После этого, приводим абсолютное значение оценки конкретного пользователя к этому среднему, нормализуя его.
Потому что важна не именно абсолютное значение, а то, какие произвдения голосующий считает одинаковыми, какие хуже, а какие лучше. Где вы здесь дискриминацию увидели?
 
Ссылка на сообщение2 октября 2017 г. 00:13
Мы изначально приняли за аксиому, что распределение оценок должно быть нормальным (по Гауссу). Тогда матожидание и дисперсия его однозначно определяют, и нормализовать распределение можно очень просто, вычислив эти два параметра и сгенерировав по ним распределение по Гауссу. Все выбросы при этом погасятся.

Но почему оно должно быть нормальным? Распределение Гаусса непрерывное, там возможны любые значения, не только целые. Оно хорошо для погрешности измерений физических величин.

Но у нас оценки дискретные, целые числа от 1 до 10. Тут больше подходит какое-нибудь распределение Пуассона, возможно даже, что и в многомерном варианте.

И разобраться в причинах, почему ставятся именно такие оценки, наверное, придётся. Выбросы могут возникать по причине, что мы неправильно выбрали тип распределения, вот некоторые значения в картину и не укладываются. А потом попробовать смоделировать процесс выставления оценок.

Можно подойти к задаче иначе. Считать, что оценки — это смесь полезного сигнала и шума, и попробовать их разделить.
 
Ссылка на сообщение2 октября 2017 г. 11:48
Согласен со всем.
Оно изначально не нормальное. Оно левосторонне ассиметричное (максимум смещен вправо). И возможно надо брать не среднее, а медиану.

Можете это проверить и разобраться. Постройте график по всем пользователям и посмотрите. По оси X оценка, по Y – количество оценок. Точка – нормализованное количество оценок конкретного пользователя для данного балла.
Под нормализацией понимаю приведение к единому количеству. Например максимальное количество оценок среди всех пользователей равное 10000. Тогда для пользователя Z, его количество по каждому баллу равно: макс / общее количество у пользователя * количество для балла.

Кстати, было бы интересно этот график распределения увидеть.
 
Ссылка на сообщение2 октября 2017 г. 00:24

цитата Lecron

Потому что важна не именно абсолютное значение, а то, какие произвдения голосующий считает одинаковыми, какие хуже, а какие лучше.


Тогда пятёрка одного голосующего будет отличаться от пятёрки другого. А максимальные оценки любых двух голосующих считаем одинаковыми, независимо от их величины. И минимальные тоже.

Это работало бы, если бы не появлялось новых оценок. Со временем максимум может только возрастать, а минимум падать. Когда-нибудь у всех посетителей минимум достигнет 1, а максимум 10. Так зачем такие сложности, если можно сразу всем выставить шкалу от 1 до 10 ?

Если сейчас посетитель ставит оценки от 3 до 8, то ничто не мешает ему в будущем ставить 1 и 10. Может быть он ещё не прочитал свои худшую и лучшую книги.
 
Ссылка на сообщение2 октября 2017 г. 12:02
Естественно, пятерка одного будет отличаться от пятерки другого. Вопрос в другом. Насколько она СЕЙЧАС отличатеся по смыслу и насколько будет отличаться ПОТОМ. Почему-то первую часть в критике нормализации всегда упускают.

Тем более, что не надо приводить конкретные случаи и пытаться каждый такой учесть в расчетах. Это статистический анализ. Работающий на уровне множеств, а не конкретных случаев. И он точно улучшит ранжирование произвдений. Даже если для отдельных пользователей даст большую ошибку чем сейчас.

Да, профиль распределения может изменится, но какова вероятность? И никто не мешает периодически его пересчитывать, например раз в пол-года, чтобы устранить накопившуюся ошибку и следующие его оценки начать применять с другими коэффициентами. А раз в полтора года, пересчитывать еще и среднюю по книгам.
 
Ссылка на сообщение2 октября 2017 г. 12:08
Что интересно. Для целей позиционирования и ранжирования произведений, это имеет смысл как раз при малом количестве оценок. При большом, сотни, а еще лучше тысячи оценок, инициатива вообще не имеет смысла. Индивидуальная стилистика будет сглажена массовостью и можно просто считаь среднюю.
Но программисты сделали наоборот, при малом считается средняя, а при большом сложные алгоритмы.
Не понимаю!


Ссылка на сообщение29 сентября 2017 г. 14:23
Вдогонку к предыдущему.
А можно ли вручную посчитать «среднюю»? Меня не интересует сам алгоритм, интресен его результат.
Есть четыре разных стиля оценок:
https://fantlab.ru/user30937/marks Равномерный
https://fantlab.ru/user46444/marks Нормальный
https://fantlab.ru/user76245/marks Экстремальный
https://fantlab.ru/user143024/marks Крайне экстремальный.
Они соответсвенно поставили 5, 7, 10, 10 (т.е. наиболее вероятную свою оценку, означающую примерно одинаковое отношение к книге). Насколько «средняя» будет близка к 6?
Страницы: 1234567

⇓ ⇑ Наверх