Детали того, что понимается под «сходством», варьируются от системы к системе. В действительности, единственным аспектом получения хорошо работающей системы рекомендаций является наличие соответствующего математического определения сходства. Простейший подход, при котором измеряется средняя разница в оценках, работает достаточно хорошо. Существуют различные приёмы, которые могут использоваться для улучшения качества работы системы, например, такие как введение систематической погрешности против очень популярных объектов: нет особой ценности в рекомендовании людям явных бестселлеров, таких как «Код Да Винчи», так как вполне вероятно, что они о нём слышали.

Преимущество пообъектной фильтрации заключается в том, что этот сложный, тщательно проработанный расчёт сходства требуется делать только время от времени. Тогда, когда пользователь оценивает новой объект – покупая его, присваивая ему баллы, посещая его веб-страницу или как-то ещё – система может просто обратиться к ранее просчитанному перечню объектов, которые также вполне вероятно привлекательны для этого пользователя. Это как раз то, что позволяет Amazon обслуживать 30 млн. покупателей и давать своевременные рекомендации, даже тогда, когда перечень объектов, проранжированных покупателем, меняется, потому что простой вызов веб-страницы с конкретной книгой считается как ранжирование. Все расчёты выполняются мощным сервером Amazon, который создаёт список рекомендованных объектов и накладывает его на следующую веб-страницу, посылаемую на просмотр в пользовательский браузер, аккуратно исключая уже приобретённые объекты.

Наоборот, персональный видео-рекордер TiVo, рекомендующий телепрограммы на основании ваших предыдущих предпочтений в плане просмотра, работает по-другому: рекомендации вырабатываются каждым конкретным TiVo-ресивером (приставкой к телевизору), а не центральным сервером. Сервер генерирует матрицу, которая определяет отношение передач друг к другу в плане их популярности, сродни ранее просчитанному перечню объектов, используемому Amazon-ом для генерирования рекомендаций. Но в данном случае задача выработки рекомендаций возложена на индивидуальные TiVo-приставки, которые используют ту матрицу, вкупе с данными о предпочтениях телезрителя, сохранёнными в них, чтобы предлагать шоу, которые могли бы вызвать зрительский интерес. Вместе с передачей большого объёма работы с сервера на индивидуальные приставки, это имеет и дополнительное положительное свойство – сохранение прайвеси (информации о персональных предпочтения конкретного человека): центральный сервер никогда не хранит персональные данные об отдельных пользователях, а только обобщённую информацию о тенденциях в сфере просмотра.

Это только один из затронутых аспектов проблемы прайвеси, вызывающей большую озабоченность, когда речь заходит о коллаборативной фильтрации: дело в том что, чтобы вырабатывать рекомендации, необходимо собрать в центральном хранилище информацию о большом числе людей. Но есть и другие аспекты. В действительности, схема, предложенная Джоном Кэнни (John Canny) из Университета Калифорнии в Беркли, показывает, что вполне возможно объединить мнения группы людей и вырабатывать для них рекомендации, при этом не раскрывая их собственных персональных предпочтений перед другими.

Каждый человек зашифровывает информацию о себе, используя так называемое односторонне хеширование – функцию, которую очень легко рассчитать в одном направлении, но абсолютно невозможно в другом (по крайне мере, без ключа). Затем вычисления производятся с использованием зашифрованных данных. Это возможно, так как многие современные схемы шифрования имеют полезное качество, заключающееся в том, что производимые с зашифрованными данными вычисления дают тот же ответ, что и манипулирование незашифрованными данными с последующим шифрованием результата. Результирующая матрица рекомендаций затем пошагово дешифруется, так как каждый пользователь может расшифровать только небольшую её часть. В конечном итоге вся матрица дешифруется и становится доступной каждому. Но, говорит Кэнни, « ни на какой этапе незашифрованная информация о предпочтениях пользователя не покидает его собственную машину.»

Он говорит, что схема такого типа имеет преимущество, заключающееся в том, что пользователи могут сохранять свою персональную информацию сами, без необходимости передачи её центральному серверу (например, такому как онлайновый ретейлер), при этом всё ещё пользуясь преимуществами коллаборативной фильтрации. В настоящее время персональная информация о пользователях становится известной нескольким различным сайтам. Доктор Кэнни беспокоится, что это будет способствовать возникновению монополий в рознице, так как они будут иметь большую часть информации для выработки рекомендаций. Его схема демонстрирует, что вместо этого персональная информация могла бы быть собрана самими пользователями. Тогда, ваши читательские вкусы могут быть использованы для выработки рекомендаций посредством обобщения историй ваших покупок с разных онлайновых книжных магазинов.

Заклинивание фильтров

Второй момент, вызывающий озабоченность в контексте коллаборативной фильтрации, заключается в том, что по мере того, как растёт важность таких систем, люди всё чаще могут пытаться манипулировать ими: например, издатели могли бы начать рекомендовать свои собственные книги. В ноябре 2004 г. Майкл О’Махони (Michael O’Mahony) из Университета Дублина опубликовал работу, демонстрирующую, что даже сегодняшние самые усовершенствованные системы коллаборативной фильтрации не достаточно устойчивы к проискам злоумышленников, ищущих возможность нарушить нормальную работу их системы ранжирования. Ни одна из существующих систем не разрабатывается в расчёте на предотвращение их использования злоумышленниками. Можно ли предотвратить такой «рекомендационный спам»?

Нолан Миллер (Nolan Miller) и его коллеги из Kennedy School of Government при Гарвардском Университете уверены, что можно, обрисовав, как это сделать. Их схема использует пробалистические методы установления того, является ли присвоенный балл «честным», через обнаружение необычно выглядящего характера выставления оценок. Например, за один и тот же день были созданы десятки потребительских профилей (аккаунтов), в каждом из которых бестселлер и новая книга имеют высокий балл. Это может быть организованной попыткой издателя направить потребителей по нужному следу. Честные пользователи награждаются, а нечестные наказываются, например, через систему очков, похожую на систему построения лояльности, так что честные пользователи могут заработать скидки или кредит.

Для выработки рекомендаций в такой системе используются только «честно» поставленные баллы, а не потенциально злонамеренные. Система д-ра Миллера ещё не готова для коммерческого применения; например, она делает предположение о статистическом распределении потребительских рекомендаций, которые могут не соответствовать реальному поведению потребителей. Но она указывает на направление исследования, которое могло бы сохранить целостность систем коллаборативной фильтрации в случае атаки. Если рост спама по электронной почте рассматривать в качестве некоторого побуждения к действию, имеет смысл подумать об этой проблеме сейчас, до того, как системы коллаборативной фильтрации получат ещё большее распространение.

Но даже если проблемы прайвеси и злоупотреблений можно преодолеть, то возможно существует предел того, насколько точны рекомендации систем коллаборативной фильтрации. Это возникает из того, что мнения людей меняются. Вы можете поначалу получать удовольствие от альбома и выставить ему высокий балл, но по прошествии нескольких недель вы меняете своё мнение, так как впечатление новизны стёрлось. Но присвоенные вами бал всё ещё стоит.

Недавнее исследование Джонатана Херлокера (Jonathan Herlocker) из государственного Университета Орегона и его коллеги оценили несколько систем по рекомендации фильмов, построенных по методу коллаборативной фильтрации. С использованием 5-балльной шкалы проводилось сравнение оценок, которые пользователи должны были бы поставить конкретным фильмам, исходя из указанных ими предпочтений, с оценками, которые они реально выставили. Прогнозируемые и реальные оценки отличались минимум на 0.73 пункта. Д-р Херлокер делает предположение, что это могло бы являться свидетельством фундаментального ограничения на показатель точности работы систем рекомендаций, основанных на методе коллаборативной фильтрации. По его мнению, нет смысла стараться выдавать максимально точные прогнозы, так как они всё равно не сравнимы по точности с вариантами собственных мнений людей. Возможно, д-р Херлокер прав, или технологиям ещё есть куда развиваться.

Но в любом случае, ценность коллаборативной фильтрации уже признана. Она помогает людям найти то, что они иначе пропустили бы, и помогает онлайновым ретейлерам повысить продажи. Если пользователь поисковика выступает один на один со своим вопросом, то пользователь системы коллаборативной фильтрации – это часть толпы: перескакивая с одной рекомендации на другую, вы можете почувствовать любопытное родство с людьми, думающими подобным же образом, чьё мнение влияет на ваше собственное, и кто, в свою очередь, находится под влияние вашего мнения.