Optimización del filtrado colaborativo basado en factorización matricial mediante la relevancia de las preferencias de los usuarios

Abstract

Abstract: Collaborative filtering based on matrix factorization has become the reference method for the recommendation of products or services due to the high precision of recommendations it generates. The experimental results carried out on the datasets of MovieLens 100K, MovieLens lM and Netflix demonstrate a clear improvement in terms of quality of predictions and recommendations compared to other matrix factorization techniques. Keywords: Collaborative filtering; matrix factorization; gradient descent; recommendation system. En concreto se han seleccionado los siguientes métodos: * Probabilistic Matrix Factorization (PMF) (Salakhutdinov & Mnih, 2007) * Non-negative Matrix Factorization (NMF) (Lee & Seung,

Headnote

Resumen: El filtrado colaborativo basado en factorización matricial se ha convertido en el método de referencia para la recomendación de productos o servicios debido a la alta precisión de las recomendaciones que genera. Estos métodos se encargan de factorizar la matriz que contiene las preferencias de los usuarios en dos nuevas matrices que simbolizan las propiedades de los usuarios y productos o servicios en un espacio de factores latentes. En este trabajo se propone un nuevo modelo de factorización matricial ponderado en función de la preferencia de los usuarios sobre los productos o servicios. Los resultados experimentales llevados a cabo sobre los conjuntos de datos de MovieLens 100K, MovieLens 1M y Netflix demuestran una clara mejoría en términos de calidad de predicciones y recomendaciones frente a otras técnicas de factorización matricial.

Palabras-clave: filtrado colaborativo; factorización matricial; descenso de gradiente; sistema de recomendación.

Abstract: Collaborative filtering based on matrix factorization has become the reference method for the recommendation of products or services due to the high precision of recommendations it generates. These methods factoring the matrix that contains user preferences into two new matrices that symbolize the properties of users and products or services in a space of latent factors. This paper proposes a new matrix factorization model weighted according to the users' preference over products or services. The experimental results carried out on the datasets of MovieLens 100K, MovieLens lM and Netflix demonstrate a clear improvement in terms of quality of predictions and recommendations compared to other matrix factorization techniques.

Keywords: Collaborative filtering; matrix factorization; gradient descent; recommendation system.

(ProQuest: ... denotes formulae omitted.)

1. Introducción

El gran volumen de información disponible en Internet hace que los usuarios inviertan gran parte de su tiempo en buscar para obtener información relevante de esta red. Cada vez hay más productos y servicios disponibles en Internet que son de interés de los usuarios. En general, sus gustos y preferencias son diferentes y, a menudo, contrapuestos. De ahí que, los sistemas de recomendación (RS, por sus siglas en inglés) se hayan convertido en una alternativa para ayudar a los usuarios a obtener información precisa y personalizada de los grandes repositorios de información disponibles en Internet.

Los RS también son denominados filtros, ya que se encargan de filtrar la información irrelevante para los usuarios y dejan pasar únicamente aquella que les puede resultar de interés. Es por ello que los RS se clasifican como (Ricci2011 & Herlocker, 2004): filtrado basado en contenido (CBF, por sus siglas en inglés) y filtrado colaborativo (CF, por sus siglas en inglés). CBF utiliza el contenido de los productos o servicios a recomendar, denominados ítems, para predecir su relevancia respecto del perfil de un usuario, y sólo los ítems que tienen un alto grado de similitud con dicho perfil son recomendados (Chang & Hsiao, 2013). CF calcula las recomendaciones de cada usuario en función de la información de votos históricos. Este tipo de sistema de recomendación utiliza una matriz de votos dispersa en la que se almacena para cada usuario en que medida les gusta cada uno de los ítems disponibles (Bobadilla et al., 2013). Existen varios enfoques que pueden ser aplicados para el procesamiento de la matriz de votaciones utilizada en CF. Por un lado, tenemos enfoques basados en modelos y, por otro, enfoques basados en memoria. También existen métodos de filtrado híbridos (Li et al., 2017), los cuales combinan dos o más enfoques de recomendación para lograr un mejor funcionamiento del sistema. Estos sistemas tratan de sobreponerse a todas las limitaciones que tienen los demás tipos de sistemas de recomendación.

Los enfoques de CF basados en modelos son los que han alcanzado mejores resultados en términos de calidad de recomendaciones. El objetivo general de estos enfoques es construir un modelo de la matriz de votaciones a partir del cual generar las recomendaciones a los usuarios (Koren & Bell, 2009). Los métodos de factorización matricial (MF, por sus siglas en inglés) presentan las mejores prestaciones y, actualmente, atraen el interés de la comunidad científica (Hernando, Bobadilla & Ortega, 2016; Mnih & Salakhutdinov, 2008; Lee & Seung, 2001; Zhang et al., 2011). De acuerdo a (Zhang, Nikolov, & Ganchev, 2017) la razón para que MF sea favorecida sobre otros modelos, no es únicamente por su buen rendimiento y simplicidad, sino también por su capacidad para incorporar información adicional al modelo. En este artículo se propone un nuevo modelo de MF que mejora la calidad de las recomendaciones proporcionadas.

El presente artículo se estructura de la siguiente forma: la Sección 2, presenta la motivación de este trabajo y la hipótesis que se plantea; la Sección 3, detalla el método propuesto; la Sección 4, muestra los resultados experimentales obtenidos midiendo la calidad de las predicciones y recomendaciones del método propuesto sobre diferentes conjuntos de datos; y la Sección 5, refleja las conclusiones de este trabajo.

2. Motivación e hipótesis

El CF basado en MF asume para su funcionamiento que las votaciones que los usuarios realizan en los ítems se encuentran condicionadas por una serie de factores latentes intrínsecos al dominio en el que se producen las votaciones (Salakhutdinov & Mnih, 2007). Esto quiere decir que, cuando un usuario expresa su opinión sobre un determinado ítem, esta opinión se encuentra supeditada a las propiedades ocultas que describen al ítem. Los métodos de CF basados en MF se encargan de encontrar estos factores latentes para construir un modelo a partir del cual realizar recomendaciones a los usuarios.

Matemáticamente, los métodos de MF consisten en encontrar dos matrices P y Q cuyo producto sea aproximadamente idéntico a la matriz de votaciones R (Koren & Bell, 2009):

... (1)

Desarrollando la expresión (1), podemos inferir que la predicción de voto de un usuario u a un ítem i (r) se calcula como:

... (2)

Dónde p representa un vector fila de la matriz P con los factores latentes del usuario u y q. representa un vector columna de la matriz Q con los factores latentes del ítem i.

Por lo tanto, podemos plantear la búsqueda de los factores latentes como un problema de optimización, en el cual se busca minimizar el error cometido en los votos conocidos de la siguiente manera:

... (3)

A esta expresión, generalmente, se le añade un término de regularización para evitar el overfitting:

... (4)

La resolución de este problema de optimización puede abordarse mediante la técnica de descenso de gradiente, para lo cual debemos encontrar la derivada parcial de la expresión expuesta en la ecuación 4 respecto de los vectores p y q.. Al hacerlo, obtenemos las siguientes ecuaciones de actualización para el proceso de aprendizaje:

... (5)

... (6)

... (7)

Donde l y g son dos hyper-parámetros que controlan el proceso de aprendizaje del modelo.

Aunque este algoritmo muestra un buen desempeño en las recomendaciones que proporciona, durante el proceso de entrenamiento asume que todas las votaciones deben influir del mismo modo en la actualización de pu (6) y q. (7). Puesto que los RS tienen como objetivo principal la recomendación de ítems a los usuarios y que estas recomendaciones se realizaran de acuerdo con aquellos ítems que tengan una predicción más alta, es razonable pensar que los votos más altos debería tener un mayor peso en el problema de optimización que los votos más bajos.

En este trabajo planteamos la hipótesis de que es posible mejorar las prestaciones de MF otorgando más relevancia al error cometido en las predicciones de los ítems que interesaron al usuario que al error cometido en aquellos que no lo hicieron.

3. Método propuesto

El método propuesto plantea modificar el problema de optimización empleado en MF (4) mediante la adición de un peso (wu¡) que controle la relevancia que el voto del usuario u sobre el ítem i tiene al error cometido en dicha predicción. Se plantea, por tanto, el siguiente problema de optimización:

... (8)

Aplicando de nuevo la técnica de descenso de gradiente, para determinar las ecuaciones que permiten determinar los parámetros que minimizan la función anterior, obtenemos las siguientes ecuaciones de actualización:

... (9)

... (10)

... (11)

Donde l y g son dos hyper-parámetros que controlan el proceso de aprendizaje del modelo.

El valor de wu¡, de acuerdo con la hipótesis planteada, deberá ser proporcional al valor del voto (wu¡ p ru¡). En este trabajo planteamos utilizar el siguiente peso:

... (12)

Dónde rmax representa el voto máximo posible que un usuario puede realizar sobre un ítem determinado.

4. Resultados

Con el fin de corroborar el efecto positivo de las modificaciones realizadas en el algoritmo de CF basado en MF, se ha realizado un estudio experimental mediante el cual se pretende responder la hipótesis planteada en el presente artículo.

4.1.Configuración de los experimentos.

Los experimentos ejecutados han sido diseñados con el fin de comparar la calidad de las predicciones y recomendaciones proporcionadas por el método propuesto frente a otros modelos de factorización matricial. En concreto se han seleccionado los siguientes métodos:

* Probabilistic Matrix Factorization (PMF) (Salakhutdinov & Mnih, 2007)

* Non-negative Matrix Factorization (NMF) (Lee & Seung, 2001)

* Bayesian Non-negative Matrix Factorization (BNMF) (Hernando, Bobadilla & Ortega, 2016)

Para evaluar el carácter generalista del método propuesto los experimentos se han ejecutado con tres conjuntos de datos diferentes: MovieLens 100K, MovieLens 1M y Netflix. Los principales parámetros de estos conjuntos de datos se encuentran en la Tabla 1. Nótese que para el conjunto de datos de Netflix se ha seleccionado un subconjunto reducido de los usuarios del mismo, debido a limitaciones de cómputo. En todos los conjuntos de datos se ha empleado un 20% de los usuarios como usuarios de test y un 20% de los ítems como ítems de test, definiéndose así un subconjunto de datos de test que viene dado por la relación entre estos usuarios e ítems de test.

Tanto el método propuesto como los métodos con el que se compara disponen de hyperparámetros para su configuración. En el método propuesto y en PMF se ha fijado el valor de g = 0.01 y l = 0.055. En BNMF se ha fijado el valor de a= 0.7 y b= 5. En todos los métodos se ha limitado el número de iteraciones durante el aprendizaje del modelo a 50. Estos parámetros se han seleccionado con el fin de maximizar el rendimiento de todos los métodos evaluados.

Todos los experimentos han sido llevados a cabo con la librería CF4J (Ortega, Zhu, Bobadilla & Hernando, 2018). Para facilitar la reproducibilidad de los experimentos, se proporciona el código fuente de los mismos en https://github.com/ferortega/weightedmatrix-factorization.

4.2.Calidad de las predicciones.

El primer experimento se centra en evaluar la calidad de las predicciones proporcionadas por el método propuesto. Empleamos el Error Medio Absoluto (MAE, por sus siglas en inglés) para este fin. Definimos el MAE de las predicciones de un sistema de recomendación como:

.... (13)

Donde U simboliza el conjunto de usuarios y MAEu representa la diferencia media en valor absoluto entre los votos de test del usuario u y la predicción de los mismos:

.... (14)

Siendo I el conjunto de ítems de test votados por el usuario u.

Los métodos evaluados disponen de un hyper-parámetro que permite definir el número de factores latentes en los que se factoriza la matriz de votaciones. Este hyper-parámetro tiene una alta dependencia respecto al conjunto de datos utilizado. Con el fin de ajustar este hyper-parámetro y medir la calidad de las predicciones proporcionadas por cada método, se ha evaluado el MAE de cada conjunto de datos realizando variaciones del número de factores.

La Tabla 2 contiene el error medio absoluto cometido en las predicciones realizadas en el conjunto de datos de MovieLens 100K. Se puede observar que el método propuesto obtiene los mejores resultados cuando el número de factores es 11, obteniendo el error más bajo de todo el experimento sobre este conjunto de datos. El resto de métodos evaluados obtienen peores resultados, independientemente del número de factores empleados.

La Tabla 3 contiene el error medio absoluto cometido en las predicciones realizadas en el conjunto de datos de MovieLens 1M. El método propuesto logra los mejores resultados del experimento en este conjunto de datos cuando se emplean 13 factores. De nuevo, el método propuesto obtiene el menor error global en la calidad de las predicciones, obteniendo un menor error para todos los factores aplicados.

La Tabla 4 contiene el error medio absoluto cometido en las predicciones realizadas en el conjunto de datos de Netflix. Los mejores resultados globales se alcanzan empleando el método propuesto con 7 factores. Al igual que en los conjuntos de datos anteriores, el método propuesto supera a los métodos con los que se compara.

Los experimentos realizados demuestran una mejora en la calidad de las predicciones empleando el método propuesto. En todos los conjuntos de datos analizados se han mejorado el MAE respecto de otros métodos de MF.

4.3.Calidad de las recomendaciones

El segundo experimento plantea evaluar la calidad de las recomendaciones proporcionadas a los usuarios del sistema de recomendación. Las medidas de calidad de las recomendaciones permiten evaluar la satisfacción de los usuarios respecto de una lista finita de ítems recomendados. En este experimento se evaluarán tanto la calidad de la recomendaciones, mediante la precisión, como la calidad de las listas de recomendaciones, mediante la medida de nDCG.

La precisión del sistema se calcula de acuerdo a:

... (15)

Donde U simboliza el conjunto de usuarios y precision @N representa la precisión de las N recomendaciones recibidas por el usuario u:

... (16)

Siendo RU el conjunto de N ítems recomendados al usuario u y q el umbral que indica si un ítem ha satisfecho o no al usuario.

Por otro lado, el nDCG del sistema se calcula de acuerdo a:

... (17)

Donde nDCG @ N representa el nDCG de las N recomendaciones recibidas por el usuario u y se define como:

... (18)

Siendo DCGu @ N y IDCGu @ N obtenidos a partir del siguiente modo:

...

Denotando xup al p-ésimo ítem recomendado al usuario si los ítems se ordenan de mayor a menor en función de su predicción (ru¡) y yup al p-ésimo ítem votado por el usuario si los ítems se ordenan de mayor a menor en función de su voto (ru.).

Para evaluar estas medidas de calidad se ha fijado el umbral para decidir si una recomendación es correcta o incorrecta como q= 4. Del mismo modo, se ha fijado el número de factores latentes a 9 en MovieLens 100K, 12 en MovieLens 1M y 11 en Netflix. Estos valores se han fijado para ofrecer los mejores resultados con todos los métodos evaluados.

La Fig. 1 contiene los resultados de precisión y nDCG para el conjunto de datos de MovieLens 100K empleando diferente número de recomendaciones. Se observa que el método propuesto obtiene los mejores resultados de precisión junto con PMF. Además, el método propuesto mejora a todas las demás alternativas al evaluar la calidad de las listas de recomendaciones con nDCG.

La Fig. 2 contiene los resultados de precisión y nDCG para el conjunto de datos de MovieLens 1M empleando diferente número de recomendaciones. El método propuesto y PMF son los métodos que mejor calidad de recomendaciones presentan al obtener la mayor precisión. Así mismo, el método propuesto obtiene los mejores resultados cuando se mide la calidad de las listas de recomendaciones con nDCG.

La Fig. 3 contiene los resultados de precisión y nDCG para el conjunto de datos de Netflix empleando diferente número de recomendaciones. Tal y como sucede en los otros conjuntos de datos evaluados, la calidad de las recomendaciones ofrecidas por el método propuesto iguala los resultados de PMF y supera notablemente a NMF y BNMF. El método propuesto también presenta el mejor resultado con nDCG.

Estos experimentos demuestran que el método propuesto obtiene los mejores resultados al evaluar la calidad de las recomendaciones y las listas de recomendaciones.

4. Trabajos relacionados

A continuación se muestra una serie de estudios recientes que utilizan la factorización matricial (MF) en el campo de los sistemas de recomendación:

En el trabajo realizado por (Zange & Kosaraju, 2019), se propone tres sistemas de recomendación y presenta una nueva estrategia que integra el conocimiento del dominio para nuevos usuarios en un sistema de recomendación basado en aprendizaje automático para usuarios existentes. Usando el conjunto de datos Tweetings de películas, los autores implementan cada sistema de recomendación y generan un sistema potenciado que aborda los problemas causados por los sistemas de recomendación actuales.

Así mismo, en el trabajo presentado por (Chen et al., 2013) se propone un método de factorización matricial funcional general, que incluye modelos convencionales de factorización matricial como sus casos especiales. Ellos proponen un algoritmo basado en la potenciación del gradiente para resolver eficientemente el problema de optimización.

En (Yuan et al., 2017) proponen un recomendador potenciado colaborativo basado en características llamado BoostFM, que integra la potenciación en los modelos de factorización durante el proceso de clasificación de ítems. BoostFM es un marco potenciado adaptativo que combina linealmente múltiples recomendadores de componentes homogéneos, que se construyen repetidamente sobre la base del modelo de factorización matricial individual mediante un esquema de re-ponderación.

El trabajo realizado por (Nguyen & Takasu, 2019) presenta la potenciación de la predicción de votos con datos de clic y contenido textual, el modelo aprende las representaciones de usuario e ítem conjuntamente desde la matriz de usuario-ítems, contenido textual y matriz de clics del ítem construida a partir de datos de clic.

Podemos encontrar otros modelos basados en MF como el presentado por (Hernando et al., 2016) los cuales proponen una técnica bayesiana basada en MF para predecir los gustos de los usuarios en RS, este método se basa en factorizar la matriz de votaciones en dos matrices no negativas cuyos componentes se encuentran dentro del rango [0, 1] con un significado probabilístico comprensible.

De manera similar, un algoritmo mejorado de factorización matricial probabilístico llamado MPMF fue propuesto por (Zhang & Liu, 2014) el cual determina el valor óptimo de dimensión tanto del vector de características del usuario como del vector de características del ítem a través de experimentos.

En el trabajo presentado por (Tiwari & Potter, 2015), proponen un sistema de recomendación para el usuario combinando el enfoque de filtrado colaborativo con datos de transacciones como el voto estimado, la información demográfica del usuario y la similitud de los ítems. Por otro lado, (Kumar, Girase & Mukhopadhyay, 2015) presenta un estudio sobre el rol de la factorización matricial en filtrado colaborativo, donde los modelos de factorización matricial se presentan como un SVD para direccionar los desafíos de los algoritmos de filtrado colaborativo, que pueden servir como una hoja de ruta para la investigación en esta área.

En (Ju et al., 2015) presentaron un modelo unificado que combina la factorización matricial no negativa multitarea y los sistemas dinámicos lineales para capturar la evolución de las preferencias del usuario. Específicamente, las características del usuario y del ítem se proyectan en el espacio de factor latente, factorizando las matrices de co-ocurrencia en una matriz común de factor de ítem y múltiples matrices de factores-usuario.

Otro trabajo que usa MF es el presentado por (Kumar, 2016), el cual propone un modelo de factor latente que calcula la precisión y la eficiencia reduciendo el número de características latentes de los usuarios o ítems que lo hacen menos complejo que el SVD regularizado. En el enfoque propuesto, el número de factores latentes de los ítems varía según el conjunto de datos, pero el número de factores latentes del usuario es constante e igual a uno. De esta manera, este modelo disminuye el número de factores latentes para entrenar en comparación con la SVD regularizada.

Por otro lado, (Li et al., 2017) presentan un modelo híbrido de CF incorporando tanto métodos basados en eventos y en la vecindad basada en el usuario, dentro de la factorización matricial para resolver el problema de predecir la influencia social de los usuarios en los próximos eventos. Así mismo, (Gu, Zhou, & Ding, 2010) proponen un modelo unificado para el filtrado colaborativo basado en la factorización matricial no negativa ponderada basados en grafos. El método propuesto no solo hereda las ventajas del método basado en modelos, sino que también posee los méritos del método basado en memoria, la cual considera la información del vecindario.

Autores como (Jung & Lease, 2012) proponen un algoritmo de factorización matricial probabilística local (LPMF, por sus siglas en inglés), que divide toda la matriz en un cierto número de matrices locales y combina estas soluciones óptimas locales de manera ponderada.

5. Conclusiones

En este trabajo se propone un nuevo modelo de filtrado colaborativo basado en MF ponderado, el cual otorga mayor relevancia al error cometido en las predicciones de los ítems, que fueron de interés para los usuarios que al error cometido con aquellos que no lo fueron.

Los resultados de los experimentos muestran que este modelo provee mejoras en la precisión de las predicciones (MAE), para todos los conjuntos de datos analizados en comparación con otros métodos de factorización matricial.

En cuanto a la precisión de las recomendaciones, el modelo propuesto presenta mejores o iguales resultados a los obtenidos con PMF y supera notablemente a los métodos basados en factorización matricial no negativa como NMF y BNMF. Además, los experimentos muestran que el modelo planteado demuestra una mejora en la calidad de las listas de recomendaciones sobre los conjuntos de datos MovieLens 100K, MovieLens 1M y Netflix.

Como trabajo futuro, el modelo propuesto puede ser utilizado en combinación con otras técnicas, como por ejemplo métodos bayesianos para predecir los gustos de los usuarios y proporcionar explicaciones sobre las recomendaciones.

References

Referencias

Ricci, F., Rokach, L., Shapira, B., Kantor, PB. (2011). Recommender Systems Handbook. (Ricci F, Rokach L, Shapira B, Kantor PB, eds.). Boston, MA: Springer US. doi:10.1007/978-0-387-85820-3

Herlocker, JL., Konstan, J., Terveen, LG., Riedl, JT. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems, 22(1), 5-53. doi:10.1145/963770.963772

Chang,T., Hsiao, W. (2013). LDA-based Personalized Document. In Proceedings of the PACIS.

Bobadilla,J., Ortega, F., Hernando, A., Gutiérrez, A. (2013). Recommender systems survey. Knowledge-Based Systems, 46, 109-132. doi: 0.1016/j.knosys.2013.03.012

Li, X., Cheng, X., Su, S., Li, S., Yang, J. (2017). A hybrid collaborative filtering model for social influence prediction in event-based social networks. Neurocomputing, 197209, doi:io.ioi6/j.neucom.20i6.i2.024

Koren, Y., Bell, R., Volinsky, C. (2009). Matrix Factorization Techniques for Recommender Systems. IEEE Computer Society, 42(8), 42-49.

Hernando, A., Bobadilla, J., Ortega, F. (2016). A non negative matrix factorization for collaborative filtering recommender systems based on a Bayesian probabilistic model. Knowledge-Based Systems, 97, 188-202. doi:10.1016/j.knosys.2015.12.018

Mnih, A., Salakhutdinov, R. (2008). Probabilistic matrix factorization. In Advances in neural information processing systems, 1257-1264.

Lee, D. D., Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in neural information processing systems, 556-562.

Zhang, L., Chen, Z., Zheng, M., He, X. (2011). Robust non-negative matrix factorization. Frontiers of Electrical and Electronic Engineering in China, 6(2), 192-200, doi:10.1007/s11460-011-0128-0

Zhang, H., Nikolov, NS., Ganchev, I. (2017). Exploiting User Feedbacks in Matrix Factorization for Recommender Systems. In: Proceedings of the 7th International Conference on Model and Data Engineering, 235-247, Barcelona, Spain. Springer International Publishing, doi: 10.1007/978-3-319-66854-3

Salakhutdinov, R., Mnih, A. (2007). Probabilistic Matrix Factorization. In Proceedings of the 20th International Conference on Neural Information processing Systems, 1257-1264, USA: Curran Associates Inc.

Ortega, F., Zhu, B., Bobadilla, J., Hernando, A. (2018). CF4J: Collaborative filtering for Java. Knowledge-Based Systems, 152, 94-99.

Zange Tsaku, N., Kosaraju, S. (2019). Boosting Recommendation Systems through an Offline Machine Learning Evaluation Approach. In ACM Southeast Regional Conference, 182-185, Kennesaw, GA, USA, doi: 10.1145/3299815.3314454

Chen, T., Li, H., Yang, Q., Yu, Y. (2013). General functional matrix factorization using gradient boosting. In 30th International Conference on Machine Learning, pp. 436-444, Atlanta, Georgia, USA.

Yuan, F., Guo, G., Jose, JM., Chen, L., Yu, H., Zhang, W. (2017). BoostFM: Boosted factorization machines for Top-N feature-based recommendation. In International Conference on Intelligent User Interfaces, Proceedings IUI, 45-54, doi:10.1145/3025171.3025211

Nguyen, T., Takasu, A. (2019). Boosting the Rating Prediction with Click Data and Textual Contents. arXiv:190807749. http://arxiv.org/abs/1908.07749.

Zhang, Z., Liu, H. (2014). Application and Research of Improved Probability Matrix Factorization Techniques in Collaborative Filtering. International Journal of Control and Automation, 7(8), 79-92. doi:10.14257/ijca.2014.7.8.08

Tiwari, SK., Potter, H. (2015). An Approach for Recommender System by Combining Collaborative Filtering with User Demographics and Items Genres. International Journal of Computer Applications, 128(13), 16-24.

Kumar Bokde, D., Girase, S., Mukhopadhyay, D. (2015). Matrix Factorization Model in Collaborative Filtering Algorithms. In 4th International Conference on Advances in Computing, Communication and Control (ICAC3'15).

Ju, B., Qian, Y., Ye, M., Ni, R., Zhu, C. (2015). Using Dynamic Multi-Task Non-Negative Matrix Factorization to Detect the Evolution of User Preferences in Collaborative Filtering. PLoS One, 10(8). doi:10.1371/journal.pone.0135090

Kumar, B. (2016). A novel latent factor model for recommender system. JISTEMJournal of Information Systems and Technology Management, 13(3), 497-514. doi:10.4301/S1807-17752016000300008

Gu, Q., Zhou, J., Ding, C. (2010). Collaborative filtering: Weighted nonnegative matrix factorization incorporating user and item graphs. In Proceedings of the 10th SIAM International Conference on Data Mining, 199-210, Columbus, Ohio, USA.

Jung, HJ., Lease, M. (2012). Improving Quality of Crowdsourced Labels via Probabilistic Matrix Factorization. In Proceedings of the 4th Human Computation Workshop (HCOMP) at AAAI, 101-106, Toronto, ON, Canada.