Mining Social-Driven Data

Abstract

The Web 2.0 revolution spreading over the Internet has dramatically changed the way data is gathered and processed by web applications. The static, authoritarian model of the Web has been abandoned in favor of dynamic, community-driven model of user-generated content. Social networks appear abundantly in all domains of human activity, presenting users with limitless volumes of data, information, and knowledge. Unfortunately, unearthing the knowledge hidden in vast repositories of social applications, such as wikis, Internet forums, or the blogosphere, is a difficult and challenging task. Structural complexity, huge volume of data to be processed, stochastic nature of social processes underlying the data, all contribute to the hardness of this task. Data mining methods developed for relational data repositories cannot be simply adapted to social-driven data. New models and algorithms are required for discovering knowledge in social-driven data. This dissertation introduces a trust-based approach for mining socialdriven data. The author examines different types of social-driven data, including blogs, Internet forums, and online auctions, and utilizes common underlying notions of trust and credibility to develop algorithms for mining social-driven data. Using the notions of trust and credibility allows to discover various important patterns in social-driven data. In the blogosphere, trust manifests itself as the ranking of blogs based on their relative influence on the blogosphere. In the domain of Internet forums, mining the social network of participants unveils true social roles attributed to particular participants. Finally, trust and credibility form the foundation of reputation models for the participants of online auctions. The dissertation presents new models and algorithms for mining socialdriven data. All algorithms have been implemented and their effectiveness has been verified by thorough experiments. The results of the experimental evaluation of models and algorithms allowed to confirm the main thesis of the dissertation, namely, that trust and credibility were the most important and crucial notions used to create relationships in social-driven data. In addition, it has been proven that trust and credibility might be discovered automatically by using data mining methods on the underlying social networks.

Streszczenie

Rewolucja Web 2.0, Której jesteśmy świadkami w ostatnich latach, dramatycznie zmieniła oblicze Internetu oraz zmodyfikowała sposób gromadzenia i przetwarzania danych pozyskiwanych przez aplikacje internetowe. Statyczny model Internetu ustąpił miejsca koncepcji dynamicznej sieci opartej na społecznościach użytkowników. Sieci społecznościowe pojawiają się w niemal wszystkich obszarach ludzkiej działalności, dostarczając niewyczerpanych zasobów danych, informacji i wiedzy. Niestety, odkrycie owej wiedzy ukrytej w przepastnych repozytoriach aplikacji społecznościowych, takich jak zbiory wiki, fora internetowe, czy wreszcie blogosfera, jest trudnym zadaniem. Trudność owa wynika przede wszystkim ze złożoności strukturalnej danych wykorzystywanych przez serwisy społecznościowe, z ogromnych rozmiarów danych gromadzonych przez te serwisy, a także ze stochastycznej natury procesów społecznych rządzących formowaniem się sieci społecznych. Metody eksploracji danych opracowane na potrzeby odkrywania wiedzy w tradycyjnych, relacyjnych repozytoriach danych nie mogą być w prosty sposób zaadaptowane na potrzeby eksploracji danych społecznościowych ze względu na istotne różnice w sposobie przetwarzanych danych. Konieczne jest, zatem opracowanie nowych, dedykowanych modeli i algorytmów służących odkrywaniu wiedzy w danych społecznościowych. W niniejszej rozprawie zaprezentowano nowe podejście do problemu eksploracji danych społecznościowych. Autor przeanalizował rożne rodzaje danych społecznościowych, w tym blogosferę, fora internetowe oraz aukcje internetowe, identyfikując w nich wspólny pierwiastek zaufania i wiarygodności. Odkrycie relacji zaufania i wiarygodności, w rożny sposób manifestujących się w danych społecznościowych, umożliwiło opracowanie nowych algorytmów odkrywania wzorców w danych społecznościowych. W dziedzinie eksploracji blogów przejawem zaufania jest ranking blogów oparty na względnym wpływie każdego z nich na pozostałą blogosferę. W dziedzinie forów internetowych eksploracja sieci powiązań między uczestnikami w poszukiwaniu przejawów zaufania umożliwiła odkrycie ról społecznych użytkowników w ramach społeczności forum internetowego. Wreszcie, zaufanie i wiarygodność stanowią fundamenty wszystkich modeli reputacji uczestników aukcji internetowych. W rozprawie zaprezentowano wiele nowych modeli i algorytmów eksploracji danych społecznościowych. Wszystkie przedstawione algorytmy zostały zaimplementowane, a ich efektywność potwierdzono eksperymentalnie. Wyniki przeprowadzonych eksperymentów pozwoliły autorowi potwierdzić tezę rozprawy, sformułowaną w rozdziale 1, zgodnie, z którą zaufanie i wiarygodność są podstawowymi czynnikami sprzyjającymi tworzeniu się związków w sieciach społecznych. Ponadto przeprowadzone badania dowiodły, że relacje zaufania i wiarygodności mogą być efektywnie odkrywane za pomocą metod eksploracji danych przystosowanych do przetwarzania danych w środowisku sieci społecznych.