When discussing the strengths and weaknesses of artificial intelligence, in general, all interviewees mentioned some examples of how algorithms possess power in different situations. Some were worried that recommender systems spy more and more people and create filter bubbles by fragmenting the content based on whom it is distributed for. Some noted that algorithms are developed by capitalist interests which could have an impact on what kind of activity they are favoring over others. One interviewee, with a background in music studies, noted that recommender systems might become more biased to 'stock market' over 'the cathedral'. That is to say that if algorithms favor popularity and commercial interests over editorial logic, they can significantly influence how music is consumed in future.
”I cant’ remember the name of the philosopher right now but he/she had this idea that big data, because it’s developed, I mean all the artificial intelligence is more or less developed by commercial interests. That’s why it has a marketing logic that drives the development of the whole technology. That’s why it’s really important to understand the principles of this logic and how it modifies these systems. - - Well yeah, if we think that artificial intelligence is a product of the capitalist logic, as a result, the gap between the cathedral and the stock market might get too big.” (I7, 10)69
68 ”Tää on nyt vanha juttu mut kyl siit on tullu semmosta yksittäisten raitojen kuuntelua kasvavassa
määrin. Et mä kyl kuuntelen albumeitakin mut yleensä ne albumit on semmosia mitä mä oon kuunnellu jo ennen Spotify-aikaa, semmosia mitä mul on hyllyssä. Mut sit nää suositusjärjestelmän kautta tulleet ni harvemmin mulla on siellä kuuntelussa kokonaisia albumeita niiltä. - - Ja sit klasarikin on menny just sellaseen et okei mä tykkään ton sinfonian kolmannesta osasta ja just tosta bändistä et mä kuuntelen vaan sitä yhtä osaa. Se on semmonen selkee ero kanssa, joka tuntuu et on vahvistunu, tai ei vahvistunu mut ehkä normalisoitunu tässä, et siihen ei kiinnitä huomiota.”
69 ”En just muista hänen nimeään mutta filosofin ajatus siitä että tämmönen big data, koska se on
kehitetty, siis kaikki tää keinoäly on tällä hetkellä enemmän tai vähemmän, sitä kehittää kaupalliset intressit. Niin sillon siinä on semmonen markkinoinnin logiikka mikä ajaa sitä koko teknologiaa eteenpäin. Silloin on äärimmäisen tärkeää ymmärtää ne sen logiikan perusteet ja miten se rupee muokkaamaan sitä järjestelmää. - - Et joo jos ajatellaan niin että keinoäly on tälläsen kapitalistisen logiikan tuote niin sillon ehkä tää katedraalin ja pörssin juopa saattaa eriytyä jotenkin sillä lailla ehkä liikaa.”
One reason for concerns might be that users do not know how these systems work. In the second quote below, and interviewee uses a concept of a ‘black box’ which is to say that we cannot see inside the system and evaluate its core principles. As discussed in literature review, these boxes are commercial products which is why their code is not willingly shared but safely guarded from rival companies.
”- - Speaking of services that are based on that they collect data of people and created models and profiles of them and algorithms that recommend stuff and all the google search results and stuff, I’m more worried about them than gratified.” (I4, 8)
”I find it really interesting. And I think that it should be a thing that should be explained to people, how it works. It’s present in various things but I don’t like that black box policy. - - In my opinion, it would be really important to speak about it in a sense that people could understand how it’s technology that is made for certain purpose and made by humans.” (I7, 9)70
One interviewee noticed that she was constantly recommended a song she did not like at first. After a long period of 'spamming', however, she finally started to like the song but she described the process as “slightly brainwashing”. This is an example of how algorithms can have an impact on the consumption of music of users in a very concrete way.
”I also remember that with a couple of songs it has turned out that when it had recommended them to me, at first I was like ’skip skip, I’m not definitely listening to them but later on I have started to listen to them because it simply spams them to me. I gave up at some point and was like okay, I go them through. And in the end, it has been a decent song and now I listen to it willingly. But that’s kind of brainwashing.” (I8, 5)71
The power of recommender algorithms can be analyzed in light of Gillepie’s (2014) dimensions that make this technology political. Gillespie names six of them but I will go through only the
70 ”- - Aina näissä tämmösissä palveluissa jotka perustuu siihen että ne kerää tietoa ihmisistä ja sen
perusteella ne luo jotain malleja ihmisistä ja profiloi niitä ja algoritmien perusteella suosittelee sitten jotain kamaa ja kaikki google-hakutulokset ja tälläset ni kyllä ne enemmän kuumottaa kun että ois niistä mielissään.”
”Musta se on hirveen mielenkiintosta. Ja musta sen pitäis olla sellanen asia, mitä ihmisten pitäis, mikä pitäis avata ihmisille, miten se toimii. Se on läsnä hirveen monessa asiassa mut mä en tykkää siitä black box -meiningistä. - - Mun mielestä ois tosi tärkeetä että puhua siitä sellasella tavalla että ihmiset ymmärtäis et se on tarkoitusta varten tehtyä ihmisen tekemää teknologiaa.”
71 ”Ja sitte kans se että mä muistan et parin biisin kanssa on käyny sillee että ku se on suositellu niitä
mulle, aluks mä oon vaa ollu että skip skip, et en todellakaan kuuntele ja sitte oon myöhemmin päätyny kuuntelemaan niitä ku se yksinkertasesti spämmää niitä mulle. Mä oon jossain vaiheessa luovuttanu ja ollu sillee että no mä nyt kuuntelen läpi. Ja sit se on olluki ihan hyvä biisi ja nykyään sitä kuuntelee sillee mielellään. Mut tämmöstä lievää aivopesua.”
relevant ones in this context. First, algorithms decide what is included in the ‘index’. In the context of music recommender systems, this could mean that music that has detailed metadata has a better chance of getting into the pool from which music is selected. This was already seen when users talked about different biases: cultural, geographical and genre-related. Second, algorithms try to anticipate the preferences of users (which most likely is based on the user activity) and evaluate the relevance. Evaluation, however, needs certain rules – criteria that users can only guess. Third, algorithms are easily perceived as neutral or objective since they are machines and not humans but as we have seen, there are various biases, commercial for example, that may distort output.