PDF superior Construcció i explotació d'un magatzem de dades amb els resultats dels campionats de Formula 1

Construcció i explotació d'un magatzem de
dades amb els resultats dels campionats de
Formula 1

Construcció i explotació d'un magatzem de dades amb els resultats dels campionats de Formula 1

Al llarg de tot el projecte s’ha realitzat una tasca de recerca i consulta d’informació relacionada amb el disseny multidimensional i els magatzems de dades. Aquesta tasca s’ha realitzat conjuntament amb les tasques definides, i en hores lliures com a tasca de documentació. No s’ha inclòs a la planificació la fita corresponent a la trobada presencial de l’assignatura, donat que es dura a terme en un període fora del calendari laboral definit per al projecte. Segons la planificació establerta anteriorment, s’ha disposat de 95 dies que es tradueixen en 285 hores segons el calendari laboral del projecte per tal de dur a terme amb èxit el desenvolupament del treball de final de carrera.
Mostrar más

65 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

3 In recent years organizations have become aware of the importance of managing their information. Data Warehousing intends to help by organizing data in a coherent and efficient way to ease its analysis. The project "Construction and operation of a data warehouse for statistical analysis of the results of the Championship of Formula 1" is set within this context and aims to design a data warehouse to meet the needs of the Institut Català d'Esports Motor (ICEM) in the management of data relating to Formula 1. The different steps for the creation of a new data warehouse have been executed. First, the analysis of requirements and available data has been conducted. In the second step the data store has been designed and it’s been implemented physically. Then it has been proceeded with the extraction, transformation and loading of the original data (ETL). Finally, series of reports have been created. As a result the users of ICEM have at their disposal a group of reports ready to be consulted. These reports will simplify the analysis of data making the whole process more agile. It has also been implemented an automatic update system data for maintaining the information up to date in the data store.
Mostrar más

57 Lee mas

Construcció i explotació d'un magatzem de dades d'informació cinematrogràfica

Construcció i explotació d'un magatzem de dades d'informació cinematrogràfica

A primera vista es pot observar la part la rellevància que se li atorga a la planificació del projecte i sobre tot a la definició dels requeriments del magatzem de dades. Posteriorment es veuen clarament definits tres camins. El superior té a veure amb la tecnologia que es farà servir. En aquest cas ens ve donada i és el SGBD Oracle Express 10g. El camí inferior està relacionat amb les eines dexplotació de la informació. També es defineix al principi del projecte que es farà servir l‟Oracle BI Discoverer i es demanen els informes que s‟hauran que crear. El camí del mig és el que s‟ha fet servir, hi està especificat el disseny i implementació del model multidimensional i del sistema d‟extracció, transformació i càrrega de dades (ETL).
Mostrar más

54 Lee mas

Construcció i explotació
d'un magatzem de dades per a l'anàlisi
d'informació immobiliària

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'informació immobiliària

Actualment, gràcies a l’abaratiment i a l’increment de prestacions dels equips informàtics, les empreses tenen la capacitat de generar i emmagatzemar grans volums de dades que generalment es troben en sistemes d’informació transaccionals que s’actualitzen contínuament. Però disposar d’aquestes dades no significa necessàriament disposar d’informació. Perquè les dades aportin informació i per tant coneixement per tal de millorar la productivitat, conèixer el mercat i els clients, prendre decisions amb més rapidesa, etc., en definitiva, augmentar la competitivitat, és imprescindible que tinguin una estructura organitzada, integrada, lògica, dinàmica i de fàcil explotació. Això s’aconsegueix amb els magatzems de dades.
Mostrar más

59 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

En conseqüència el fet més probable és que per a mantenir operatiu un magatzem de dades calgui una actualització constant del model ETL i una revisió curosa dels orígens de dades. La tecnologia a usar per explotar la base de dades final i per a executar les tasques OLAP m’ha representat un problema, doncs a la màquina virtual instal·lada l’eina de Pentaho no m’ha funcionat. Finalment vaig optar per seguir amb la solució Microsoft Access, segurament menys potent i menys adaptada a les tasques d’anàlisi i reporting requerides per al projecte, però és la tecnologia a la qual tenia accés real i ha resultat funcional; per això, en el capítol 3 es descriuen mètodes d’exportació i de càrrega de dades per a MySql Workbench encara que finalment he finalitzat el projecte amb la solució de MS Access. La càrrega de dades final s’ha fet a la base de dades magatzem.accdb i he fet els informes amb aquesta aplicació. En la màquina virtual queda creada la base de dades amb Mysql i també tots els arxius de l’àrea de recopilació de dades i la base magatzem.accdb amb els informes i les dades consolidades. Línies d’evolució futura
Mostrar más

33 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

Construcció i explotació d'un magatzem de dades per a l'anàlisi de vendes d'una cadena de supermercats

Ara veurem els informes OLAP que s’han realitzat. Aquests difereixen dels que hem vist fins ara, en que són dinàmics. És a dir, mentre els que acabem de veure són uns informes estàtics, amb els informes OLAP mitjançant les tècniques de slicing, drill- down i drill-up, podem anar canviant de nivell, per veure la informació amb més o menys detall, depenent de les jerarquies que haguem definit prèviament.

61 Lee mas

Construcció i explotació d'un magatzem de dades corporatiu

Construcció i explotació d'un magatzem de dades corporatiu

- Després de revisar l’estructura de les base de dades dels Departaments de Vendes, Marketing i RRHH, i haver parlat amb els usuaris dels tres departaments, s’han pensat en possibles ampliacions de les base existents que aportarien informació molt útil per a una visió completa del negoci, per exemple:

45 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'infraestructures turístiques i pernoctacions

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'infraestructures turístiques i pernoctacions

En la meva feina ja m’he trobat amb reptes d’optimització en el disseny de les BD o d’extracció de coneixement de les BD transaccionals clàssiques. Sobretot aquests últims m’han portat a concloure que per més optimitzada que sigui una base de dades, és pràcticament impossible tenir consultes no materialitzades que extreguin coneixement de les BD transaccionals de manera immediata. Els DW i el seu model multidimensional han estat tota una revelació. El seu joc de desnormalització-optimització en ROLAP obliga a conèixer molt a fons el funcionament dels DBMS, però també dóna uns resultats sorprenentment ràpids i eficients. A part, al tenir un enfocament d’extracció de coneixement des del principi, en comptes de només emmagatzemat d’informació, permet englobar més aspectes d’una organització que permetin visualitzar de de manera més fidel la realitat.
Mostrar más

95 Lee mas

Construcció i explotació d'un magatzem de dades sobre informació estadística de l'NBA

Construcció i explotació d'un magatzem de dades sobre informació estadística de l'NBA

El següent pas es el disseny es el Disseny del Magatzem de Dades. En aquesta part començarem amb el disseny de les Dimensions i Atributs dels elements que han de conformar el magatzem de dades i les Taules de Fets amb on recollirem la informació estadística segons els Indicadors que hem definit. Definirem i continuarem amb l’Extracció, Transformació i Càrrega de les dades (ETL). Un cop arribats a aquest punt, es conforma el Disseny Final del Magatzem de dades (GALAXY SCHEMA).
Mostrar más

55 Lee mas

Construcció i explotació d'un magatzem de dades de planificació hidrològica

Construcció i explotació d'un magatzem de dades de planificació hidrològica

Si en el mateix informe seleccionem “todo” obtenim la suma per anys, així tenim que, a l’any 2005 hi ha un total de 1237,2 el 2004 hi ha 1905,5 el 2003 la suma total es de 1940,1, el 2002 un total de 1640,3 i el 2001 un total de 789,8 cal tenir en compte que per aquest any no tenim totes les mostres mensuals, sols a partir del mes de juliol. En definitiva si contrastem aquestes dades amb les dades de previsió de neu, podem deduir que el 2001 hi va haver un període de sequera, que amb les pluges de la tardo el desembre del 2002 es va començar a recuperar els embassaments, mantenint-se durant tot un any amb un nivell òptim i que gracies a les nevades, fins l’estiu del 2004, iniciant-se llavors un nou període de sequera, que com podem observar continua durant tot el 2005, malgrat la recuperació per les pluges de la tardo que no són suficients.
Mostrar más

68 Lee mas

Construcció i explotació d'un magatzem de dades del sector turístic a Catalunya

Construcció i explotació d'un magatzem de dades del sector turístic a Catalunya

Aquest document s’emmarca dintre les activitats del Treball de Final de Grau (TFG). Concretament, correspon a la memòria final i resumeix els anteriors lliuraments de les diferents fases del projecte: el pla de treball, el disseny i l’anàlisi, i la implantació. L’objecte del projecte és dissenyar i elaborar un magatzem de dades (DW, de l’anglès data warehouse) a partir del material i dels requisits formulats pel client, l’empresa de turisme Grup Líder en Turisme Familiar (GLTM). Amb la creació d’aquest DW es pretén analitzar l’evolució del sector en el decurs dels darrers anys, mitjançant l’accés directe a les dades, amb la creació d’una sèrie d’informes predefinits i amb el disseny d’un model que doni suport a les necessitats de l’usuari.
Mostrar más

84 Lee mas

Construcció i explotació d'un magatzem de dades d'informació cinematogràfica

Construcció i explotació d'un magatzem de dades d'informació cinematogràfica

ƒ Nominat,  nom  del  nominat.  En  el  cas  dels  actor,  actriu  i  director  haurem  d’unificar  els  noms.  Per  exemple,  s’ha  detectat  que  apareix  algun  comentari  juntament  amb  el  nom  de  l’actor  (“(refused  the  award)”).  A  més  poden  aparèixer  dos  noms  conjuntament  en  la  mateixa  nominació  (“Warren  Beatty,  Buck Henry”). 

48 Lee mas

Construcció i explotació d'un magatzem de dades d'informació cinematogràfica

Construcció i explotació d'un magatzem de dades d'informació cinematogràfica

Per tal de unificar el nom dels actors es guardarà el nom amb majúscules per tal d’evitar duplicitats per diferencies entre minúscules i majúscules. Als Excels disposa’m de registres on per una mateixa pel·lícula hi ha diversos actors nominats separats per comes, aquets actors es crearan per separat utilitzat el caràcter “,” com a separador. En aquest cas s’ha detectat que la coma també delimita els actors anomenats NOM,JR, aquest cas s’ha de tenir en conte ja que es tracta de un sol actor.

51 Lee mas

Construcció i explotació d'un magatzem de dades de planificació hidrològica

Construcció i explotació d'un magatzem de dades de planificació hidrològica

 Evolució dels Hm3 d’aigua de neu equivalent prevista per any i embassament. Mostreu, si n’hi ha, els casos de desbordament de l’embassament. L‟aigua de neu equivalent ens ve donat per la formula: (Hm3 d’aigua equivalent per any és igual a la mitjana de la capacitat agregada anual de l’embassament multiplicada per l’estimació de neu de l’any considerat i dividit per 5). L‟estimació de neu es dona anualment. En principi es proveeix com a taula de valors, tot i que el plantejament final serà utilitzar un arxiu d‟intercanvi en format .csv. Enregistrarem aquest valor calculat a la taula de fets en el primer registre de l‟any, es a dir el que pertany al mes de gener. La resta de registres tindran el valor „0‟ en aquest camp. Així utilitzarem un membre calcular que acumuli aquest valor de forma que el seu valor a qualsevol mes sempre serà el valor del mes de gener (o el primer):
Mostrar más

49 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi del sistema de prestacions socials

Construcció i explotació d'un magatzem de dades per a l'anàlisi del sistema de prestacions socials

En la extracció, haurem de portar les dades d’origen cap a unes taules temporals creades per aquest propòsit, i aquest transport es farà mitjançant els arxius de control de carrega que fa servir SQL Loader, als quals fent servir els paràmetres adequats introduirem les dades de tots els arxius de població per comunitat autònoma i any en una única taula, les dades del arxiu de percentatge de població activa les introduirem en una altra taula temporal, i les dades dels arxius de tributació per comunitat autònoma les introduirem en sis taules temporals fent les agrupacions que s’expliquen en transformació. Per tenir un control dels possibles errors s’haurà de encaminar tot arxiu de log o dades mal carregades cap a una carpeta amb aquest nom i l’arxiu portarà el nom de la comunitat autònoma.
Mostrar más

50 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

Discoverer Administrator. Eina per definir el model de dades, els fets, les dimensions, relacions, etc. Te un interfase gràfic molt fàcil de fer servir i permet anar depurant el disseny del magatzem i fer-lo creixa en funció de noves necessitats. Permet també definir els usuaris que tindran accés a les dades i amb quin rol les podran explotar. Discoverer Desktop: Es el producte que permetrà als analistes i usuaris en general

33 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

Construcció i explotació d'un magatzem de dades per a l'anàlisi estadístic dels resultats del Campionat de Fórmula 1

; 9EA D GA98% 8A !%, 9 8%< ########################################################"H ; 9EA 7 ,% '%J9 <' 8 9K !% ! !% ############################################"$ ; 9EA L G,! %?%, '% #######################################################################"D ; 9EA 6 ! 9 ?% !<9 9 8 8 I %% !% %E 9 ##################################"7

49 Lee mas

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'informació immobiliària

Construcció i explotació d'un magatzem de dades per a l'anàlisi d'informació immobiliària

D’altra banda, també hem trobat alguns errors en la definició dels camps, com per exemple immobles amb 1 metre quadrat i import elevat, cosa que ens fa pensar en possibles errors. Una possible solució seria eliminar aquests resultats fins a tenir coherència, o modificar-los amb les dades correctes que ens ha de passar la immobiliària. Nosaltres ens decantem per aquesta segona solució, i ho podríem implantar de 2 maneres:

43 Lee mas

Construcció i explotació d'un magatzem de dades

Construcció i explotació d'un magatzem de dades

tipus de dades i la llargada i precisió de manera que la conversió dels valors Varchar2 importats a IMP cap a la capa STAGE sigui possible. Els registres que no compleixin els criteris de qualitat necessaris per estar a la capa STAGE els deixarem a la capa IMP i els marcarem amb un codi d’error elevat. Així en aquesta capa tindrem una vista dels sistemes operacionals sense errors greus. Finalment l’últim pas serà moure les dades de la capa STAGE a la capa BASE i per fer-ho també farem comprovacions contra les taules de referència de manera que un valor que no tingui referència el marcarem seguint la convenció amb diferents valors (-1 si és un número, ‘-‘ si és un string, ’11.11.1111’ si és un dia etc. Amb això permetem que valors desconeguts facin el seu camí fins al final del magatzem. Això és una decisió política que permet que intenta obtenir com més registres millor a la capa BASE. Això ho fem així perquè una venda per exemple que s’hagi importat al magatzem amb un canal desconegut, no ens interessa deixar-la a STAGE ja que llavors no sortirà a les estadístiques i seria com si no s’hagués produït. Això ens provoca una distorsió molt més gran que no pas el fet de tenir una venta amb un canal
Mostrar más

50 Lee mas

Construcció i explotació d'un magatzem de dades corporatiu per a l'organisme de Salut Pública de la Diputació de Girona

Construcció i explotació d'un magatzem de dades corporatiu per a l'organisme de Salut Pública de la Diputació de Girona

Les dimensions estan íntimament relacionades amb les dades descriptives i defineixen un espai multidimensional que s'anomena cub. Dins el cub, es col·loquen els fets o dades mètriques que es volen analitzar. Cada posició en el cub es coneix com a cel·la, que no s'ha de confondre amb les cel·les d'un full de càlcul, ja que una cel·la d'un cub s'identifica pels valors de les dimensions d'anàlisi que conté. Les dimensions s'utilitzen principalment per seleccionar i agregar dades a diferents nivells de detall. Es podrien equiparar al diferents punts de vista des dels quals es poden analitzar les dades. Els fets, per la seva banda, representen un tema objecte d'anàlisi. Cada fet conté un conjunt de cel·les relacionades per agregacions i tenen atributs anomenats mesures. Els fets i el seu conjunt de dimensions formen el que s'anomena, en termes de disseny conceptual de magatzems de dades, una estrella.
Mostrar más

60 Lee mas

Show all 10000 documents...