Concepto de estándares de calidad

116 

8.2 Research design and rationale   

The Health Study research design was the case study evaluation of a retrofit trial. The Health Study  was a during‐trial (Sandelowski 1996) mixed methods retrofit intervention evaluation in which a  quasi‐randomised controlled trial and a phenomenological enquiry were undertaken concurrently  for the purpose of complementarity (Greene, J. C., Caracelli & Graham 1989). This design was  appropriate for understanding the effectiveness of residential energy efficiency measures on indoor  warmth, affordability of fuel and health of the low‐income elderly or frail householders. 

Onwuegbuzie and Leech (2004) explain that the significance of quantitative and qualitative 

evaluations differ and argue that the value of mixed methods analyses is the ability to enhance the  interpretation of the significance of the study as a whole. For the inferences to be legitimate, the  analytical methods had to be appropriate to the question, appropriate to the type of data and  applied accurately (O'Cathain 2010).  

The present case study had a single‐case embedded research design (Yin 2014). The ‘case’ was  defined as the retrofit trial; that is, the outcomes of the retrofit only group as compared to the  control group, which were part of the broader ESS study. Each household represented an embedded  unit of analysis. The basic framework of the case study was an experiment that satisfied the criterion  of temporality. Temporality, meaning that the cause needed to have been present before the effect  was detected, is a key criterion in assessing the causality of the impacts in epidemiological studies  (Lucas & McMichael 2005; Rothman & Greenland 2005; Susser 1991). The independent variable of  the experiment consisted of energy efficiency measures, such as insulation and draught‐proofing  that were implemented in the intervention group. The unit of analysis for the quantitative analysis  was the study group; that is, the intervention or control group. The unit of analysis for the 

explanations was the individual household. The objective of the study was to capture changes in key  variables over time, to test the influence of the retrofit activities on the outcomes, and to show how  householder practices may have affected the outcomes.  

The evaluation was conducted using both quantitative and qualitative methods pre‐ and post‐

intervention. A review of occupant feedback methods in 2010 found that qualitative studies that  examined the occupant perception after constructions works had been completed, were common,  yet contextual explorations of occupants’ practices before renovations were rare (Gupta & 

Chandiwala 2010). Pre‐ and post‐intervention qualitative and quantitative methods to inform the  change in building performance and occupants’ response have been recommended (Gupta & 

Chandiwala 2010). First examples of this approach in residential energy efficiency improvement have  been published (Chiu et al. 2014; Johnson, V, Sullivan & Totty 2013). Thus, the evaluation in this case  study used objective pre‐and post‐intervention indoor temperature, energy consumption and  validated health outcome measures that were integrated with a qualitative, phenomenological  enquiry to gain insight into the nature and meanings of householder practices, and the perception of  the householder of the changes from the building improvements.  

The phenomenological enquiry adopted the interpretative, also called hermeneutic, approach. 

Phenomenology is the study of people’s conscious and unconscious experiences and their meanings  (Holt 2008). The interpretative approach provided a ‘learning story’, set in real life with ordinary  characters and bridging the two worlds of theory and practice (Janda & Topouzi 2015). The interview  and survey questions were developed from an extensive literature review and based on the 

conceptual model. The questions guided the participants’ descriptions of practices and causal  mechanisms of their actions.  The researcher tried to avoid biasing the participants during interviews  by taking on the role of the ignorant observer. However, the researcher’s prior knowledge came to 

117  the fore when reflecting on the participants’ narratives, in seeking indications of the open and covert  influences of social and cultural context on the practices of participants and in identifying the 

meanings of the retrofit intervention for the lives of the householders and the implications of the  findings for practice (Lopez & Willis 2004; Mayoh & Onwuegbuzie 2013).  

8.3 Methods   

This research used primary data in the form of householder surveys and interviews as the main  methods of data collection. Secondary data on the homes’ energy efficiency ratings, householder  demographics, indoor temperatures and electricity and gas consumption were provided by SECCCA. 

8.3.1 Participant selection logic   

The participants in this study were older and/or frail people on a low‐income living independently. 

The participant selection logic was governed by predicted vulnerability and the potential to detect  benefits. Vulnerability addresses the variances in exposure to risk factors among groups or 

individuals and is the sum of the individual’s sensitivity and resilience. People who are exposed to  excessive indoor cold or heat may be considered vulnerable. On the premise that poor energy  thermal performance of homes causes inadequate indoor temperatures, people who live in  inefficient homes may be considered vulnerable. The elderly may be considered sensitive to  excessive cold or heat due to their impaired thermoregulation, lack of agility and physical fitness  and, at times, due to the nature of their medication (Smolander 2002). Income may be considered a  resilience factor. Low‐income households may compromise on technical thermoregulation; that is,  the use of a heating or cooling device, due to cost constraints. Hence, older people on low incomes  and living in homes with poor energy performance maybe considered susceptible to ill health from  inadequate indoor temperatures. By reversing the logic of vulnerability, health and wellbeing  benefits due to better energy efficiency may be particularly distinctive for low‐income, older  householders living in poorly performing homes.  

8.3.2 Data collection 

The technical monitoring devices, the home audits and participant surveys that were conducted by  SECCCA generated quantitative information. The Health Study surveys provided quantitative and  qualitative information; that is, multiple‐choice responses as well as the participants’ reasons for  their choices. Semi‐structured Health Study interview questions and field observations provided  qualitative data on householder opinions and routines. 

Data collection and instrumentation by SECCCA 

Baseline data was collected by SECCCA and its contractors and by the researcher. SECCCA shared the  data collected for the homes in the Health Study. This was to avoid a doubling up of audits and  questions to reduce the inconvenience to the householder.  

SECCCA employed Energy Liaison Officers (ELOs) and external contractors to survey householders  and to audit homes. ELOs communicated with householders on all matters concerning the ESS. ELOs  conducted a CSIRO designed Pre‐Intervention Survey in which they gathered information on 

household income, energy costs, householder energy consumption and saving behaviours and the  householders’ attitudes towards energy efficiency (ESS ‐ ELO Pre‐Int Survey v2) (Ambrose 2014a). 

ELOs also scanned electricity and gas bills for the preceding 24 months where available. 

Data on house energy efficiency ratings and monitored electricity and gas consumption was  collected by SECCCA employed contractors. SECCCA contractors gathered information on basic 

118  technical building elements and appliance characteristics, such as construction materials, heating  and cooling appliances, as well as consumer appliances in all homes (ESS ‐ Pre‐Int Survey v2)  

(Ambrose 2014b). The Pre‐Intervention Survey formed the basis of FirstRate star ratings and detailed  energy consumption report for a subgroup of homes by accredited assessors from the Melbourne  based company Energy Makeovers. These reports also provided information on dwelling occupation  and the gross floor area. The assessors used a company‐owned algorithm to calculate the total  annual energy use, annual energy uses for heating and cooling, as well as the associated costs for  heating and cooling based on the bills provided by householders. In addition, pre‐ and post‐draught  proofing air tightness was measured by SECCCA contractors and made available to the researcher.  

Data collection and instrumentation by the researcher 

Quantitative surveys of all householders and semi‐structured interviews were the main methods of  data collection adopted by the researcher. The purpose of the householder questionnaires was to  collect standardised data on questions and answer options on topics such as comfort temperatures,  affordability of utility bills and coping practices that had been pre‐identified through a review of the  literature. Householder surveys were administered using an iPad and the web‐based survey data  collection software Qualtrics and Internet connection from the researcher’s mobile phone. Semi‐

structured interviews provided qualitative data to discover new insights on the householder  experience. Interviews were audio‐recorded and transcribed verbatim. Both quantitative and  qualitative methods were used concurrently. Themes derived from the pre‐intervention interviews  were fed back into the post‐intervention questionnaires. The interview questions and surveys are  provided in the appendix (Sections 20.2 and 20.3). 

The self‐reported health survey SF36v2 was paper‐based and administered by the researcher. The  standard SF36v2 questionnaire is designed to recall the participants perceived health during the  preceding four‐week period, which covered the preceding winter periods. The SF‐36 form has been  developed in the 1990s to measure the general health status in evaluative population studies. It is  considered the most validated and reliable tool to measure general health and quality of life  (McDowell 2006). The SF‐36 license for the paper based Australian version was provided free of  charge. 

Data collection took place in four waves and was determined by the timing of the recruitment and  retrofit activities of the Energy Saver Study. The pre‐intervention wave of visits for the analysis of  the winter conditions took place between the end of August and the end of October 2014 (winter  baseline), the post intervention visit between the end of August and mid‐September 2015 (winter  follow‐up). Draught proofing in seven intervention homes took place in December 2015. Pre‐and  post‐draught proofing visits exploring summer conditions took place at the beginning and toward  the end of the summer. The remaining retrofit measures were implemented in the autumn of 2015. 

Follow‐up summer visits to the control homes took place in March and April 2015, while the retrofit  measures were installed into the intervention homes. Figure 19 illustrates the timing of the seasonal  data collections. Due to data limitations, summer conditions are not discussed in this thesis. 

119    Figure 19 Timeline of data collection and analyses 

The visits took between 45min and two hours. At the first visit, the researcher was introduced by the  ELO who stayed for the interview. The conversation with the householders was structured into three  parts: a semi‐structured interview at the beginning and at the end with the surveys in the middle. In  addition, RMIT‐owned data loggersfor gathering indoor temperature data were installed in the pre‐

intervention summer visits and collected at the post‐intervention summer visits. 

8.3.3 Pilot Study   

A small pilot study was conducted in June 2013. Two voluntary participants were recruited by the  researcher. Temperature data loggers were placed in one room of each dwellings for two days, and  participants answered all survey and semi‐structured interview questions. The most important  lessons learnt were that, firstly, internet access was not available everywhere and that paper  versions should be carried as a backup, and, secondly, that participants interpreted the term 

‘adequate’ in the survey question ‘are you able to heat your home adequately’ differently. Hence, a  question that asked participants to distinguish between a ‘well heated’ and an ‘adequately heated’ 

home was added to the interview questions.  

8.3.4 Procedures for recruitment, participation, and data collection  8.3.4.1 Recruitment 

Recruitment of households took place via each council’s Home and Community Care (HACC) service. 

The SECCCA Energy Saver Study targeted 320 low‐income households. Councils recruited 

participants for the ESS through their Home and Community Care (HACC) services. In the context of  the Energy Saver Study, ‘low‐income households’ loosely described households with an income in  the bottom 40 per cent of the national income distribution, people who were socially disadvantaged,  received financial governmental support or HACC services, or were recognised as experiencing fuel  hardship (SECCCA 2014a). Householders could be living in privately owned or rented dwellings or  Community Housing as long as they possessed individual gas and electricity meters (SECCCA 2014a). 

Householders were promised $500 ($450 + GST) of energy saving home improvements for  participating in the ESS. Householders for the Health Study were recruited after they had been  allocated to the ESS study groups. 

8.3.4.2 Allocation to study groups 

Households were allocated quasi‐randomly into the intervention and control group of the Health  Study by SECCCA. The SECCCA ESS  required allocation of the homes into four intervention groups of 

120  equal size; that is, Retrofit only, Behaviour change program, Retrofit and behaviour change program  and Control group (SECCCA 2014b). Allocation of homes to groups was quasi‐random in a three  stepped process. Homes that were suitable for electricity and gas monitoring, because of the  presence of a smart meter and good internet connection, and whose householders were deemed  capable of handling multiple visits by researchers and contractors were identified first and allocated  to the electricity and gas monitoring groups.  

Only householders in the Retrofit only (ESS study group 1A; here called intervention group) and  Control (ESS study group 1D; here called control group) groups were invited to participate in the  Health Study. The Health Study targeted only the 15 households that were scheduled to receive  electricity and gas monitoring equipment, indoor temperature loggers, homes energy FirstRate5  assessments and Blower Door Tests in each of the two study groups. The 30 homes of the Health  Study were equally distributed across all six council areas. At the winter baseline data collection, the  study cohort consisted of 16 homes in the intervention group and 14 homes in the control group  (Table 17). 

Prevalence of dwelling location in relation to study group.*                 

All homes  Intervention group  Control group 

   Variables  N  n  %  N  n  %  N  n  % 

Council of residence 

Bass Coast Council  30  5  16.7  16  3  18.8  14  2  14.3 

Baw Baw Shire  Council 

30  5  16.7  16  3  18.8  14  2  14.3 

Bayside City Council  30  5  16.7  16  3  18.8  14  2  14.3 

Cardinia Shire  Council 

30  5  16.7  16  2  12.5  14  3  21.4 

City of Casey  30  5  16.7  16  1  6.3  14  4  28.6 

Mornington  Peninsula Shire  Council 

30  5  16.7  16  4  25.0  14  1  7.1 

* Data provided by SECCCA 13 November 2014                   

Table 17 Prevalence of dwelling location in relation to study group   

8.3.4.3 Participation and retention 

At the end of the study (February 2016), one household had withdrawn from the South East Councils  Climate Change Alliance's Energy Saver Study, and thus from this embedded PhD study, because the  landlord had sold the house. One householder had fallen ill and could not be visited on the agreed  day of Wave 2 (summer baseline data collection) in December 2014. The visit took place at the  beginning of February 2015 when the participant felt well again (Figure 20).   

121    Figure 20 Flow of households through trial  

Retention was supported by personalised, handwritten Thank You notes or Christmas cards, which  were sent to all participants after every data collection waves. Householders commented on these  favourably to the ELOs and three participants returned Christmas cards. Householders were very  engaged with the study and household members other than the signee to the ESS joined the  conversations.  

8.3.5 Ethical procedures   

The study was approved by the RMIT CHEAN Ethic Committee (approval number CHEAN – B  2000853‐03/13 23th July 2013). Participation was voluntary, and participants were allowed to  withdraw from the study at any stage without reason. Participants were also repeatedly reminded  that they did not have to answer any question that they did not want to. Written consent was  obtained from additional members of the household who wanted to join in the interviews. The  researcher and her supervisors were available for any questions or comments pertaining to the  study. When the installation of additional RMIT data loggers became necessary, participants were  asked to agree to an Addendum to the original consent form. Householders were also informed  about a change in student supervision that occurred during the study. Householder information and  consent material is attached in the appendix (Section 20.1). 

8.3.6 Intervention design  

The retrofit interventions were designed and implemented by SECCCA. The value of the  interventions was capped at $2500 ($2250 + GST) plus potential Victorian Energy Efficiency 

Certificate (VEECs) discounts offered as part of the Victorian Energy Efficiency Target (VEET) scheme   (VEET 2014). For the FirstRate assessed homes, the energy efficiency measures that were offered to  the householder in the first instance were ranked by SECCCA on the basis of potential payback time  and of what was considered to be of the biggest benefit for the household. The offer included the  installation of energy efficiency light bulbs in homes where incandescent and halogen lights were  encountered. Draught stopping to unsealed doors, windows and uncovered exhaust fans were 

122  proposed. Where necessary and if possible within the budget, insulation to ceilings was offered. 

Where need for shading from the north and west sun had been highlighted by the householders,  external shades were offered. A switch from an electric to gas hot water system was considered with  VEET support. Insulation of the valves and external pipes of existing gas hot water system and  turning the temperature setting from 75⁰C to 60⁰C were proposed. The retrofit offers were  discussed with the householders, who had the final choice. 

8.3.7 Assumptions  

The research assumed that participants desired measures to improve their residential energy  efficiency. This assumption was supported by the explicit focus on energy conservation in the name  of the Energy Saver Study and by the voluntary nature of participation. The research also assumed  that policy makers and care providers were interested in optimising the health and wellbeing of  these older and ailing people who did not live in residential care facilities, as implied by the  Australian Government’s Ageing in Place policy (AIHW 2013). The study assumed further that  participants answered honestly as their confidentiality and anonymity was protected and as they  were allowed to withdraw from the study at any point without reason.  

8.3.8 Scope and delimitations 

Despite the holistic approach, the comprehensive data collection and the multitude of aspects  explored in this study, the research was limited in its extent and scope. In particular, the study was  limited to the dwellings and their settings. It did not investigate the neighbourhood, community or  wider urban and social contexts.  

Moreover, the study used subjective measures (for example the self‐reported health questionnaire  SF36v2) for the collection of information on individual health endpoints. Although objective 

measures (for example, measured stress hormones in the householder’s blood, validated number of  visits to the general practitioner) would have been less prone to subjective variability, they were  considered outside of the scope of this PhD study.  

In addition, the investigation of the effects of energy retrofits and refurbishments on indoor 

chemical pollution and the influences of workmanship and commissioning on indoor air quality were  considered beyond the scope of this study. Although this would have been a valuable examination, it  was considered too costly and too complex for a PhD project.  

Further, the study ran the risk of bias through the study itself. It was possible that the content of the  questionnaires and interview questions may have caused householders to critically reflect on their  practices, which may have led to a change in, defection from old, or engagement in new practices.  

In addition, the study lacked blinding. In contrast to the best‐practice double blinded standard of  medical randomised control trials, this community trial did not lend itself easily to the blinding of  participants. Blinding means that the participants and researchers are kept ignorant about the  allocation to the intervention or control group. It was not possible to hide the installation of  insulation or draught proofing, nor would it have been ethical to deceive householders about the 

In addition, the study lacked blinding. In contrast to the best‐practice double blinded standard of  medical randomised control trials, this community trial did not lend itself easily to the blinding of  participants. Blinding means that the participants and researchers are kept ignorant about the  allocation to the intervention or control group. It was not possible to hide the installation of  insulation or draught proofing, nor would it have been ethical to deceive householders about the