8.1. Aportaciones principales
Modelar la incertidumbre, inherente a todo proceso de diseño y, particularmente, en aquellas decisiones que suponen seleccionar o desechar una alternativa es, sin duda, un problema complejo. La gran mayoría de los métodos proponen soluciones basadas en métodos matemáticos clásicos o técnicas multiobjetivo que, en la mayoría de los casos, son difíciles de aplicar a un nivel industrial. Por su parte, los métodos de ayuda a la decisión más populares se basan en matrices de decisión y escalas de valoración (funciones de utilidad) que aunque sencillos no contemplan los valores de incertidumbre en la misma manera.
GMUBO además de aportar un método sencillo de gestión de la incertidumbre lo representa gráficamente. Esto supone una novedad ya que permite la selección de alternativas de forma gráfica estimando a su vez, la sensibilidad de esta selección ante los cambios en las valoraciones iniciales en cada uno de los escenarios planteados por el equipo de diseño.
Con la aplicación del método GMUBO no sólo se consigue integrar la incertidumbre en el proceso de evaluación y selección de alternativas sino que, además, se logra hacerlo de un modo gráfico. Podría parecer que pequeñas variaciones en las calificaciones iniciales, justo aquellas que están más sometidas al criterio subjetivo del equipo de diseño, no deberían afectar a la selección final de una alternativa. Sin embargo, como se ha podido comprobar en el ejemplo del apartado anterior, una variación de un punto (dentro de una escala de valoración de cero a diez) puede ocasionar que haya una variación en la selección final de la alternativa de diseño.
Mediante GMUBO es posible establecer una medida empírica de la robustez en la elección de una determinada alternativa ante las variaciones en los datos de partida. Estos datos son fruto de las decisiones que el equipo de diseño toma a la hora de evaluar las diferentes alternativas entre sí, considerando un criterio y un escenario específicos. La introducción de escenarios así como su combinación para determinar la mejor alternativa suponen una consideración implícita de la incertidumbre, representada a través del grado de grisura o incertidumbre. De este modo, considerando la incertidumbre conjuntamente con una medida del peso o importancia de las alternativas (a través de la consideración transversal de los distintos escenarios) se ha desarrollado un método que permite la evaluación y selección de alternativas de forma sencilla.
133
8.2. Puntos destacables
El primer punto que se puede destacar es que GMUBO se origina de la fusión de dos técnicas y una teoría de una manera coherente y adecuada. Las dos técnicas son AHP y WSM, siendo la teoría de sistemas grises la que integra la incertidumbre en GMUBO. Como ya se dijo en el apartado 3, WSM es una técnica muy fácil de usar pero su simpleza plantea problemas de validez que deben tenerse en cuenta. Por ello, la primera técnica que se consideró fue el AHP, el cual resulta un método ampliamente utilizado y reconocido, y es la base sobre la que se asienta GMUBO. Uno de los puntos clave de AHP es su facilidad de uso, lo cual viene avalado por la extensión del uso del método tanto en el mundo académico como en las decisiones de alto nivel de las grandes empresas y gobiernos (Saaty, 2000). Las ventajas de AHP sobre otros métodos de criterios múltiples, son su flexibilidad, su atractivo como método intuitivo para los responsables de la toma de decisiones y su capacidad para verificar las inconsistencias en los juicios (Ramanathan, 2001). La GST es una de las teorías que más extensión está alcanzando desde que fue introducida y cuenta con una gran diversidad de campos de aplicación, resultando idónea para gestionar la incertidumbre en situaciones donde existe información y datos que se desconocen.
Sin embargo, el gran potencial del método reside en su aspecto gráfico. No existe una variedad considerable de métodos o técnicas gráficas (ver apartado 2) dentro del proceso de desarrollo de producto y menos cuando gestionan la incertidumbre. GMUBO representa un avance en la literatura de método gráficos aplicados al diseño pues no sólo incorpora el manejo de la incertidumbre sino que aporta una representación gráfica de la selección de las alternativas. Incluso introduce la posibilidad de observar la sensibilidad de las mismas ante los cambios en las decisiones del propio equipo de diseño.
8.3. Puntos mejorables
Aunque GMUBO tiene un gran potencial como método, también posee algunas limitaciones que serán solventadas en futuros trabajos. La definición de los escenarios, entendidos como circunstancias del entorno donde el equipo de diseño toma sus decisiones presenta, en sí mismo, un grado de incertidumbre que debe ser gestionado. Consideraciones multiobjetivo o universales quizá podrían mejorar la propia definición y aplicación del mismo, pues reducir su presencia a una serie de condicionantes si bien simplifica de forma significativa la aplicación no cubre todo el espectro de posibilidades que generan.
134 De igual modo la definición de la suma ponderada y, especialmente, del grado de grisura contiene un componente subjetivo que debería ser integrado y tratado de forma conveniente.
8.4. Desarrollos futuros
La amenaza de no saber que algo es desconocido va de la mano de no estar lo suficientemente preparado para resolver un escenario problemático. Por esa razón, debe ser una prioridad centrarse en la búsqueda de herramientas que puedan ayudar a la hora de tomar decisiones en los casos en que exista un desconocimiento total del riesgo de cada posible escenario. Aunque GMUBO es una propuesta en esta dirección, como ya se expuso en el apartado anterior, deben mejorarse las limitaciones detectadas, sobre todo en cuanto a la definición de los escenarios.
Además de tratar sus limitaciones, surge, al mismo tiempo la necesidad de mejorar la matematización del método para dar mayor robustez y eficacia al modelo matemático, dotándolo, si es posible, de una base axiomática.
Una vez que quedaran resueltos los puntos mejorables planteados en el apartado anterior, sería importante el desarrollo y optimización de la herramienta informática para facilitar la extensión y el uso del método.
El diseño de productos como campo de aplicación del método puede propiciar la extensión del método a otros campos muy relacionados como la toma de decisiones en el desarrollo de nuevos productos así como a las decisiones de marketing. Es evidente que en estos campos se presentan situaciones de incertidumbre que no es fácil de resolver con los métodos clásicos o convencionales.
135
9
9. Bibliografía
ABET-Engineering Accreditation Commission. (2016). Criteria for accrediting
engineering programs: effective for reviews during the 2017-2018 accreditation cycle. Baltimore: ABET. https://www.abet.org/wp-content/uploads/2016/12/E001-17-18- EAC-Criteria-10-29-16-1.pdf
Afshari, H., & Peng, Q. (2015). Modeling and quantifying uncertainty in the product design phase for effects of user preference changes. Industrial Management & Data Systems, 115(9), 1637-1665.
Aguiar González, F. (2004). Teoría de la decisión e incertidumbre: modelos normativos y descriptivos. Empiria. Revista de metodología de ciencias sociales, (8), 139-160.
Ahmadi, A., Moridi, A., & Han, D. (2015). Uncertainty Assessment in Environmental Risk through Bayesian Networks. Journal of Environmental Informatics, 25(1).
Akao, Y. (2004). Quality function deployment.
Akay, D., Kulak, O., & Henson, B. (2011). Conceptual design evaluation using interval type-2 fuzzy information axiom. Computers in Industry, 62(2), 138-146.
Akle, A. A., Minel, S., and Yannou, B. (2016). “Information visualization for selection in Design by Shopping”. Research in Engineering Design, 1-19. doi:10.1007/s00163-016- 0235-2
Alho, J. M., & Kangas, J. (1997). Analyzing uncertainties in experts' opinions of forest plan performance. Forest Science, 43(4), 521-528.
Altshuller, G. (1996). And suddenly the inventor appeared: TRIZ, the theory of inventive problem solving. Technical Innovation Center, Inc.
Apley, D. W., Liu, J., & Chen, W. (2006). Understanding the effects of model uncertainty in robust design with computer experiments. Journal of Mechanical Design, 128(4), 945-958.
Archer, B. (1981). A view of the nature of design research. Design: science: method, 1, 30-47.
Archer, B. (1979). Design as a discipline. Design studies, 1(1), 17-20.
Ayağ, Z. (2005). A fuzzy AHP-based simulation approach to concept evaluation in a NPD environment. IIE transactions, 37(9), 827-842.
Ayağ, Z., & Özdemir, R. G. (2009). A hybrid approach to concept selection through fuzzy analytic network process. Computers & Industrial Engineering, 56(1), 368-379.
136 Ayağ, Z. (2016). An integrated approach to concept evaluation in a new product development. Journal of Intelligent Manufacturing, 27(5), 991-1005.
Ball, L. J., & Christensen, B. T. (2009). Analogical reasoning and mental simulation in design: two strategies linked to uncertainty resolution. Design Studies, 30(2), 169-186.
Beer, M., Ferson, S., & Kreinovich, V. (2013). Imprecise probabilities in engineering analyses. Mechanical systems and signal processing, 37(1-2), 4-29.
Ben-Haim, Y. (2001, June). Decision trade-offs under severe info-gap uncertainty. In ISIPTA (pp. 32-39).
Ben-Haim, Y. (2006). Info-gap decision theory: decisions under severe uncertainty. Elsevier.
Ben-Haim, Y. (2011). Uncertainty, Probability and Robust Preferences. https://info- gap.net.technion.ac.il/files/2016/11/up03.pdf
Benayoun, R., Roy, B., & Sussman, B. (1966). ELECTRE: Une méthode pour guider le choix en présence de points de vue multiples. Note de travail, 49.
Berumen, S. A., & Llamazares, F. (2007). La utilidad de los métodos de decisión multicriterio (como el AHP) en un entorno de competitividad creciente. Cuadernos de administración, 20 (34).
Bonnardel, N., & Marmèche, E. (2004). Evocation processes by novice and expert designers: Towards stimulating analogical thinking. Creativity and Innovation Management, 13(3), 176-186.
Börjeson, L., M. Höjer, K. H. Dreborg, T. Ekvall, and G. Finnveden. 2006. Scenario types and techniques: Towards a user's guide. Futures 38 (7): 723–739. ISSN 0016-3287. http://dx.doi.org/10.1016/j.futures.2005.12.002
Bouza-Rodríguez, J. B., Comesaña-Campos, A., and Menéndez-Díaz, A. (2014). “A graphical method to assist quality decisions throughout the product development process”. Quality Engineering, 26(4), 467-478.
Brans, J. P., & Vincke, P. (1985). Note—A Preference Ranking Organisation Method: (The PROMETHEE Method for Multiple Criteria Decision-Making). Management science, 31(6), 647-656.
Brans, J. P., Vincke, P., & Mareschal, B. (1986). How to select and how to rank projects: The PROMETHEE method. European journal of operational research, 24(2), 228-238.
Brans, J.P., Mareschal, B. (2005) Promethee Methods. In: Multiple Criteria Decision Analysis: State of the Art Surveys. International Series in Operations Research & Management Science, vol 78. Springer, New York, NY.
137 Brunelli, M. (2015). Priority vector and consistency. In Introduction to the Analytic Hierarchy Process (pp. 17-31). Springer, Cham.
Buonanno, M., & Mavris, D. (2005, January). A new method for aircraft concept selection using multicriteria interactive genetic algorithms. In 43rd AIAA Aerospace Sciences Meeting and Exhibit (p. 1020).
Carreño, R., Martínez, J., & Bouza, J. (2019). An Approach for Integrating Uncertainty When Selecting an Anti-Torpedo Decoy in Brand New Warships. Mathematical and Computational Applications, 24(1), 5.
Chan, L. K., & Wu, M. L. (2002). Quality function deployment: A literature review. European journal of operational research, 143(3), 463-497.
Charnes, A., & Cooper, W. W. (1957). Management models and industrial applications of linear programming. Management Science, 4(1), 38-91.
Chen, S. J., & Hwang, C. L. (1992). Fuzzy multiple attribute decision making methods. In Fuzzy multiple attribute decision making (pp. 289-486). Springer, Berlin, Heidelberg.
Chong, Y. T., Chen, C. H., & Leong, K. F. (2009). A heuristic-based approach to conceptual design. Research in Engineering Design, 20(2), 97-116.
Clarkson, J., & Eckert, C. (Eds.). (2010). Design process improvement: a review of current practice. Springer Science & Business Media.
Comesaña-Campos, A., & Bouza-Rodríguez, J. B. (2016). An application of Hebbian learning in the design process decision-making. Journal of intelligent
manufacturing, 27(3), 487-506.
Cross, N. (2008). Engineering design methods: strategies for product design. Chichester, UK: John Wiley & Sons Ltd.
Daly, S. R., Yilmaz, S., Christian, J. L., Seifert, C. M., & Gonzalez, R. (2012). Design heuristics in engineering concept generation. Journal of Engineering Education, 101(4), 601-629.
Debnath, S., Reddy, M. M., & Yi, Q. S. (2014). Environmental friendly cutting fluids and cooling techniques in machining: a review. Journal of cleaner production, 83, 33-47.
Decisión. (n.d.). En Diccionario de la lengua española (Real Academia Española). Recuperado de https://dle.rae.es/?id=BxP6lay
DeGroot, M. H., & Schervish, M. J. (2012). Probability and statistics. Pearson Education.
Deng, J. L. (1982). Control problems of grey systems. Systems & Control Letters, 1(5), 288-294.
138 Design. (n.d.). En English Oxford Dictionary. Recuperado de
https://en.oxforddictionaries.com/definition/design
Disegno. (n.d.). En Istituto della Enciclopedia Italiana. Recuperado de
http://www.treccani.it/vocabolario/disegno
Diseño. (n.d.). En Diccionario de la lengua española (Real Academia Española). Recuperado de https://dle.rae.es/?id=DuKP0H9
Doumpos, M., & Zopounidis, C. (2002). Multicriteria decision aid classification methods (Vol. 73). Springer Science & Business Media.
Du, X., & Chen, W. (2001). A most probable point-based method for efficient uncertainty analysis. Journal of Design and Manufacturing automation, 4(1), 47-66.
Duffy, A. H. B., Andreasen, M. M., MacCallum, K. J., & Reijers, L. N. (1993). Design coordination for concurrent engineering. Journal of Engineering Design, 4(4), 251-265.
Duncan, S. J., Bras, B., & Paredis, C. J. (2008). An approach to robust decision making under severe uncertainty in life cycle design. International Journal of Sustainable Design, 1(1), 45-59.
Dweiri, F., Kumar, S., Khan, S. A., & Jain, V. (2016). Designing an integrated AHP based decision support system for supplier selection in automotive industry. Expert Systems with Applications, 62, 273-283.
Dyer, J. S. (2005). MAUT—multiattribute utility theory. In Multiple criteria decision analysis: state of the art surveys (pp. 265-292). Springer, New York, NY.
Dym, C. L. (1994). Engineering design: a synthesis of views. Cambridge, USA: Cambridge University Press.
Eastman, C. M. (Ed.). (2012). Design for X: concurrent engineering imperatives. Springer Science & Business Media.
Edwards, W., & von Winterfeldt, D. (1986). Decision analysis and behavioral research. Cambridge University Press, 604, 6-8.
Engelhardt, R., Wiebel, M., Eifler, T., Kloberdanz, H., Birkhofer, H., & Bohn, A. (2011). UMEA-A follow up to analyse uncertainties in technical systems. In DS 68-9:
Proceedings of the 18th International Conference on Engineering Design (ICED 11), Impacting Society through Engineering Design, Vol. 9: Design Methods and Tools pt. 1, Lyngby/Copenhagen, Denmark, 15.-19.08. 2011 (pp. 257-266).
Figueira, J. R., Greco, S., Roy, B., & Słowiński, R. (2010). ELECTRE methods: main features and recent developments. In Handbook of multicriteria analysis (pp. 51-89). Springer, Berlin, Heidelberg.
139 Finger, S., & Dixon, J. R. (1989). A review of research in mechanical engineering design. Part I: Descriptive, prescriptive, and computer-based models of design
processes. Research in engineering design, 1(1), 51-67.
Fisher, R. A. (1930, October). Inverse probability. In Mathematical Proceedings of the Cambridge Philosophical Society (Vol. 26, No. 4, pp. 528-535). Cambridge University Press.
Frey, D. D., Herder, P. M., Wijnia, Y., Subrahmanian, E., Katsikopoulos, K., & Clausing, D. P. (2009). The Pugh controlled convergence method: model-based evaluation and implications for design theory. Research in Engineering Design, 20(1), 41-58.
Fung, R. Y., Popplewell, K., & Xie, J. (1998). An intelligent hybrid system for customer requirements analysis and product attribute targets determination. International Journal of Production Research, 36(1), 13-34.
García, J. I. (2004). Fundamentos del diseño mecánico. Cali, Colombia: Universidad del Valle.
García del Real, J. (1988). Modelo de resolución de incertidumbre en sistemas expertos a partir de la teoría de la posibilidad (Tesis doctoral).
Gericke, K., & Blessing, L. (2012). An analysis of design process models across disciplines. In DS 70: Proceedings of DESIGN 2012, the 12th International Design Conference, Dubrovnik, Croatia.
Gershenson, J. K., & Stauffer, L. A. (1999). A taxonomy for design requirements from corporate customers. Research in Engineering Design, 11(2), 103-115.
Gölcük, İ., & Baykasoğlu, A. (2016). An analysis of DEMATEL approaches for criteria interaction handling within ANP. Expert Systems with Applications, 46, 346-366.
González-Cela, G., Bellas, R., Martínez, J., Touza, R., & Carreño, R. (2018). Optimal Design of Spanish Navy F-110 Frigates Combat Information Center. Naval Engineers Journal, 130(1), 79-90.
González-Cela, G., Bellas, R., Carreño, R., Martínez, J., Touza, R., González-Gil, A., Gómez, M., & González, D. (2019). A Framework for Integrating Human Factors in the Early Stages of Ship Design: Application to the Mess Halls of a Surface
Combatant. Journal of Ship Production and Design.
González-Cruz, M.C., Mulet, E., Aguilar, J. (2007). Analysis of Individual Styles of Problem Solving and Their Relation With The Representations in Design
Process. Guidelines for a Decision Support Method Adapted to NPD Processes.
Grazioso, S., Selvaggio, M., Marzullo, D., Di Gironimo, G., & Gospodarczyk, M. (2017, July). Eligere: a fuzzy ahp distributed software platform for group decision making in
140 engineering design. In 2017 IEEE International Conference on Fuzzy Systems (FUZZ- IEEE) (pp. 1-6). IEEE.
Guitouni, A., & Martel, J. M. (1998). Tentative guidelines to help choosing an appropriate MCDA method. European Journal of Operational Research, 109(2), 501- 521.
Hansson, S. O. (1994). Decision theory-A Brief Introduction, Royal Institute of Technology (KTH), Stockholm.
Harrald, J. R., Renda-Tanali, I., Shaw, G. L., Rubin, C. B., & Yeletaysi, S. (2004). Review of risk based prioritization/decision making methodologies for dams. US army corps for engineers, The George Washington University, Institute for Crisis, Disaster, and Risk Management, Washington, DC, 29.
Hayes, K. R., Barry, S. C., Hosack, G. R., & Peters, G. W. (2013). Severe uncertainty and info-gap decision theory. Methods in Ecology and Evolution, 4(7), 601-611.
Howard, T. J., Culley, S. J., & Dekoninck, E. (2008). Describing the creative design process by the integration of engineering design and cognitive psychology literature. Design studies, 29(2), 160-180.
Horvath, I. (2004). A treatise on order in engineering design research. Research in Engineering Design, 15(3), 155-181.
Hubka, V., & Eder, W. E. (2012). Theory of technical systems: a total concept theory for engineering design. Springer Science & Business Media.
Hurwicz, L. (1951). A class of criteria for decision-making under ignorance. Cowles Comission Paper, 356.
Hwang, C. L., & Yoon, K. (1981). Multiple attribute decision making: a state of the art survey. Lecture Notes in Economics and Mathematical Systems, 186.
Incertidumbre. (n.d.). En Diccionario de la lengua española (Real Academia Española). Recuperado de https://dle.rae.es/?id=LDxc1BE
Jiao, J., & Chen, C. H. (2006). Customer requirement management in product development: a review of research issues. Concurrent Engineering, 14(3), 173-185.
Justel, D., Pérez , E., Vidal, R., Gallo, A., Val. E. (2007). Estudio de métodos de selección de conceptos. XI Congreso Internacional de Ingeniería de Proyectos. Lugo (España), 561-572.
Kahneman, D., Knetsch, J. L., & Thaler, R. H. (1991). Anomalies: The endowment effect, loss aversion, and status quo bias. Journal of Economic perspectives, 5(1), 193-206.
141 Kano, N., N. Seraku, F. Takahashi, and S. Tsuji. (1984). Attractive quality and must-be quality. Journal of the Japanese Society for Quality Control 14 (2): 39-48.
Kaufman, J. J. (1990). Value engineering for the practitioner. North Carolina State University College of Engineering.
Keeney, R. L. (1973). Risk independence and multiattributed utility functions. Econometrica: Journal of the Econometric Society, 27-34.
Keeney, R. L., & Raiffa, H. (1993). Decisions with multiple objectives: preferences and value trade-offs. Cambridge university press.
King, A. M., and S. Sivaloganathan. 1999. “Development of a Methodology for Concept Selection in Flexible Design Strategies”. Journal of Engineering Design 10 (4), 329–349.
Kiritsis, D., Nguyen, V. K., & Stark, J. (2008). How closed-loop PLM improves Knowledge Management over the complete product lifecycle and enables the factory of the future. International Journal of Product Lifecycle Management, 3(1), 54-77.
Knight, F. H. (2012). Risk, uncertainty and profit. Courier Corporation.
Krishnan, V., and Ulrich, K. T. (2001). “Product development decisions: A review of the literature”. Management science, 47(1), 1-21.
Lempert, R. J. (2003). Shaping the next one hundred years: new methods for quantitative, long-term policy analysis. Rand Corporation.
Lin, J., Fox, M. S., & Bilgic, T. (1996). A requirement ontology for engineering design. Concurrent Engineering, 4(3), 279-291.
Lindgren, M., & Bandhold, H. (2009). Scenario Planning: An Introductory Overview. In Scenario Planning (pp. 22-48). Palgrave Macmillan, London.
Liu, S., Fang, Z., Yang, Y., & Forrest, J. (2012). General grey numbers and their operations. Grey Systems: Theory and Application, 2(3), 341-349.
Liu, S., & Forrest, J. Y. L. (2010). Grey systems: theory and applications. Springer Science & Business Media.
Liu, S., & Lin, Y. (2006). Grey information: theory and practical applications. Springer Science & Business Media.
Luce, R. D., & Raiffa, H. (1989). Games and decisions: Introduction and critical survey. Courier Corporation.
Lukas, E., Spengler, T. S., Kupfer, S., & Kieckhäfer, K. (2017). When and how much to invest? Investment and capacity choice under product life cycle uncertainty. European Journal of Operational Research, 260(3), 1105-1114.
142 Maier, J. R., and Fadel, G. M. (2009). “Affordance-based design methods for innovative design, redesign and reverse engineering.” Research in Engineering Design 20 (4): 225- 239. doi:10.1007/s00163-009-0064-7
Mardani, A., Jusoh, A., Nor, K., Khalifah, Z., Zakwan, N., & Valipour, A. (2015a). Multiple criteria decision-making techniques and their applications–a review of the literature from 2000 to 2014. Economic Research-Ekonomska Istraživanja, 28(1), 516-571.
Mardani, A., Jusoh, A., & Zavadskas, E. K. (2015b). Fuzzy multiple criteria decision- making techniques and applications–Two decades review from 1994 to 2014. Expert systems with Applications, 42(8), 4126-4148.
Marler, R. T., & Arora, J. S. (2004). Survey of multi-objective optimization methods for engineering. Structural and multidisciplinary optimization, 26(6), 369-395.
Maslow, A.H. (1970). Motivation and Personality. New York, USA: Harper and Row.
Matrosov, E. S., Woods, A. M., & Harou, J. J. (2013). Robust decision making and info- gap decision theory for water resource system planning. Journal of Hydrology, 494, 43- 58.
Mattson, C. A., & Messac, A. (2003). Concept selection using s-Pareto frontiers. AIAA journal, 41(6), 1190-1198.
Mavris, D., DeLaurentis, D., Bandte, O., & Hale, M. (1998, January). A stochastic approach to multi-disciplinary aircraft analysis and design. In 36th AIAA Aerospace Sciences Meeting and Exhibit (p. 912).
MacCrimmon, K. R. (1968). Descriptive and normative implications of the decision- theory postulates. In Risk and uncertainty (pp. 3-32). Palgrave Macmillan, London.
McCain, R. A. (2014). Game Theory: A Nontechnical Introduction to the Analysis of Strategy Third Edition. World Scientific Publishing Company.
Miettinen, K. 2014. “Survey of methods to visualize alternatives in multiple criteria decision making problems.” OR spectrum, 36 (1): 3-37. doi:10.1007/s00291-012-0297- 0
Monguet, J. M., & Navarro, M. V. F. (2015). Notas sobre investigación en diseño e innovación. Taller Servicio 24 Horas, 20 BIS, 17-28.
Moore, R. E., Kearfott, R. B., & Cloud, M. J. (2009). Introduction to interval analysis (Vol. 110). Siam.
Oberkampf, W., Helton, J., & Sentz, K. (2001, April). Mathematical representation of uncertainty. In 19th AIAA Applied Aerodynamics Conference (p. 1645).
143 Okudan, G. E., & Shirwaiker, R. A. (2006). A multi-stage problem formulation for concept selection for improved product design. PICMET 2006 proceedings, Istanbul (Turkey), 6, 2528-2538.
Okudan, G.E., and S. Tauhid. 2008. Concept selection methods - a literature review from 1980 to 2008. International Journal of Design Engineering 1 (3): 243-277. doi:10.1504/IJDE.2008.023764.
Olewnik, A., & Lewis, K. (2006). A decision support framework for flexible system design. Journal of Engineering Design, 17(1), 75-97.
Opricovic, S., & Tzeng, G. H. (2004). Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS. European journal of operational