• No se han encontrado resultados

Sistema robotizado móvil para digitalización de interiores de edificios

N/A
N/A
Protected

Academic year: 2020

Share "Sistema robotizado móvil para digitalización de interiores de edificios"

Copied!
179
0
0

Texto completo

(1)Universidad de Castilla-La Mancha Escuela Técnica Superior de Ingenieros Industriales Departamento de Ingeniería Eléctrica, Electrónica, Automática y Comunicaciones. SISTEMA ROBOTIZADO MÓVIL PARA DIGITALIZACIÓN DE INTERIORES DE EDIFICIOS. TESIS DOCTORAL. Samuel A. Prieto Ayllón Ingeniero Industrial 2019.

(2)

(3) Universidad de Castilla-La Mancha Escuela Técnica Superior de Ingenieros Industriales Departamento de Ingeniería Eléctrica, Electrónica, Automática y Comunicaciones. SISTEMA ROBOTIZADO MÓVIL PARA DIGITALIZACIÓN DE INTERIORES DE EDIFICIOS Memoria que presenta para optar al grado de Doctor. Samuel A. Prieto Ayllón Ingeniero Industrial por la Universidad de Castilla-La Mancha. Directores:. Dr. Antonio Adán Oliver Catedrático de Universidad del Departamento de Ingeniería Eléctrica, Electrónica, Automática y Comunicaciones de la Universidad de Castilla-La Mancha. Dr. Andrés S. Vázquez Fernández-Pacheco Profesor Contratado Doctor de Universidad del Departamento de Ingeniería Eléctrica, Electrónica, Automática y Comunicaciones de la Universidad de Castilla-La Mancha.

(4)

(5) v. TESIS DOCTORAL POR COMPENDIO DE PUBLICACIONES As-is building-structure reconstruction from a probabilistic next best scan approach. Samuel A. Prieto, Blanca Quintana, Antonio Adán, Andrés S. Vázquez. Robotics and Autonomous Systems. 94, pp.186-2017. ELSEVIER, 2017. DOI: https://doi.org/10.1016/j.robot.2017.04.016 Índice de impacto y categoría: 2.928, Q2. Preparation and enhancement of 3D laser scanner data for realistic coloured BIM models Samuel A. Prieto, Antonio Adán, Blanca Quintana. The Visual Computer. pp 1-14, 2018. DOI: https://doi.org/10.1007/s00371-018-1584-9 Índice de impacto y categoría: 1.415, Q2. Door detection in 3D coloured point clouds of indoor environments. Blanca Quintana, Samuel A. Prieto, Antonio Adán, Frédéric Bosché. Automation in Construction. 85, pp. 146-166. ELSEVIER, 2017 DOI: https://doi.org/10.1016/j.autcon.2017.10.016 Índice de impacto y categoría: 4.313, Q1. MoPAD: An Autonomous Robotic Platform for Automatic Extraction of Detailed Semantic Models of Buildings Antonio Adán, Blanca Quintana, Samuel A. Prieto, Frédéric Bosché. Automation in Construction. 2019. Aceptado para su publicación. Índice de impacto y categoría: 4.313, Q1. Passing through open/closed doors: A solution for 3D scanning robots Samuel A. Prieto, Antonio Adán, Andrés S. Vázquez, Blanca Quintana. Sensors. 2019. En proceso de revisión. Índice de impacto y categoría: 3.031, Q1..

(6)

(7) A mis padres.

(8)

(9) Your assumptions are your windows on the world. Scrub them off every once in a while or the light won’t come in. Isaac Asimov.

(10)

(11) Agradecimientos En primer lugar me gustaría agradecer a mis dos directores de tesis, Antonio y Andrés. Gracias por el inestimable apoyo y tutela a lo largo de estos años. Si en algún momento puedo llamarme a mí mismo investigador, será gracias a ellos. Agradecer también a todos los vinculados a los laboratorios 3DVCR y RobInd, dado que de una manera u otra, ellos también han sido partícipes de esta etapa y han contribuido a que haya sido más llevadera. Gracias a mis padres, porque sin ellos nada de esto habría sido posible, a ellos debo agradecerles el haberme convertido en lo que soy hoy. Gracias a mi hermana, Eva, por una convivencia que sin lugar a dudas hacía que las jornadas de trabajo siempre tuvieran un final agradable. Gracias a todos aquellos que en algún momento tuvieron que aguantar conversaciones sin sentido sobre robótica. Y gracias a ti, Sara, por darme cuerda cuando parecía que todo se paraba..

(12) Resumen A lo largo de estos últimos años, la generación automática de modelos tridimensionales de edificios ha crecido en popularidad. La proliferación de las tecnologías láser ha hecho que la obtención de un modelo 3D sea un proceso más sencillo y rápido de lo que era antes. Sin embargo, a día de hoy sigue siendo un proceso semi-manual y requiere de una gran cantidad de tiempo y trabajo. Es por eso que la automatización de dichos procesos se ha convertido en un tema que suscita interés en la comunidad científica. Abordando esta problemática, esta memoria de tesis doctoral presenta un compendio de publicaciones de investigación centradas en el uso de un robot móvil y un escáner 3D para la automatización de la obtención de modelos tridimensionales. Concretamente, las 5 publicaciones expuestas en esta tesis doctoral por compendio de publicaciones se centran en el robot móvil. Para lograr un grado de automatización completo, el robot móvil equipado con el escáner 3D deberá moverse de manera autónoma por el interior del edificio. Para ello, en esta tesis se discutirán aspectos tales como la adaptación del propio robot para funcionar conjuntamente con el escáner, tanto a nivel de hardware como de software, la navegación del robot y la interacción del mismo con diferentes elementos de la escena. Para la navegación, el robot hace uso de sus propios sensores láser 2D junto con parte de la información obtenida por el sensor 3D, obteniendo de manera incremental un mapa del entorno por el que navega, localizándose en el mismo y planificando una trayectoria hasta el siguiente punto de destino. Dado que el escenario principal de estudio son interiores de edificios, el robot tendrá que lidiar con diferentes tipos de entornos, tales como pasillos o habitaciones. De igual manera, deberá ser capaz de moverse entre estos de manera autónoma. Para ello, la localización de las puertas que comunican las diferentes habitaciones o corredores es una tarea crucial. Para la correcta localización de las puertas, teniendo en cuenta que el robot se encontrará en un ambiente con una iluminación no controlada, se ha implementado un algoritmo de corrección de color y mejora de la imágen. Por último, se ha diseñado una estrategia completa para la aproximación a las puertas, localización e identificación de sus principales parámetros y elementos, apertura y navegación a través de la mismas..

(13)

(14) Abstract During the last years, the automatic generation of 3D models has grown in popularity amongst the technical sector. The development of the laser technologies has made the process of generating a 3D model easier and faster than it was before. However, nowadays it is still a semi-manual process and not only it is very time consuming but it also requires a lot of effort. That is why the automatization of such process has been extensively researched in the last few years. Considering these issues, this thesis presents a series of research publications focused on the use of a mobile robot and a 3D scanner to completely automate the creation of 3D indoor models. Specifically, the 5 publications composing this thesis by compendium of publications are focused on the mobile robot aspect. To achieve a complete degree of automation, the mobile robot equipped with the 3D scanner must navigate in an autonomous way throughout the entirety of the environment. To be able to do that, in this thesis we will discuss aspects such as the adaptation of the mobile robot with the scanner, the navigation and path planning of the robot through the building and the interaction of the robot with different elements of the scene. For the navigation, the robot makes use of its own 2D laser range finders in conjunction with the data obtained from the 3D scanner, gradually generating a map of the environment, positioning itself within the map and planning a path free of obstacles to the next position. Since we are dealing with indoors, the robot must be able to move between rooms and corridors. To do that, the precise localization and interaction with the different doors of the scene is a crucial matter. Given the fact that the robot will usually work in non-controlled lighting scenarios, a color correction and image improvement algorithm has been developed, which will help with the correct localization of doors. Finally, a complete strategy to open the doors and traverse through them has also been implemented..

(15) Índice Índice de figuras. III. Índice de tablas. V. 1. Introducción a la temática y su justificación. 1. 1.1. Estructura de la tesis . . . . . . . . . . . . . . . . . . . . . . . . . 2. Objetivos de la tesis, recursos y materiales utilizados. 2 5. 2.1. Objetivos de la tesis . . . . . . . . . . . . . . . . . . . . . . . . .. 5. 2.2. Metodología de trabajo . . . . . . . . . . . . . . . . . . . . . . . .. 7. 2.3. Marco de realización de la tesis . . . . . . . . . . . . . . . . . . .. 8. 2.4. Recursos y materiales utilizados . . . . . . . . . . . . . . . . . . .. 9. 2.4.1. Escáner láser Riegl VZ-400 . . . . . . . . . . . . . . . . . .. 9. 2.4.2. Robot móvil Guardian . . . . . . . . . . . . . . . . . . . .. 12. 2.4.3. Robotic Operating System (ROS) . . . . . . . . . . . . . .. 16. 3. Resumen del Estado del Arte. 19. 4. Publicación I. 25. 5. Publicación II. 49. 6. Publicación III. 65. 7. Publicación IV. 87. 8. Publicación V. 123. i.

(16) ii. ÍNDICE. 9. Conclusiones y trabajos futuros 145 9.1. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 9.2. Total de publicaciones . . . . . . . . . . . . . . . . . . . . . . . . 148 9.3. Trabajos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 10.Conclusions and future 10.1. Conclusions . . . . . 10.2. Total of publications 10.3. Future work . . . . . Bibliografía. work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 153 153 155 158 159.

(17) Índice de figuras 2.1. Escáner Riegl-VZ400. . . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Funcionamiento de la tecnología de tiempo de vuelo. . . . . . . . 2.3. Rango de medida del Riegl VZ-400. (Fuente: Riegl VZ-400 información técnica) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4. Robot Guardian. . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5. Capacidad de giro de la unidad Pan-Tilt situada sobre el actuador lineal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.6. Láser Hokuyo URG-04LX. . . . . . . . . . . . . . . . . . . . . . . 3.1. Diferentes ejemplos de sistemas autónomos. a) Robot Ariadne (18); b) Robot ATRV-2 AVENUE (3); c) Plataforma Rosete (17); d) Robot PR2 (4); e) Plataforma Irma3D (5); f) Robot PR2 (14); g) GRoMI (9); h) Plataforma UAV (13); i) CPS-VIII (11). . . . . . .. 10 10 13 13 15 16. 22. iii.

(18)

(19) Índice de tablas 2.1. 2.2. 2.3. 2.4.. Especificaciones de la adquisición de datos del escáner Riegl VZ-400. Especificaciones del rango de actuación del escáner Riegl VZ-400. Especificaciones de la configuración estándar del robot Guardian. Especificaciones de la cabeza Pan-Tilt montada en el robot Guardian.. 12 12 14 16. v.

(20)

(21) 1| Introducción a la temática y su justificación La generación de planos y representación 3D de edificios llevan años siendo utilizados por los profesionales. Sin embargo, durante los últimos años, con la aparición de los sistemas de CAD, las representaciones tridimensionales de interiores de edificios han ido cobrando popularidad. Estas no solo proporcionan una información visual del escenario que representan, sino que también pueden aportar otro nivel de detalle con respecto a la topología del mismo, así como nuevas herramientas para la diagnosis o evaluación de la construcción. El conjunto de diferentes niveles semánticos que definen un edificio es conocido como BIM (del inglés Building Information Model). La generación de modelos BIM es un proceso tedioso que, aunque es realizado por ordenador, requiere una implicación bastante alta por parte del usuario. La aparición de los escáneres láser ha facilitado en cierta medida este proceso, ya que pueden emplearse para generar de una manera más rápida estos modelos. La automatización de este tipo de procesos supondría eliminar por completo el factor humano en la creación de los modelos BIM. La investigación sobre la que está basada esta tesis pretende automatizar el proceso integrando un escáner láser y un robot móvil completamente autónomo, lo que conllevaría un ahorro considerable de trabajo y tiempo por parte de los profesionales del sector.. 1.

(22) 2. 1. Introducción a la temática y su justificación. 1.1.. Estructura de la tesis. El presente documento se ha dividido en 10 capítulos. En el Capítulo 2 se tratan los principales objetivos de la investigación en la que está centrada esta tesis, así como la metodología de trabajo seguida para alcanzar dichos objetivos y el marco en el que se ha realizado la tesis. En el mismo capítulo, también se habla de los recursos y los materiales usados durante el desarrollo de la investigación. En el Capítulo 3, se recoge el estado del arte concerniente a los diferentes trabajos e investigaciones realizadas durante los últimos años que han perseguido objetivos cercanos o similares a los definidos en el Capítulo 2. Los Capítulos comprendidos del 3 al 7 conforman el compendio de publicaciones que dan cuerpo a esta tesis. Las publicaciones asociadas a cada uno de estos capítulos son:. As-is building-structure reconstruction from a probabilistic next best scan approach. Samuel A. Prieto, Blanca Quintana, Antonio Adán, Andrés S. Vázquez. Robotics and Autonomous Systems. 94, pp.186-207. ELSEVIER, 2017.. Preparation and enhancement of 3D laser scanner data for realistic coloured BIM models Samuel A. Prieto, Antonio Adán, Blanca Quintana. The Visual Computer. pp 1-14, SPRINGER, 2018.. Door detection in 3D coloured point clouds of indoor environments. Blanca Quintana, Samuel A. Prieto, Antonio Adán, Frédéric Bosché. Automation in Construction. 85, pp. 146-166. ELSEVIER, 2017. MoPAD: An Autonomous Robotic Platform for Automatic Extraction of Detailed Semantic Models of Buildings.

(23) 1.1. Estructura de la tesis. 3. Antonio Adán, Blanca Quintana, Samuel A. Prieto, Frédéric Bosché. Automation in Construction, 2019. Aceptado para su publicación. Passing through open/closed doors: A solution for 3D scanning robots Samuel A. Prieto, Antonio Adán, Andrés S. Vázquez, Blanca Quintana. Sensors, 2019. En proceso de revisión. Por último, los capítulos 9 y 10 tratan, en español e inglés respectivamente, las conclusiones que se pueden extraer del trabajo realizado y las posibles líneas de investigación que podrían derivar del mismo..

(24)

(25) 2| Objetivos de la tesis, recursos y materiales utilizados 2.1.. Objetivos de la tesis. Hasta ahora la generación de un modelo tridimensional con información semántica mediante digitalización con escáneres ha sido un proceso manual dirigido por el usuario. Las dos etapas en este proceso son: obtención de la información tridimensional y la generación del modelo. En la toma de datos, el usuario decide dónde situar el escáner en cada momento; en la creación del modelo, el usuario utiliza software comercial y construye un modelo a mano. En esta tesis se trata la problemática de automatizar la toma de datos 3D (digitalización) en interior de edificios con robots móviles. Aprovechando la información recogida por los sistemas de información tridimensional, el robot implementará sus propios algoritmos para poder navegar de forma autónoma en la escena e interactuar con ella para lograr una digitalización completa de interiores. La plataforma autónoma de digitalización de edificios se llamará a partir de ahora MoPAD (Mobile Platform for Autonomous Digitization) Los objetivos específicos son los siguientes: 1. Integración de componentes hardware en MoPAD. a) Puesta a punto e integración sensorial del robot móvil.. 5.

(26) 6. 2. Objetivos de la tesis, recursos y materiales utilizados. 1) Integración de dos ordenadores. 2) Sensores de posición. 3) Sensores de ultrasonidos. 4) Sensores internos de posicionamiento (odometría). 5) Sensores láser 2D. b) Integración de un sensor láser 3D de largo alcance. 1) Adaptación del cabezal motorizado. Plataforma elevadora para el escáner y un cabezal pan-tilt para la rotación del mismo. 2) Adaptación de un escáner láser 3D en el cabezal. 2. Preparación del sistema software de MoPAD. a) Puesta en funcionamiento de toda la plataforma bajo ROS. b) Interfaces de comunicación entre el robot y el escáner 3D. c) Transferencia de datos entre el robot y el escáner 3D. 3. Gestión y mejora de información 3D para navegación. Se trabajará en tareas tales como: a) Métodos automáticos de integración de nubes de puntos. b) Mejora de calidad de datos ante iluminación no controlada. c) Integración de datos en el modelo 3D de la escena. 4. Sistema de navegación autónoma en una escena. a) Integración de algoritmos de siguiente mejor escaneo (NBS, Next Best Scan) adaptados a MoPAD. b) Integración de modelos BIM en el sistema para tareas de navegación. c) Desarrollo de estrategias de planificadores globales adaptados a MoPAD. d) Integración de planificadores locales en MoPAD. 5. Sistema de navegación autónoma en plantas de edificios. a) Algoritmos de detección y posicionamiento de tiradores en puertas..

(27) 2.2. Metodología de trabajo. 7. b) Algoritmos de aproximación a puertas en una escena. 6. Interacción con puertas en interiores. a) Integración de un actuador de 3 grados de libertad en MoPAD. b) Algoritmo de planificación de la interacción sobre la puerta según el estado de la puerta. 7. Trabajo experimental. a) Experimentación de MoPAD en entornos reales, en concreto en interiores de plantas de edificios. b) Elaboración de documentos de resultados y evaluación de los mismos.. 2.2.. Metodología de trabajo. Con el objetivo de conseguir los logros marcados en el apartado anterior, se ha seguido la siguiente metodología de trabajo:. a) Formación de conocimientos de gestión y organización de la investigación. Ha sido necesario un previo estudio del estado del arte en los temas de investigación más ligados a la tesis, como la digitalización autónoma en 3D, plataformas robóticas móviles y la interacción de estas últimas con elementos de la edificación, así como puertas. Así mismo, ha sido necesaria la familiarización con los equipos y recursos usados durante la investigación para el óptimo uso de estos. b) Desarrollo de habilidades de comunicación oral y escrita. La transferencia de los conocimientos adquiridos y desarrollados durante la investigación es crucial. Para ello, se ha dedicado una parte importante de la Tesis a la escritura y presentación de múltiples publicaciones, tanto en revistas de impacto como en congresos nacionales e internacionales. El formato de la tesis como compendio de publicaciones es prueba de ello..

(28) 8. 2. Objetivos de la tesis, recursos y materiales utilizados. c) Realización de estancias de investigación en el extranjero. Se han realizado varias estancias de investigación en el extranjero, de periodo corto y medio. Esto ha permitido la colaboración del doctorando con diferentes investigadores, así como la exposición del mismo a diferentes tecnologías y metodologías de trabajo. d) Desarrollo de habilidades docentes universitarias. Mediante la codirección de trabajos fín de grado resultantes de la investigación del doctorando.. 2.3.. Marco de realización de la tesis. La investigación desarrollada por el doctorando ha tenido lugar bajo la supervisión y dirección del Dr. Antonio Adán Oliver, Catedrático de Universidad en el área de Ingeniería de Sistemas y Automática de la Universidad de Castilla-La Mancha. La investigación principalmente se ha desarrollado en el laboratorio dirigido por el Dr. Adán, el 3D Visual Computing and Robotics Lab (3DVCR) situado en la Escuela Superior de Informática. Así mismo, la investigación también ha sido supervisada y codirigida por el Dr. Andrés S. Vázquez Fernández-Pacheco, Profesor Contratado Doctor de la Universidad de Castilla-La Mancha en la Escuela Técnica Superior de Ingenieros Industriales de Ciudad Real. Durante el transcurso de la tesis se han realizado tres estancias en la Universidad Heriot-Watt de Edimburgo (Reino Unido). Las tres estancias tuvieron como objetivo las instalaciones del laboratorio CyberBuild, en el Institue for Sustainable Building Design (ISBD), bajo la dirección del Dr. Frédéric Bosché. Las dos primeras estancias tuvieron una duración corta de una semana cada una, mientras que la tercera estancia tuvo una duración de tres meses con el objetivo de optar a la mención de doctorado internacional. La financiación usada para la realización de esta tesis proviene de dos dos proyectos de I+D+i financiados por entidades públicas. El primero de ellos, Integración sensorial con escáners 3D y generación automática de modelos (PE-2014017-P) otorgado por la Consejería de Educación y Ciencia de Castilla-La Mancha..

(29) 2.4. Recursos y materiales utilizados. 9. El segundo de ellos, BIM Térmicos: Creación automática y monitorización de modelos tridimensionales térmicos en interiores de edificios (DPI2016-76380-R), financiado por el Ministerio de Economía y Competitividad.. 2.4.. Recursos y materiales utilizados. Para la realización de la tesis ha sido necesaria la utilización de equipamientos específicos, tales como escáneres láser, dispositivos de adquisición de imágenes y robots móviles, entre otros. Además del equipamiento científico, también ha sido necesaria la utilización de distintos tipos de software que permitan el control de los escáneres, la simulación de los mismos, la implementación de algoritmos de procesamiento 3D y control del robot, así como software específico de simulación robótica. La plataforma usada durante toda la investigación, como ya se ha indicado, es la denominada Mobile Platform for Autonomous Digitization (MoPAD). Los dos principales componentes de MoPAD son el escáner láser Riegl VZ-400 y el robot móvil Guardian fabricado por la empresa Robotnik. El principal software de control de la plataforma ha sido el metasistema operativo Robotics Operating System (ROS) y el software de cómputo numérico MATLAB.. 2.4.1.. Escáner láser Riegl VZ-400. El aumento de la velocidad, la precisión y la resolución de los sistemas de medición láser ha supuesto la proliferación de equipos que hacen uso de ellos en diferentes campos de investigación. Concretamente, en el campo de la arquitectura, ingeniería civil o arqueología, los escáneres láser se usan para la medición y captura de diferentes escenarios. Existen diferentes escáneres en el mercado que pueden ser utilizados para estos propósitos. En particular, el escáner utilizado en esta tesis ha sido el Riegl VZ-400 (ver Figura 2.1). El escáner láser Riegl VZ-400 utiliza un sistema de medida de distancia por tiempo de vuelo (TOF, del inglés Time of flight). Dicha tecnología es de las más.

(30) 10. 2. Objetivos de la tesis, recursos y materiales utilizados. Figura 2.1: Escáner Riegl-VZ400.. empleadas en la construcción de escáneres láser. Una de las principales ventajas de esta tecnología es que permite escanear a una gran distancia. El principio de funcionamiento básico consiste en medir el tiempo transcurrido entre la emisión de un pulso de radiación electromagnética y la vuelta de éste. Para ello, el escáner cuenta con un emisor láser, un receptor para recoger la radiación rebotada por el objeto a medir y un reloj interno que calcula el tiempo entre la emisión y la recepción del pulso (ver Figura 2.2).. Figura 2.2: Funcionamiento de la tecnología de tiempo de vuelo.. Conocido el tiempo transcurrido entre ambas mediciones, la distancia del escáner al punto medido es inmediata a partir de la ecuación:. d=. c · tv 2. (2.1).

(31) 2.4. Recursos y materiales utilizados. 11. El VZ-400 basa su funcionamiento en dos principales movimientos que permiten la obtención de nubes de puntos 3D: un escaneo de línea (movimiento vertical) y un escaneo horizontal. El escáneo de línea consiste en un rápido espejo poligonal multi-faceta, el cuál proporciona líneas unidreccionales en todo el rango de medición del escáner, equiespaciadas a una distancia determinada por la resolución del escaneo. El movimiento horizontal se lleva a cabo girando el escáner sobre su eje vertical el rango requerido por el escaneo (hasta 360o ). Los datos obtenidos del escaneo consisten en: rango, ángulo y amplitud de la señal, los cuales pueden ser almacenados en un dispositivo externo USB, guardados de manera interna en la memoria del escáner (hasta 32GB) o, lo más común, transmitidos a un ordenador haciendo uso de la conexión Ethernet (LAN) del escáner o mediante conexión inalámbrica (WLAN). El control del escáner puede realizarse bien mediante un display integrado en el mismo (HMI, del inglés Human Machine Interface) o bien vía WLAN/LAN conectado a un ordenador. Para controlar el escáner desde el ordenador se tienen dos posibilidades: usar el software corporativo proporcionado por Riegl (RISCAN PRO) o el SDK proporcionado también por Riegl (RiVLIB). El comportamiento tanto del escaneo de línea como del horizontal puede caracterizarse con las especificaciones indicadas en la Tabla 2.1. De ella podemos extraer que el rango total del escáner es de 100o verticales y de 360o horizontales, dejando un cono ausente de datos de 60o en la zona superior y otro cono de 100o en la parte inferior. La Tabla 2.2 describe el comportamiento del escáner en los dos modos de funcionamiento disponibles. Como puede apreciarse, el modo largo alcance permite la obtención de puntos a distancias superiores pero sacrificando la velocidad del escaneo del mismo. El efecto de la reflectividad del material en el que incide el láser, así como la falta de visibilidad provocada por las condiciones atmosféricas (polución, humedad, niebla, etc.) también afecta al rendimiento del escáner, tal como se refleja en la Figura 2.3..

(32) 12. 2. Objetivos de la tesis, recursos y materiales utilizados. Dirección Rango angular Mecanismo de escaneo. Vertical 100o (+60o /-40o ) Espejo rotativo. Velocidad de escaneo. De 3 a 120 líneas por segundo 0,0024o ≤ ∆θ ≤ 0,288. Ancho de paso angular. ∆θ (vertical) y ∆φ (horizontal). Horizontal 360o Rotación del dispositivo De 0o a 60o por segundo 0,0024o ≤ ∆φ ≤ 0,5. Tabla 2.1: Especificaciones de la adquisición de datos del escáner Riegl VZ-400.. Modo Largo Alcance Alcance 600 m Velocidad de medición 42.000 pts/s Frecuencia de repetición de pulso 100kHz Precision 5 mm Reproducibilidad 3m. Alta Velocidad 350 m 122.000 pts/s 300kHz 5 mm 3 mm. Tabla 2.2: Especificaciones del rango de actuación del escáner Riegl VZ-400.. 2.4.2.. Robot móvil Guardian. La plataforma robótica usada a lo largo de esta tesis se corresponde con un robot móvil diferencial de cuatro ruedas, modelo Guardian, fabricado por la empresa valenciana Robotnik Automation SLL. Este robot fué modificado para alcanzar los objetivos propuestos en la investigación (ver Figura 2.4). Las especificaciones del robot Guardian en su configuración estándar pueden observarse en la Tabla 2.3. A la configuración estándar, se han añadido una serie de características adicionales: Sistema de elevación con actuador lineal de hasta un metro..

(33) 2.4. Recursos y materiales utilizados. 13. Figura 2.3: Rango de medida del Riegl VZ-400. (Fuente: Riegl VZ-400 información técnica). Figura 2.4: Robot Guardian..

(34) 14. 2. Objetivos de la tesis, recursos y materiales utilizados. Dimensiones Peso Capacidad de carga Velocidad Clase de protección Tracción Motorización Rango de temperatura Máximo gradiente Sistema modular Controlador. 1050 x 600 x 400 mm 75 Kg 50 Kg 1.25 m/s IP64 Orugas combinadas con ruedas 2 ejes, control diferencial (skid). 2 x 300W -10o a +50o C 45o Permite la conexión de cualquier tipo de sensorización mediante puertos USB y RS-232 al exterior Control radio frecuencia o uso de PC por WiFi.. Tabla 2.3: Especificaciones de la configuración estándar del robot Guardian.. Sistema Pan-Tilt en el extremo del actuador lineal. El sistema Pan-Tilt le permite al escáner situado sobre el robot girar sobre sus tres ejes (ver Figura 2.5). Las especificaciones de la unidad pueden encontrarse en la Tabla 2.4. Instalación de dos ordenadores embebidos en el robot. Uno de ellos controlaría el robot y sus sensores, mientras que el otro estaría encargado de la lectura de los datos 3D recogidos por el escáner. Sensores láser delantero y trasero para la detección de obstáculos perimetral. El robot Guardian cuenta con dos láser 2D Hokuyo URG-04LX. El haz de luz del sensor es un láser ifnrarrojo de 785nm de longitud de onda, con un área de barrido de 240o y un alcance máximo de 4 metros. Sistema de sensores de ultrasonido para anticolisión. Cámara Pan-Tilt (Logitech sphere).

(35) 2.4. Recursos y materiales utilizados. 15. Inclinómetro biaxial Unidad de medida inercial o IMU (del inglés Inertial Measurement Unit). GPS Novatel de última generación con precisión de medida de 500 mm. Sistema de baterías de mayor capacidad (2×12V, 50Ah), lo que le permite al robot una autonomía de hasta 8 horas.. Figura 2.5: Capacidad de giro de la unidad Pan-Tilt situada sobre el actuador lineal..

(36) 16. 2. Objetivos de la tesis, recursos y materiales utilizados. Figura 2.6: Láser Hokuyo URG-04LX.. Capacidad de carga Alimentación (voltaje) Peso Velocidad Ángulo de operación. 16 Kg 24 VDC <6 Kg Pan: 12o /s Tilt: 12o /s Pan: 350o Tilt:±180o. Tabla 2.4: Especificaciones de la cabeza Pan-Tilt montada en el robot Guardian.. 2.4.3.. Robotic Operating System (ROS). ROS es un framework flexible para el desarrollo de software para robots. Originalmente fue desarrollado en 2007 en el Laboratorio de Inteligencia Artificial de la Universidad de Stanford, aunque desde el 2013 está siendo mantenido por la fundación de robótica de código abierto (OSRF, del inglés Open Source Robotics Foundation). Se compone de una colección de código abierto de herramientas, librerías y normalizaciones cuyo objetivo es el de simplificar las tareas de creación de comportamientos y algoritmos complejos y robustos para robots. La gran ventaja es que gracias a esas normalizaciones y estandarizaciones, el comportamiento desarrollado para un robot específico es a su vez válido para una gran variedad de diferentes plataformas robóticas. Basado en esa generalización, ROS fue construido para promover la colaboración en la investigación de la robótica a lo largo de todo el mundo. A día de hoy,.

(37) 2.4. Recursos y materiales utilizados. 17. la multidisciplinaridad en un mismo laboratorio es algo que sólo es alcanzable en instituciones ya consolidadas y con una larga trayectoria. Sin embargo, mediante ROS, no es necesario tener un experto de cada campo para poder hacer funcionar un robot. Un experto en creación de mapas puede implementar los algoritmos de navegación desarrollados por otro experto en algún otro laboratorio del mundo. Mediante ROS, ambos equipos pueden desarrollar las herramientas y software necesarios para que el robot sea capaz de realizar las tareas en cuestión. De esta manera, se cumple la principal premisa de ROS, que es la de la colaboración internacional de grupos de investigación y la realimentación y mejora de dichos comportamientos basados en las estrategias desarrolladas por otros. En la actualidad, ROS es ampliamente usado por muchas de las compañías más punteras en robótica del mundo, por universidades y por centros de investigación en robótica para el diseño, construcción y simulación de robots, así como para la interacción con los mismos. Las ventajas de ROS sobre otras plataformas robóticas son las siguientes: Soluciones de alto nivel. ROS contiene una serie de algoritmos básicos listos para usar en cualquier plataforma robótica. De esta manera, con un mínimo de configuración en cualquier plataforma robótica podría realizarse SLAM (Simultaneous Localization and Mapping). Multitud de herramientas. De serie, ROS viene preparado con una cantidad de herramientas útiles para interactuar con la plataforma robótica. Las más usadas durante esta tesis han sido el visualizador RViz, que nos permite interactuar con el robot (tanto real como simulado) y el simulador Gazebo, así como las múltiples herramientas de debug. Soporte para sensores y actuadores de alta calidad. Viene equipado con drivers para la mayoría de sensores y actuadores usados a día de hoy en robótica, tales como Velodyne-LIDAR, Kinect o Dynamixel. Multiplataforma. La manera en la que ROS está estructurado, mediante tópicos y nodos, permite que dichos nodos puedan ser programados en diferentes lenguajes de programación coexistiendo sin ningún problema, tales como C++, C, Python o Java..

(38) 18. 2. Objetivos de la tesis, recursos y materiales utilizados. Una comunidad activa. Debido a la creciente popularidad del servicio y su carácter de código abierto, ROS ha conseguido generar una comunidad de usuarios muy activa y amplia. Esto permite que la transferencia de conocimientos entre diferentes entidades sea de gran efectividad..

(39) 3| Resumen del Estado del Arte La creación de modelos 3D de edificios a partir de datos obtenidos con escáneres 3D sigue siendo un proceso semi manual. Por regla general, un usuario debe tratar y procesar millones de datos (principalmente puntos 3D) de manera manual, lo que implica un aumento considerable de tiempo en el proceso y la aparición de errores implícitos al proceso manual. Sin embargo, la necesidad de creación automática de modelos BIM (Building Information Model), ha propiciado la creación de nuevos sistemas, procedimientos y algoritmos, que son capaces de procesar una alta cantidad de datos de manera eficiente sin la supervisión de un operador humano. De hecho, en los últimos años se ha experimentado un acercamiento a este campo por parte de los sectores de la robótica y la inteligencia artificial. En cada uno de los artículos incluidos en esta tesis por compendio puede encontrarse un estado del arte específico para cada tema. En este capítulo se presenta una visión global resumida sobre las plataformas autónomas de escaneado 3D. Existen muy pocos artículos que traten el escaneado 3D autónomo en la construcción. En las referencias (1, 10, 12) pueden encontrarse algunas de las recopilaciones más significativas del estado del arte en la materia. Lethola et al. (12) presenta una evaluación de las últimas técnicas usadas con sistemas de escaneo móviles comandados, centrándose en los aspectos relacionados con la calidad de la nube de puntos resultante. El artículo también trata los aspectos esenciales que determinan la validez y aplicabilidad de los sistemas autónomos de escaneo 3D existentes hasta el momento, así como las actuales limitaciones y dificultades. 19.

(40) 20. 3. Resumen del Estado del Arte. a salvar en dicho campo de investigación. Kostavelis et al. (10) presentan otro estudio bibliográfico relacionado con el mapeado semántico obtenido a partir de robots móviles. El artículo categoriza los métodos existentes así como sus implementaciones en plataformas robóticas móviles. Además, se lleva a cabo un estudio con respecto a los sensores y estrategias usadas en la construcción de los mapas, finalizando el artículo con una conclusión sobre los problemas a resolver. En la referencia (1), el artículo se centra en la inspección de estructuras, tales como puentes, turbinas, barcos y otros tipos mediante el uso de sistemas robóticos. El artículo principalmente se centra en la planificación de trayectorias de los robots y la reconstrucción 3D de los modelos. También se incluye información detallada sobre la generación de puntos de vista, sensores, algoritmos y otras propiedades necesarias para la reconstrucción 3D de los escenarios estudiados. En este apartado se pretende estudiar un punto de vista diferente sobre el estado del arte en el escaneado automático en la construcción, ofreciendo un pequeño resúmen sobre las plataformas autónomas que pueden encontrarse en el campo de la digitalización 3D orientada a la construcción. En esta tesis, se denominará sistema completamente autónomo a aquel que es capaz de realizar navegación, adquisición de datos 3D y procesamiento de los mismos sin ningún tipo de conocimiento previo sobre la escena y sin ninguna intervención humana. Este grado de autonomía es posible gracias a los algoritmos de siguiente mejor vista (NBV, del inglés Next Best View), que son adaptados para cada una de las diferentes plataformas móviles. Algunos de los ejemplos más representativos tratados en este apartado pueden verse en la Figura 3.1. Las primeras plataformas autónomas aparecieron en el periodo de 1995-2010. Sequeira et al (16) presenta un robot autónomo simple que digitaliza de manera parcial una habitación mediante un láser con tecnología de tiempo de vuelo. El láser está montado sobre una unidad pan-tilt, lo que le permite obtener una imágen de rango de 140×140 muestras, cubriendo un campo de visión de 60o ×60o . Surmann et al. muestran el robot Ariadne (18), un robot móvil equipado con un láser de rango 3D capaz de digitalizar escenarios interiores de tamaño considerable. La plataforma Rosete es presentada por Strand et al. en la Referencia (17). Para solucionar el problema del cono con ausencia de datos en los anteriores.

(41) 21. escáners comerciales, estos últimos introducen un láser escáner con la capacidad de rotar sobre una plataforma móvil, consiguiendo así digitalizar interiores simples. Por el contrario, ATRV-2 AVENUE (3) está diseñado para obtener datos en ambientes exteriores de mayor tamaño. Está compuesto por un robot equipado con un láser escáner, el cuál asume una posición inicial aproximada (indicada en un mapa 2D) que le es necesaria para calcular la ruta con la mínima cantidad de puntos de vista. Por lo tanto, aunque el sistema en sí tiene un alto nivel de autonomía, sí que requiere información previa sobre la escena. La plataforma de Blodow et al. (4) explora interiores de manera autónoma y proporciona un mapa semántico obtenido a partir de las nubes de puntos con color. El robot, un PR2 (del inglés Personal Robot 2 ), dispone de un láser escáner con el movimiento de tilt y una cámara de color, con libertad de movimientos tanto en tilt como en pan. Esta técnica es aplicada a cajones y puertas. El mismo robot es también usado en la Referencia (14), aquí se dedican a analizar el rendimiento de un algoritmo Next Best View en escenarios pequeños con un alto nivel de oclusión. En este caso la escena consiste de una mesa con múltiples objetos colocados encima, que son sensados y reconocidos por el robot para labores de interacción con los mismos. Charrow et al. (6) llevan a cabo mapeado 3D de interiores de edificios usando un robot móvil equipado con un láser de rango 2D y una cámara RGB-D (capaz de captar color y profundidad). Un solo experimento es desarrollado en un conjunto de pasillos conectados entre sí y sin ningún tipo de oclusión. Iocchi et al. (8) obtienen mapas 3D de edificios integrando un láser 2D, visión estéreo y una IMU (del inglés, Inertial Measurement Unit) en un robot móvil. Borrmann et al (5) presentan la plataforma Irma3D, una plataforma robótica que de manera automática crea modelos térmicos 3D de interiores de edificios. La plataforma está equipada con un láser escáner 3D, una cámara térmica y una cámara RGB. Además, un láser 2D es usado para ayudar en la navegación del robot. En los últimos años, los micro vehículos aéreos (MAV, del inglés Micro Aerial Vehicles) también están siendo usados como plataformas autónomas para extraer información 3D tanto de interiores como de exteriores de edificios. Bircher et al. (2) proponen un nuevo algoritmo de generación de trayectorias para la exploración autónoma de un ambiente desconocido mediante el uso de hexacóptero firefly y.

(42) 22. 3. Resumen del Estado del Arte. (a). (b). (c). (d). (e). (f). (g). (h). (i). Figura 3.1: Diferentes ejemplos de sistemas autónomos. a) Robot Ariadne (18); b) Robot ATRV-2 AVENUE (3); c) Plataforma Rosete (17); d) Robot PR2 (4); e) Plataforma Irma3D (5); f) Robot PR2 (14); g) GRoMI (9); h) Plataforma UAV (13); i) CPS-VIII (11)..

(43) 23. una cámara estéreo montada en éste. El experimento tiene lugar en una sola habitación. Una plataforma similar, basada también en un MAV, es presentada en la Referencia (13). Heng et al. (7) estudian un algoritmo para un mapeado y exploración simultanea, usando una cámara de profundidad apuntando hacia adelante. El sistema es simulado en un ambiente de oficina. En otro contexto, la plataforma de Rusu et al. (15) obtiene mapas 3D correspondientes a cocinas, con el objeto de interactuar con los múltiples objetos reconocidos. El robot entra en la habitación y hace un barrido de la escena con un láser colocado en el efector final de su brazo robótico. Lo que se obtiene durante el proceso es un modelo 3D simplificado compuesto por cuboides y planos que representan los objetos más relevantes, tales como encimeras y armarios. Las propuestas más recientes son aquellas indicadas en las referencias (9) y (11). Kurazume et al. (11) han propuesto un sistema innovativo compuesto por múltiples robots capaces de cooperar entre sí, con el objetivo de escanear tanto ambientes interiores como exteriores. El sistema está formado por un robot móvil (el robot padre) equipado con un láser escáner 3D y múltiples robots hijos, pudiendo ser éstos robots móviles o aéreos. El robot padre obtiene los datos 3D y genera una nube de puntos de gran tamaño, mientras que los robots hijo implementan una técnica de localización precisa. El sistema no requiere de ninguna información inicial sobre la escena y es capaz de trabajar de manera autónoma en escenarios relativamente complejos. Kim et al. (9) introduce una plataforma robótica con un láser escáner poco convencional. El escáner está compuesto de cinco lásers 2D y una cámara digital reflex (DSLR, del inglés digital single-lens reflex). El robot clasifica las posibles siguientes posiciones obtenidos tras analizar el área visible de un mapa 2D previamente construido, diviéndolas en tres diferentes categorías y navegando a la que es considerada como mejor posición. Siguiendo este método, el sistema puede moverse manera autónoma a lo largo de pasillos, aunque no se puede asegurar que el escaneo 3D resultante vaya a ser completo..

(44)

(45) 4| Publicación I As-is building-structure reconstruction from a probabilistic next best scan approach. 25.

(46) Robotics and Autonomous Systems 94 (2017) 186–207. Contents lists available at ScienceDirect. Robotics and Autonomous Systems journal homepage: www.elsevier.com/locate/robot. As-is building-structure reconstruction from a probabilistic next best scan approach S.A. Prieto *, B. Quintana, A. Adán, A.S. Vázquez 3D Visual Computing and Robotics Laboratory, Universidad de Castilla-La Mancha (UCLM), Paseo de la Universidad, 4, Ciudad Real 13071, Spain. highlights • • • • •. Method for automatic 3D scanning of structural elements in inhabited buildings. Working in complex scenarios composed of adjacent concave rooms with high clutter. A comparison with similar methods has been carried out. Autonomous robot dealing with the movement of the scanner in the scene. Simple 3D CAD model of the complete scenario is obtained as a result of the process.. article. info. Article history: Available online 13 May 2017 Keywords: As-is 3D building modeling Automatic 3D scanning Autonomous indoor scanning robots Point clouds processing 3D laser scanners. a b s t r a c t Rather than merely dealing with robot localization and mapping in 3D environments, this paper tackles a special topic which could be denominated as-is 3D building modeling with robots. We present a method with which to carry out the automatic 3D scanning of furnished buildings with the aim of obtaining complete and in-depth information regarding the principal visible structural components of an indoor environment (walls, floors and ceilings). This is an essential stage in the automatic creation of as-built BIM models that greatly facilitates the detection of the structure of a building. Our system, which is essentially composed of a mobile robot and a 3D laser scanner, autonomously navigates indoor environments that are occluded and cluttered. The approach can be considered as a structural-component based 3D mapping in which the robot moves to certain positions that are calculated using a new Next Best Scan (NBS) algorithm. We justify the contributions of our work in this research field by means of a broad theoretical comparison with other related methods. Key issues such as the complexity of the scene, occlusion, hypotheses, limitations and autonomy are discussed in the paper. This system has been tested in real and simulated environments. Complex scenes composed of several adjacent non-regular rooms (i.e., concave/convex rooms) have been tested, with promising results. © 2017 Elsevier B.V. All rights reserved.. 1. Automatic 3D scanning 1.1. Introduction Robot localization and mapping in three dimensional scenarios have, for several decades, been addressed through the use of various types of sensors such as laser scanners, RGB-D sensors and other systems. Many sub-lines and applications can be found in the different scenarios of this wide research area, from mere robot localization and planning issues, to complex robot interaction tasks. The autonomous scanning problem appeared as a new author. * Corresponding E-mail addresses: Samuel.Prieto@uclm.es (S.A. Prieto), Blanca.Quintana@uclm.es (B. Quintana), Antonio.Adan@uclm.es (A. Adán), Andress.Vazquez@uclm.es (A.S. Vázquez). http://dx.doi.org/10.1016/j.robot.2017.04.016 0921-8890/© 2017 Elsevier B.V. All rights reserved.. and challenging matter in the late 90’s. In the last ten years, various interesting methods have, therefore, been able to autonomously scan specific environments or certain parts of simple scenarios [1–3]. However, these approaches continue to have limitations and weaknesses, signifying that there is still a lot of work to be done in this area. It is first necessary to clearly distinguish between two complementary processes: 3D scanning and 3D modeling. The main objective of 3D scanning is to acquire the maximum information (data) regarding the scene (an indoor/outdoor building), whereas the goal of 3D modeling in our context is to create as-built BIM models, which involves processing the data acquired and identifying/recognizing not only the essential parts of buildings (such as walls, ceiling, floors, windows and doors), but also other objects in the scene, which are typically pieces of furniture. It is important to state from the outset that this paper deals exclusively with the 3D.

(47) S.A. Prieto et al. / Robotics and Autonomous Systems 94 (2017) 186–207. Fig. 1. (a) Examples of simple scenes: rectangular rooms and rooms with or without minor occlusion. (b) Complex scenes: furnished scenes, high level of occlusion, concave rooms and several rooms connected by means of openings. Our research is focused on dealing with the latter scenario.. scanning process, and more specifically, with the problem of scan planning with robots. The objective of this paper is to propose a new ambitious scanning technique that is able to work in complex scenes in an efficient manner. A complex scene is a scene in which there is a great amount of occlusion and clutter, such as a furnished building, or a scene consisting of non-regular rooms (i.e., concave/convex storey rooms) connected with each other by means of openings (mainly open doors). Dealing with more complex scenes obviously requires more and more complex 3D data acquisition processing. Fig. 1 shows examples of simple and complex scenarios. It is first essential to locate the objective of our approach in the universe of autonomous robots and applications. As mentioned previously, we use scanners to acquire 3D data, but our eventual goal here is for our mobile robot (carrying the 3D laser scanner) to be able to acquire the information concerning the structural elements of the scene (room) in an efficient manner. From here on we shall employ the term ‘‘structural element (SE)’’ to refer to the visible structural components of the scene (room), which are the floor, ceiling and walls. This information will enable the system to generate a semantic 3D model of the scene at a later stage. The paper presents a new method for the automatic scanning of indoor structural elements. The remainder of the paper is organized so as to justify and explain our scanning method. An overview of robotic systems that tackle the problem of automatic building scanning is presented in Section 1.2. Section 2 provides an overview of our system. The algorithms used to extract indoor structural elements from the accumulated point cloud and subsequently recognize them are dealt with throughout Section 3. Section 4 presents the next best scan algorithm, which plays a relevant role in the whole process. The entire robot planning and navigation approach is shown in Section 5, while Section 6 presents the experimental work in simulated and real scenes. Section 7.1 discusses methods similar to ours and Section 7.2 presents an experimental comparison with similar works. Finally, we discuss our conclusions, contributions and future improvements in Section 8. 1.2. 3D reconstruction robotic systems Many 3D reconstruction robotic systems with a wide variety of sensors can be found in the literature that has appeared in the last ten years [2–6]. Most of them are composed of: a single two. 187. dimensional laser range finder on a pan/tilt ([7,8]), several 2D laser scanners [1,6,9] or a single 3D scanner [3,10,11]. Moreover, RGBD cameras [12,13] and other more complex systems, with several complementary sensors, can be found in [3,4,10,14]. One important aspect is the autonomy of the scanning system. Approaches that perform scans on cars, scanners carried by humans or even by mobile robots, perform only semiautomatic scanning and most of them are manually commanded SLAM (Simultaneous Localization and Mapping) systems, signifying that a human decides where to go and how to perform a complete scanning in a large scenario. For example, in Toschi et al. [15] a laser scanning system on board a chauffeur-driven car digitizes the center of Trento. Xiao et al. [16] reconstruct indoor environments using an RGB-D camera that is handled by a person. A commanded robot with a 3D scanner is used in [11] and micro aerial vehicles (MAV) extract 3D information concerning interior scenes in [17]. Other examples of completely tele-operated systems can be found in [5,6,9,11]. None of those works can be considered to contain truly autonomous/automatic methods. Others have a high degree of autonomy but still need essential information about the scene, such as those in [10] and [18] in which previously obtained 2D maps are required. Most scanning systems are designed to work in indoor scenarios. Some authors scan small [2] or large corridors [12], which are considered to be very simple shapes. Most works deal with scenes composed of a corridor and several rooms connected to it [1,3,5,8,11,13,14,17,18]. In some cases, the robot moves along the corridor, enters the room in order to acquire 3D data, leaves the room and goes back down the corridor [1,3]. The rooms are usually all rectangular shapes [1,3,5,8,11,14,17], with the exception of those in [18] and [13]. Iocchi et al. [18] generated a multilevel 2D-map in order to generate non-orthogonal structural elements. Moreover, the system is able to manage the changes on the floor with the help of an inertial measurement unit. More complex scenarios are also used in [13]. These authors’ goal is not to build a 3D model of the scene, but rather to navigate with the help of depth cameras. Those approaches that work in free-shape scenarios, such as abandoned mines [6] with sinuous corridors, are very different, since volumetric maps of underground mines are recovered. In [19], an autonomous robot acquires 3D information about a square kitchen, but despite the simplicity of the boundaries of the scene, the method carries out an exhaustive segmentation of the different components of the kitchen. There are few examples of exterior scanning techniques that employ robots, although two good examples found in literature are those of Wolf et al. [9] and Blaer et al. [10]. Wolf et al. [9] digitize rectangular buildings and generate planar representations on very simple shapes, such as parallelepiped structures. In [10], the authors present automated data acquisition on large-scale outdoor sites, which is carried out in two phases. In the first, an initial model of the target region is calculated using a two dimensional map of the region, while in the second the point cloud is collected. The goal is to accumulate point clouds taken from different positions, but a geometric CAD 3D model of the scene does not appear to be generated. Scan planning in the presence of occlusion is considered to be one of the principal problems. The strategy normally employed to avoid occlusion consists of fusing more data from different viewpoints. One of the key issues in automatic scanning is, therefore, that of selecting the next scanner position. The decision made regarding the next best position should make it possible to obtain a complete, high-quality and non-time-consuming digitization of the scene. This is known in literature as the Next Best View problem (NBV), and in our context it could be renamed the Next Best Scan (NBS). A state of the art of NBS techniques will be presented in Section 7.1..

(48) 188. S.A. Prieto et al. / Robotics and Autonomous Systems 94 (2017) 186–207. Fig. 2. Block scheme of the room scanning process. When a new scan is taken, the robot is first located in the room. The current point cloud s(t) is registered in the accumulated point cloud S(t-1) and the algorithm that detects structural elements is executed. The stopping criterion is then checked. If the stopping criterion is not verified, the NBS algorithm calculates the next position of the sensor and the cycle runs again with a new scan. If the stopping criterion is satisfied, the door detection algorithm is executed and the mobile robot moves toward the next room. The system analyzes the state of the door (open, closed or partially closed) and, if necessary, interacts with the door and enters the new room. Our approach is quite cautious since it takes the first scan just after passing through the doorframe. The scanning process then starts in the new room.. Not all approaches are able to deal with occlusion and clutter problems. Many of them present results obtained from scenes without apparent occlusion [1,6,12]. Point clouds of empty scenarios are, of course, much easier to process and robot navigation is quite simple [7,12]. Some methods are tested by considering obstacles or clutter in the scene [2,8,13], signifying that next best position algorithms can work perfectly in scenes with no meaningful occlusions. In inhabited scenes, however, some objects, such as pieces of furniture or other objects, may occlude essential structural components of the scene (e.g. walls). The methods employed in these scenarios need to acquire more information from specific 3D sensor locations which are calculated by means of efficient NBV algorithms [1,3,5,8]. Other authors, such as those of [18], do not explicitly refer to this matter because they do not consider occlusion to be an essential point. Scan planning algorithms sometimes assume a priori knowledge of the scene or impose certain hypotheses. For example, Potthast et al. [4] impose a specific bounding box or boundaries which contain the scenario to be dealt with. In [9], buildings with rectangular floor plans are assumed. Other methods work with spaces composed exclusively of planar surfaces [6,7] or with scenes in which pieces of furniture are cubic volumes [19]. Moreover, previously obtained 2D maps are frequent and necessary requirements in some approaches [10,13,18]. In [10], an initial model of the target region is calculated in a first stage using a 2D map of the region. The authors then scan from a set of positions in order to allow all the walls in the environment to be imaged. A second stage refines this initial model by providing additional 3D information that is lacking in the first version. Iocchi et al. [18] compute 3D maps as a set of 2D maps connected together, while Biswas et al. [13] solve the localization problem by using a 2D map of the scene, which has been extracted from the blueprint of the building. Furthermore, an earlier scene exploration stage is sometimes mandatory [17]. Less frequent hypotheses are those of Strand et al. [8]. Here, the room detection requires the corridor to be bigger than the rooms. Location and planning problems can be solved with the help of external beacons [11] or using previously determined exploration paths [17].. 2. Our 3D scan planning strategy Since we deal with complex and large scenarios composed of corridors, halls and rooms, the scan planning process requires a great amount of memory and resources. A point cloud composed of several tens of million points representing the whole environment is hard to handle. In order to alleviate the computational cost and memory requirements, the approach proposed in this paper scans and processes each room separately. When all the existing rooms and corridors have been scanned and processed, we generate a single 3D model of the building structures. Fig. 2 shows a scheme of the room scanning process. Each room is scanned from several positions by following our next best scan (NBS) strategy. The accumulated point cloud is updated with a new scan and the irregular prism that contains the point cloud is then calculated (Section 3.2). This is a single model that identifies the structural components (floor, ceiling and walls) of the currently visible part of the room (Section 3.3). The system then calculates an ordered list of the next best scan positions (Section 4), and the robot starts evaluating which are the most suitable. At this stage, the robot calculates an obstacle map and selects the next best scan position. The first free path, according to the global path planning algorithm, is chosen as the next best scan position. Finally, the robot moves using its own local planner and attains its final position (see Section 5). This process is repeated until a particular stopping criterion is satisfied (see Section 4.2). Once the room has been completed, the point cloud belonging to the structural elements and a coarse indoor 3D model are generated. The opening/door detection algorithm (see [20] for details) is subsequently executed and the position of the door/s is/are calculated within the current 3D model of the scene. The robot then moves towards the door and stops in front of it. If the door has been recognized as being closed (or partially-closed), the robot interacts with the handle and opens the door. If the door is open, the robot goes through the doorframe and immediately carries out its first scan. This first scan provides sufficient 3D information of the new room and the scanning process continues. Our automatic scanning approach is, therefore, a cyclical process in which new scans are processed and added to the.

(49) S.A. Prieto et al. / Robotics and Autonomous Systems 94 (2017) 186–207. 189. sensor on board the 3D laser scanner (Riegl VZ 400) is employed to align s(t) in such a way that the floor points lie on horizontal planes and the walls points lie on vertical ones. The registration of s(t) in S(t-1) is primarily solved using the odometry of the mobile robot and is later refined by applying the well-known ICP (Iterative Closest Point) technique. The accumulated point cloud, S(t), is then updated. 3.2. Defining the boundaries of the workspace. Fig. 4(a) shows a flow chart that explains each step followed in this phase. The current boundaries of the workspace are calculated by finding an irregular prism of vertical polygons (P3D ) that encloses S(t). This is done by following four steps (see Fig. 4(a)): Fig. 3. Complex scenario tested with our approach.. accumulated point cloud of the scene. The point cloud registration problem is primarily solved by employing the localization data obtained from the mobile robot, and is later refined by applying the well-known ICP (Iterative Closest Point) technique [21]. In the mobile robot framework, our strategy makes sense if the system itself is able to detect openings or doors that connect adjacent rooms. Since this paper is mainly focused on presenting the NBS procedure, the door detection algorithm is not included in this document, and complete information about it can be found in [20]. The principal assumptions of our method are related to the scene and the sensor used. This proposal deals with scenes that contain flat structural elements, with rectangular openings and which are cleared of people or other moving objects. With regard to the sensor, the methodology presented has worked with 3D scanners with a vertical field of view that is sufficiently large to capture the floor and ceiling simultaneously. More limitations and future improvements are presented in the last section of the document. Fig. 3 illustrates a complex scenario tested with our approach. Note the irregular shaped rooms with clutter and occlusion properties. The output is the point cloud belonging to structural parts of each room and the integrated point cloud eventually attained. Of all the components in our system, this paper is mainly focused on the NBS algorithm. In order to provide the reader with sufficient knowledge to better understand the comparison with other NBS techniques, we have moved the 3D NBV-state-of-theart section to the end of the paper. After providing a detailed explanation of our approach in Sections 3–5, 7 therefore presents a theoretical comparison with the current state of the art in this field and an experimental comparison with the most similar NBS techniques. 3. Indoor structural components Let us imagine that the mobile robot has just taken its t-th scan s(t) (denoted using a lowercase letter s) of a certain room on a building storey. At that time, t, the system seeks the structural components in the accumulated point cloud S(t) (denoted using an uppercase letter S). The calculation of the structural components at time t , consists of three phases: registration, definition of the boundaries of the workspace and recognition of structural components. 3.1. Registration The information originating from the scanner at a time t, s(t), consists of a huge number of 3D coordinates in the scanner coordinate system itself that need to be preprocessed. The inclinometer. 1. Extraction of the points appertaining to the floor and ceiling of the room. This is easily done by detecting two maximums in the Z -histogram of the data. We assume here that ceilings and floors are planar and parallel regions and contain the largest number of points. Two peaks in the Z -histogram represent the ceiling and floor. The height of the walls is then calculated. More details can be found in [22]. 2. Generation of the projected image I. The point cloud is first projected onto the XY plane. We then discretize the region of the XY plane in which the projected data lie and generate a 2D image. The resolution of I is 5 cm/pixel. 3. Finding the contour that encloses the projected data in image I, P2D . A simple contour extraction algorithm is run using both the Hough [23] and Harris [24] algorithms. The contour C is composed of a number of concatenated segments. Note that each segment approximates a set of projected points in the image. This information will be used in the following step. 4. Finding the irregular prism that encloses the 3D data: P3D . Returning to the 3D space, each set of projected 3D points within its corresponding 2D segment (step 3) is fitted to a vertical polygon. This is done using the MLESAC technique [25]. The union of the vertical polygons together with the polygons corresponding to the ceiling and floor yields an irregular prism that contains the current point cloud. Note that as a new scan is taken, a new prism is generated. Fig. 4(b) presents an example of the evolution of P3D for four consecutive scans. Laser scanner data (in red) are superimposed onto the polygonal prism (in blue). Observe that, although the prism undergoes minor variations from the third scan onwards, the scanning process continues because the stopping criterion has not yet been verified. Essentially, more data belonging to structural elements (SEs) are required. The figure shows how several SEs recover data (in red) from the two last scans. 3.3. Recognition of structural components The potential SEs lie on the prism P3D which encloses the scanned space. However, not all the polygons of P3D are structural elements. Let us assume that, at a certain time t, the current point cloud S(t) is still incomplete and that only a part of the scene (in our case, a room) has been sensed. The irregular prism that encloses S(t) at time t, is made of a set of faces (parallelograms) which can contain either data points appertaining to the walls of the room or the data points of any other object that occludes the wall/s. As a consequence of these occlusions, not all the faces of the irregular prism are really walls. We state that a face is an SE by analyzing the number of data associated with (next to) the face and the distribution of those data. In order to identify which faces are SEs and which are not, we follow four steps (see Fig. 5 for a better understanding of this)..

(50) 190. S.A. Prieto et al. / Robotics and Autonomous Systems 94 (2017) 186–207. Fig. 4. (a) Flow chart showing the steps used to define the boundaries of the space. Calculation of the current enclosing prism. (b) Evolution of the irregular prism for four consecutive scans. In this figure, laser scanner data (in red) are superimposed onto the polygonal prism (in blue). From the third, the prism is the same but the scanning process continues because the stopping criterion has not yet been verified. Note that new data are added to the SEs. The position of the scanner is represented using a black dot. (For interpretation of the references to color in this figure legend, the reader is referred to the web version of this article.). 1. Data assignation per polygon. In the first step, we assign data to each polygon of P3D . This is performed by taking into account the points already assigned to each segment of image I (see steps 3 and 4 in Section 3.2). 2. Generation of binary images. Each polygon of P3D , together with its corresponding data, can be converted into a binary image ISE . 3. Classification. A binary Support Vector Machine (SVM) classifier [26] is applied to ISE . This classifier distinguishes whether or not the polygon is a structural element. With regard to the top and bottom polygons, which correspond to the ceiling and floor, they are assumed to be structural elements a priori and the labeling process is, therefore, only carried out for vertical polygons. 4. Labeling of the polygonal prism as a structural or a nonstructural element. Some details of the classification algorithm are provided below. j Let ISE be the binary image corresponding to the jth vertical polygon of the prism P3D , in which we insert a white pixel when there are projected data. Let us assume that d1 d2 is the area of the image (d1 and d2 are the image dimensions) and that n is the number of white pixels in the image. We consider the following features.. v1 : Relative occupied area. This is a measure of occupancy of the j hypothetic SE. An occupied pixel in the image ISE (a white pixel in Fig. 5) represents one or several data points on the corresponding face of the prism. A low value of v1 intuitively leads us to a non-SE candidate. v1 is calculated as follows. n v1 = (1) d1 d2 v2 : Local compactness factor. We calculate the compactness j factor by analyzing the compactness of data clusters in ISE . v2 is defined in terms of the ratio between the sum of the cluster areas and the sum of their respective bounding boxes in Eq. (2). ∑ ni v2 = ∑ i i. d1i d2i. (2). where d1i and d2i are the dimensions of the ith cluster. If the data are highly dispersed in a cluster, the scanner could be far away from the corresponding sensed area, or the area could have been sensed at a high angle of incidence. Both circumstances lead us to believe that this face is Non-SE. Note also that when a wall contains clusters with a few spread points, the information regarding this wall is very poor, as a consequence of which the wall will probably be recognized as Non-SE. The same algorithm is, therefore, intrinsically demanding more data about the hypothetical wall..

Referencias

Documento similar

The ECSEL AFarCloud (Aggregate FARming in the CLOUD) project will provide a distributed platform for autonomous farming that will allow the integration and cooperation of

On the platform side was installed the same scheme of implementation corresponding to a real satellite ADCS, thus, integrating inertial navigation sensors, flight computer,

The Dwellers in the Garden of Allah 109... The Dwellers in the Garden of Allah

In  this  paper,  the  autonomous  navigation  system  of  the  underwater  vehicle  consisting  of  a  Self‐Organization  Direction  Mapping  Network  (SODMN)  and 

The main contributions of the thesis are divided on four aspects: (1) long-term experiments of mobile robot 2D and 3D position tracking in real urban pedestrian scenarios within a

MD simulations in this and previous work has allowed us to propose a relation between the nature of the interactions at the interface and the observed properties of nanofluids:

The map shows that an oxide layer is present on the surface of the sample and Ti is distributed on the surface of the samples and within the implanted layer, and not only present

Analysis of the point cloud acquired with the UAV The complete point cloud from the UAV-based laser scanning system is initially split into separate point clouds from