DISEÑO DEL SISTEMA DE VISIÓN ARTIFICIAL PARA SELECCION DE AVOCADO Zárate Mario

(1)

12º CONGRESSO IBEROAMERICANO DE ENGENHARIA MECANICA

Guayaquil, 10 a 13 de Noviembre de 2015

DISEÑO DEL SISTEMA DE VISIÓN ARTIFICIAL PARA

SELECCION DE AVOCADO

Zárate Cáceres, M. E.1 Madrid Ruiz, E. P.2

1_{Escuela de Posgrado, Maestría en Ingeniería Mecatrónica}

[email protected]

2_{Departamento de Ingeniería, Ingeniería Mecatrónica}

[email protected]

1,2_{Pontificia Universidad Católica del Perú | Av. Universitaria 1801, San Miguel, Lima 32, Perú}

CIENCIAS APLICADAS A LA INGENIERÍA MECÁNICA Mecatrónica - Electromecánica - Automática

RESUMEN

En los últimos años el Perú ha presentado un alto crecimiento en su producción agrícola y se viene colocando como uno de los principales exportadores a nivel mundial. Dentro de la gran variedad de productos que se exportan, la palta o avocado es un producto altamente solicitado en el mercado internacional cuya producción llegaría a alcanzar las 369 mil toneladas para el 2015. Este crecimiento en el aumento de producción, requiere que los procesos post-cosecha sean rápidos y cumplan estándares internacionales de calidad, para poder competir con países como México, primer exportador mundial, que concentra el 47% de los despachos de palta. De este modo, un sistema automatizado de clasificación que agilice este proceso y aseguré el cumplimiento de estándares de calidad es lo requerido. Por tanto, el presente trabajo plantea el diseño de un sistema de visión artificial para realizar la clasificación de paltas por calibres o tamaños. La cantidad de paltas a procesar oscilan entre 30 y 60 unidades por minuto y se encontrarán separadas en 6 grupos según el calibre al que pertenecen. El diseño propuesto incluye un estudio del arte, la selección de componentes y pruebas que validan su elección.

(2)

INTRODUCCION

Internacionalmente se tienen empresas que fabrican soluciones integrales para toda una línea de producción de palta o avocado, un claro ejemplo de ella es la empresa Compac Sorting Equipment [1], de Nueva Zelanda, los cuales tienen equipos que realizan una clasificación de paltas por peso en balanzas dinámicas y a volúmenes de producción que superan las 30 TN/hr. Otra empresa es TOMRA [2] (Empresa Noruega), que específicamente no tienen una solución para paltas, pero pueden diseñarlas, solo que trabajan con volúmenes mayores a 60 TN/hr, valor que está muy por encima de los volúmenes actuales de producción que tienen los pequeños y medianos productores en Perú.

Por otro lado, en Colombia se planteó una solución basada en visión para determinar el grado de madurez de palta por su color, se han obtenido resultados aceptables en el reconocimiento de patrones como tamaño y color, alcanzado hasta un 87.85% de precisión en los resultados [3], este trabajo nos sirve como punto de partida, aunque en nuestro caso se requiere medir la palta para obtener indirectamente su peso en un pequeño intervalo de tiempo, para lo cual la selección de hardware es un paso importante. Sistemas parecidos se desarrollaron en otro tipos de frutos, en china se realizó una clasificación de manzanos por color [4]. También se desarrollaron en Indonesia sistemas portables de clasificación de naranjas basados en visión por computadora enfocados a la pequeña agro-industria, el sistema clasifica las naranjas por su tamaño y grado de madurez, es un sistema de bajo costo y puede llegar a procesar hasta 2 frutos por segundo [5]. Del mismo modo, en Alemania se utilizó sistemas de visión para ubicar plantas y evaluar la calidad de sus hojas, este es otro ejemplo de una aplicación agro-industrial [6]. Es necesario optimizar tiempo de procesamiento utilizando lenguajes de programación ligeros, según métodos experimentales es posible determinar el tiempo de procesamiento de las instrucciones del programa [7], estos nos han servido para estimar el costo computacional requerido y así seleccionar el procesador adecuado para el sistema.

JUSTIFICACION

La producción de palta en el Perú está pasando por un momento importante, se estima que tenga un crecimiento del 25% durante el 2015, según previsiones de Scotiabank1_{. Este crecimiento necesita ir de la mano}

con el desarrollo de tecnología para ser competitivo a nivel mundial, hoy en día, uno de los procesos que involucra muchas horas-hombre de trabajo, es el proceso de clasificación. Este proceso se viene realizando de manera manual por una gran cantidad de operarios. Suele ocurrir que en ocasiones los operarios deben analizar varios productos a la vez, perdiendo precisión por la velocidad a raíz de la fatiga visual. Por esta razón se identificó la necesidad de mejorar el proceso de clasificación de paltas según forma y tamaño, aumentando la velocidad y la precisión, específicamente del tipo de palta “HASS” y “Fuerte”, que son las de mayor volumen de producción en

el mercado. Estos productores necesitan hacer su producto más competitivo evitando incrementar su costo, pues existen soluciones industriales que resuelven este problema, pero se encuentran sobredimensionados para las necesidades actuales de los medianos productores, son muy costosas para adquirirlas y no se tiene soporte técnico local. La clasificación de paltas se realiza bajo normas nacionales e internacionales, estas se clasifican en tres categorías según sus características de calidad (Categoría Extra, Categoría I, Categoría II), y dependiendo de su peso se clasifican por calibres según la tabla 1.

Tabla 1: Disposición de calibres y su peso (en gramos) de una caja de 4 kilogramos netos.

Código de calibre2 _{Peso (en gramos)} _{Código de calibre} _{Peso (en gramos)}

2 > 1220 18 211 - 235

4 781 - 1220 20 191 - 210

6 576 - 780 22 171 - 190

8 461 - 575 24 156 - 170

10 366 - 460 26 146 - 155

12 106 - 365 28 136 - 145

14 266 - 305 30 125 - 135

16 236 - 265 NOTA: Para envases destinados a la Unión Europea.

1_{2014 «Exportaciones peruanas de palta crecerían 62% este año y 25% el próximo ». Gestión [Lima]. 29 de septiembre.} 2_{Las paltas se clasifican según su peso en 12 calibres de acuerdo con CODEX STAN 197-1995 Enm 2005 NORMA DEL}

(3)

Sin embargo, no se deberá tomar en cuenta un fruto dado con una desviación de un 2% en más o menos respecto del código de calibre indicado. El peso mínimo de la palta debe ser de 125 gr. La clasificación de avocados se realizará entre los calibres 14 y 24, las demás son consideradas como muy grandes o muy pequeñas y serán descartas durante el proceso de clasificación. El proceso debe cubrir la demanda actual de 3 TN/hr, considerando un promedio por palta de 200 gr, implicaría poder procesar 4 unidades por segundo, aproximadamente 250 ms por unidad si viene una detrás de otra o analizarlas simultáneamente en 1 segundo; por este motivo es necesario seleccionar de manera adecuada una cámara y un procesador que permita lograrlo.

SELECCIÓN DE CÁMARA

Para poder determinar el tipo de cámara, resolución, distancia y velocidad de procesamiento, es necesario determinar los valores mínimos que cumplirían nuestras exigencias, hacerlo de manera práctica resulta mucho más confiable que solo considerando datos técnicos de los elementos, de esta manera se realizaron pruebas y en base a ellas se establecieron los valores mínimos requeridos. El proceso que debe realizar la cámara es observar, analizar, clasificar y enviar los resultados para realizar mecánicamente la separación de los avocados. Como se conoce el proceso, se programó un código sencillo que toma una imagen de prueba y la analiza, esta evaluación se realizó en una Laptop con las siguientes características «Procesador Intel ® Core ™ i5CPU M450 @2.40 GHz». El programa se realizó en Python® en conjunto con la librería OpenCV, una herramienta para realizar procesamiento de imágenes, ambos sistemas son de uso libre, Open Source.

A) Prueba de velocidad de procesamiento por Imagen

Prueba 1: Para esta prueba, se tomó imágenes a una altura de 20 cm aproximadamente , sin iluminación

controlada, con esta altura solo es posible tener dos paltas en el campo de visión, figura 1 (a). La iluminación, es de aproximadamente de 780 lúmenes y se encontraba a una altura de 2100 mm. Esta iluminación sin enfoque en el área de trabajo, tiene problemas que serán resueltos cuando el sistema se encuentre ensamblado. Para las pruebas se tomaron imágenes de 640 x 480 pixeles, con lo cual a una altura de 20 cm, se tiene una resolución aproximada de 0.5 mm por pixel.

Figura 1: (a) Izquierda, prueba 1 a una altura de 200 mm. (b) Derecha, prueba 2 a una altura de 650 mm.

Prueba 2: Para esta prueba, se tomó imágenes a una altura de 650 mm aproximadamente, sin iluminación

controlada; igual que en la prueba anterior, a esta altura es posible ver cuatro paltas, pero una menor resolución, figura 1 (b). Para las pruebas se tomaron imágenes de 640 x 480 pixeles, con lo cual a una altura de 650 mm, se tiene una resolución aproximada de 1.25 mm por pixel, 2.5 veces menor que en la prueba anterior.

Prueba 3: Esta prueba se realizó bajo las mismas condiciones de posición de cámara y de iluminación

(4)

En cada una de las pruebas mencionadas anteriormente se midió el tiempo de procesamiento, estos resultados se encuentran en la tabla 2, En la columnade “RunTime”, el tiempo varia, pues depende del uso del

procesador en el momento de la prueba, muchas veces disminuye cuando se tiene mayor disponibilidad de la memora RAM.

Tabla 2: Valores obtenidos de la Prueba 2.

B) Cálculo de velocidad de cámara por adquisición de imagen

De las pruebas anteriores, se observó que la velocidad mínima en la que el sistema procesó una imagen de 640 x 480 pixeles es de 55.79 ms, entonces con este valor es posible determinar con que velocidad se requiere una imagen para ser procesada:

924 . 17 10 79 . 55 1 1 3     _ RunTime FPS (1)

El programa debe ser optimizado para asi reducir velocidad de procesamiento, razón por la cual la cámara que se debe seleccionar debería tener una velocidad mayor a 18 FPS, calculado en Ec.(1). El valor inmediato superior comercial es de 30 FPS, con esta velocidad se tiene lo siguiente:

ms t 33.33

30

1 _

 (2)

Es decir, cada 33.33 ms, Ec.(2), se tiene una imagen lista para ser procesada. Además como este valor es menor a los 58.22 ms que se demora en procesar la imagen, con una cámara de 30 FPS o superior, el sistema funcionaría sin problemas. Entonces las caracteristicas basicas que debería cumplir la cámara son:

 Velocidad mayor a 30 FPS o superior.

 Tamaño de imagen de 640 x 480 pixeles.

 Conexión con velocidad mayor a 1 Gb/s.

 Campo de visión de 700 mm x 480 mm.

 Lente, solo si la cámara requiere.

 Protección IP30.

El campo de visión es la área de trabajo sobre la faja transportadora a una altura de 650 mm.

Imagen N° Prueba Largo (mm) Ancho (mm) RunTime (ms)

1 141.00 99.00 80.31

2 147.00 102.00 64.78

3 158.00 107.00 154.69

Promedio 148.67 102.67 99.93

1 148.00 118.00 55.79

2 140.00 118.00 63.07

3 141.00 115.00 56.45

Promedio 143.00 117.00 58.44

1 109.0 151.0 251.29

2 110.00 151.00 256.72

3 109.00 149.00 253.17

(5)

Después de buscar en el mercado, se eligió la cámara que se observa en la figura 2, por cumplir las especificaciones técnicas, estar disponible en el mercado local y ser económicamente accesible.

Marca The Imagine Sources

Modulo DFK 23UM021

Características USB 3.0 Color Industrial Camera 1/3 " Aptina CMOS

1280x960 pixel Up to 60 images/s

Figura 2: Cámara DFK 23UM021.

SELECCIÓN DE PROCESADOR PARA ANALISIS DE IMAGENES

El procesador seleccionado debería cumplir con los requerimientos de velocidad del procesamiento, para ello se realizaron pruebas con elementos que se disponen localmente y estan ennumerados en la tabla 3, para así poder estimar y predecir que procesador sería capaz de cumplir nuestro requerimiento. Los resultados de estas pruebas se muestran en la tabla 4, 5, 6 y 7 respectivamente.

Tabla 3: Procesadores utilizados para realizar pruebas.

Tabla 4: Resultados de Prueba 1.

Prueba Numero 1

Imágenes:

Latency: 31.36 ms 31.53 ms

Tiempo Real: 5700 ms 5900 ms

Retraso en Tiempo Real: 200 ms

El objetivo de estas pruebas es verificar la respuesta de los procesadores en el tiempo, dependiendo de sus características, a un mismo programa de deteccion de objetos. Los resultados permitirán definir las características básicas del procesador que se necesita.

3_{FLOP: floating point operations per second (operaciones de coma flotante por segundo)}

# Cámara Software Procesador GFLOPS3

1 WebCam Logitech C650 OpenCV Python HP Pavilium dm4

CPU: Intel i5 2.4 GHz 59

2 WebCam Logitech C650 OpenCV Python Rapsberry PI model B

CPU: ARM1176JZF-S (armv6k) a 700 MHz 25

3 RapisCam CSi OpenCV Python Rapsberry PI model B

CPU: ARM1176JZF-S (armv6k) a 700 MHz 25

4 RapisCam CSi OpenCV Python Rapsberry PI model B

(6)

Prueba Número 2

Imágenes:

Latency: 1130.00 ms 1110.00 ms

Imágenes:

Latency: 930.00 ms 940.00 ms

Finalmente, configuramos el Rapsberry Pi, de manera que se realizó un“Overclock”en el procesador hasta 900 MHz y los resultados se muestran en la tabla 7.

Imágenes:

Latency: 850.00 ms 830.00 ms

(7)

En la tabla 7, podemos observar que el retraso en tiempo real a disminuido 300 ms tan solo aumentando la frecuencia de 700 a 900 MHz, entonces la frecuencia de reloj es una característica importante para la selección del procesador, a ella se suman otros requerimiento básicos para su funcionamiento:

 Sistema embebido con procesador mayor a 1 GHz y GFLOPS superior a 60.

 GPU (Procesador Gráfico), para optimizar el procesamiento.

 Conexión HDMI para mostrar en pantalla.

 Conexión mayor a 1 Gb/s.

 Conexión mouse y teclado.

 GPIO y buses de comunicación SPI, I2C y serial.

 Energía 5 VDC y 2000 mA.

Con las características mencionadas y después de una búsqueda en el mercado, se consideró trabajar en un sistema embebido Jetson TK1, uno de los pocos que cumple los requisitos de velocidad de procesamiento y puerto USB 3.0, además tambien esta disponible en el mercado y es económicamente accesible.

Tabla 8: Características de procesador seleccionado.

Marca NVIDIA

Modelo Jetson TK1

Características GFLOPS: 158

La placa base Jetson:

 El chip Tegra K1 y una GPU NVIDIA Kepler con 192 núcleos CUDA

 Una CPU ARM® Cortex-A15 de cuatro núcleos NVIDIA 4-Plus-1™

 2 GB de memoria, 16 GB de memoria eMMC

 Conexión Gigabit Ethernet, USB 3.0 ,SD/MMC, miniPCIe

 HDMI 1.4 , SATA

 Salida de línea de audio/Entrada de micrófono

 Puerto serie RS232

 Puertos de expansión para pantallas extra, E/S de propósito general e interfaz de cámara de gran ancho de banda

 Fuente de alimentación, cables y Micro-USB–USB

Figura 3: (a) Izquierda, Jetson TK1,(b) Derecha, Distribucion de Hardware Jetson TK1.

(8)

PROCESO DE VALIDACION DE RESULTADOS

Con los elementos ya seleccionados, es necesario tener una base de datos de avocados, estas deben ser previamente pesadas y medidas, para después compararlas con los resultados obtenidos. Esta misma prueba se debe repetir varias veces hasta optimizar el proceso. Finalente el sistema debe funcionar con cualquier tamaño de palta del tipo“Fuerte”o“HASS”que se le presente. En la tabla 9 se muestran algunas de ellas.

Tabla 9: Muestras de Avocados o paltas.

Palta 1 Palta 2

Largo 108 - 110 mm 102 - 103 mm

Ancho 68 -70 mm 72 - 75 mm

Peso 273.86 gr 294.76 gr

PROCESO DE ADQUISICIÓN DE IMAGEN Y PROCESAMIENTO

Los primeros borradores del programa realizan el reconocimiento de la palta, el software utilizado fue Python con la librería OpenCV. Una vez que se tenga el adecuado funcionamiento, se tiene como opción migrar el programa a código C++, de esta manera reducir el tiempo de procesamiento. El resultado de las pruebas se muestra en la figura 4.

Figura 4: Resultado de pruebas experimentales.

(9)

En la figura 4 se tiene el diseño de montaje final, este se encontrará montado sobre una faja transportadora de rodillos, sobre las cuales se desplazarán los frutos, estos pasarán por un área de visión, en el cual se realiza la clasificación, para posteriormente separarlos mecánicamente por accionamiento neumático en sus distintos calibres, el sistema completo puede estar comandado por el mismo procesador un esclavo del procesador principal.

Figura 4: Diseño del módulo de visión para la clasificación de Avocado.

CONCLUSIONES

Para realizar la selección de hardware de un sistema de visión, elaborar pruebas prácticas es una de las mejores alternativas, debido a que muchas veces los datos técnicos no son suficientes para estimar su comportamiento. Cualquier problema posterior, es más sencillo de solucionar si se ha realizado una adecuada selección de elementos y además porque las soluciones están en base al software. Como trabajos futuros, se debe realizar el montaje del sistema, recopilar resultados y tomar muestras de frutos para validar el algoritmo que nos permite clasificarlos. El proceso de puesta a punto no es una tarea sencilla, pero se facilita mucho si todo ya ha sido diseñado correctamente.

REFERENCIAS

1. Compac Sorting Equipment: visitado el 22/10/2014

Web: http://es.compacsort.com/wawcs0118327/ln-18327.html 2. TOMRA: visitado el 22/10/2014

Web: http://www.tomra.com/

3. G. M. Benavides y E. R. Guerrero, “Automated System for Classifying Hass Avocados Based on Image Processing Techniques,”Commun. Comput. (COLCOM), 2014 IEEE Colomb. Conf., no. 3, pp. 1–6, 2014. 4. Guo Feng y Cao Qixin, “Study on color image processing based intelligent fruit sorting system,” inFifth World

Congress on Intelligent Control and Automation (IEEE Cat. No.04EX788), 2004, vol. 6, pp. 4802–4805. 5. H. Afrisal, M. Faris, G. Utomo P., L. Grezelda, I. Soesanti y M. Andri F., “Portable smart sorting and grading

machine for fruits using computer vision,” 2013 Int.Conf. Comput. Control. Informatics Its Appl., pp. 71–75, Nov. 2013.

6. M. Weyrich y M. Scharf, “Quality assessment of row crop plants by using a machine vision system,” IECON

2013 - 39th Annu. Conf. IEEE Ind. Electron. Soc., pp. 2466–2471, Nov. 2013.

7. S. Matuska, R. Hudec y M. Benco, “The comparison of CPU time consumption for image processing algorithm in Matlab and OpenCV,”2012 Elektro, pp. 75–78, May 2012.

UNIDADES Y NOMENCLATURA

FPS Frames per second o Cuadros por segundo (adimensional) TN tonelada (1000 kg)