En este artículo, presentamos el desarrollo de un sistema de control de navegación para un velero basado en redes neuronales con espigas (SNN). Nuestra inspiración para esta elección de redes radica en su potencial para lograr una computación rápida y de bajo consumo energético en hardware especializado. Para entrenar nuestro sistema, utilizamos la regla de aprendizaje por refuerzo de plasticidad dependiente del tiempo de picos modulados y un entorno de simulación basado en la biblioteca BindsNET y el simulador USVSim. Nuestro objetivo fue desarrollar un sistema de control basado en redes neuronales de espigas que pueda aprender políticas que permitan a los veleros navegar entre dos puntos siguiendo una línea recta o realizando estrategias de virada y trasluchada, dependiendo de las condiciones del escenario de navegación. Presentamos la definición matemática del problema, el esquema de funcionamiento del entorno de simulación, los controladores de red neuronal spiking y la estrategia de control utilizada. Como resultado, obtuvimos 425 controladores basados en SNN que completaron la tarea de navegación propuesta, lo que indica que el entorno de simulación y la estrategia de control implementada funcionan eficazmente. Por último, comparamos el comportamiento de nuestro mejor controlador con el de otros algoritmos y presentamos algunas posibles estrategias para mejorar su rendimiento.
In this paper, we presented the development of a navigation control system for a sailboat based on spiking neural networks (SNN). Our inspiration for this choice of network lies in their potential to achieve fast and low-energy computing on specialized hardware. To train our system, we use the modulated spike time-dependent plasticity reinforcement learning rule and a simulation environment based on the BindsNET library and USVSim simulator. Our objective was to develop a spiking neural network-based control systems that can learn policies allowing sailboats to navigate between two points by following a straight line or performing tacking and gybing strategies, depending on the sailing scenario conditions. We presented the mathematical definition of the problem, the operation scheme of the simulation environment, the spiking neural network controllers, and the control strategy used. As a result, we obtained 425 SNN-based controllers that completed the proposed navigation task, indicating that the simulation environment and the implemented control strategy work effectively. Finally, we compare the behavior of our best controller with other algorithms and present some possible strategies to improve its performance.
