Author: GIM

RoboGuide

Blog 2

Aarne Halme

Aikaa on vierähtänyt luvattoman paljon edellisestä kirjoituksesta, jossa kerrottiin opasrobotti -hankkeen aloittamisesta ja taustoista. Syitä on monia. Korona pandemian puhkeaminen vaikeutti viime keväänä teknisen kehityksen täysimittaista vauhtiin pääsyä ja myöhemmin ensimmäisen aallon mentyä ohi joidenkin komponenttien, esimerkiksi pyörämoottoreiden, toimituksissa tuli ongelmia logistiikkaketjujen ruuhkauduttua. Opasrobotin ohjelmiston kehityksessä on myös ollut haasteita, koska vastaavaa robottia ei ole aikaisemmin rakennettu, joten vertailupohjaa ei ole ollut käytettävissä. Tällä hetkellä kuitenkin teknisen kehityksen ongelmat näyttävät olevan voittopuolisesti ratkaistut ja odotamme innokkaasti käyttäjätestien alkamista.

Edellisessä blogissa esiteltyä opasrobotin prototyyppiä on kehitetty eteenpäin kuvassa näkyväksi prototyyppi 2:ksi. Sen ulkomuoto on suunniteltu teollisen muotoilun keinoin ja siinä on pyritty huomioimaan käyttäjän näkökohdat erityisesti tartuntakahvan ja siinä olevien käyttökytkimien suunnittelussa. Myös laitteen kuorirakenne on suunniteltu ulko-olosuhteita kestäväksi ja helposti puhdistettavaksi.  Elektroniikka, akku ja moottorit on kaikki pallomaisen kuoren sisällä.  Pyörien kokoa on suurennettu paremman liikkuvuuden takaamiseksi. Muilta osin perusrakenne on pysynyt samana. Mekaanista rakennetta kehitellään edelleen mm. seisontajalan ja varteen suunnitellun teleskooppirakenteen osalta.

Opasrobotin ohjelmisto rakentuu sen perusajatuksen varaan, että kaikki robotin avulla kuljettavat reitit kartoitetaan ensin varressa sijaitsevan laser-tutkan avulla. Nämä paikalliset kartat ovat hyvin tarkkoja (tyypillisesti muutaman cm tarkkuus paikassa) ja niille voidaan määrittää liikeradat, joita seuraamalla opasrobotti kuljettaa käyttäjänsä turvallisesti paikasta toiseen. Liikeratojen määritys tapahtuu näkevän ihmisen, kuten liikkumistaidon ohjaajan, avustamana kuljettaen robotti reitin läpi. Liikeratojen ympärille määritellään samalla ns. turvakäytävä, jonka ulkopuolelle jouduttaessa robotti automaattisesti pysähtyy ja varoittaa käyttäjää. Käyttäjä voi itse säätää robotin vetovoimaa ja samalla nopeutta, sekä luonnollisesti pysäyttää sen aina halutessaan. Reitille sijoitettujen reittipisteiden avulla robotti voi ilmoittaa käyttäjälle erilaisista lähestyvistä kohteista, kuten kadunylityksestä tai portaista.

Opasrobotti tunnistaa ensimmäisessä vaiheessa laser-tutkan näkemät esteet joko liikkuviksi tai kiinteiksi. Tämän perusteella robotti tekee valinnan pysähtymisen, väistämisen tai ohittamisen välillä. Nämä toimenpiteet ovat vielä tarkemman suunnittelun alla ja vaativat käyttäjien testausta ennen kuin niitä voidaan lopullisesti ohjelmoida. Lasertutkan lisäksi robottiin on suunnitteilla lisätä myös kamera, jonka avulla erilaista ympäristön kohteiden tunnistamista voidaan lisätä.

Seuraava virstanpylväs kehitystyössä on perusteellinen käyttäjätestaus, joka on tarkoitus suorittaa 8-10 vapaaehtoisen näkövammaisen käyttäjän kanssa. Suunnittelemme näitä testejä vielä tämän vuoden puolelle tai ensi vuoden alkuun. Testirata, joka on n. 0,5 km pituinen, sisältää tyypillisiä kaupunkiympäristössä eteen tulevia tilanteita. Olemme tällä testauksella hakemassa tietoa siitä, onko peruskonsepti toimiva ja mitä mahdollisia muutoksia se vielä vaatii ennen lopullisen prototyypin rakentamista.   

In English

Too much time has been passed from the previous article, which told about the start and background of the guide robot project. There are many reasons for that. The outbreak of the Corona pandemic last spring made it difficult to gain full momentum in technology development and later, after the first wave passed, problems with the supply of some components, such as wheel motors, arose as logistics chains became congested. There have also been challenges in the development of the guide robot software, as no similar robot has been built before and no benchmark has been available. At the moment, however, the problems of technological development seem to have been largely resolved and we eagerly await the start of user testing.

The prototype of the guide robot presented in the previous blog has been further developed into the prototype 2, shown in the picture. Its appearance has been designed by means of industrial design and has sought to take into account the user’s needs, especially in the design of the grip handle and the operating switches in it. The cover structure of the device is also designed to be resistant to outdoor conditions and easy to clean. The electronics, battery and motors are all inside the spherical shell. The size of the wheels has been increased to ensure better mobility. In other respects, the basic structure has remained the same.

The mechanical structure is being further developed e.g. for the standing leg and the telescopic structure designed for the arm.  

The software of the guide robot is based on the basic idea that all the routes traveled by the aid of the robot are first mapped using the laser radar on the arm. These local maps are very accurate (typically location is within a few cm) and one can assign trajectories on them that the guide robot can safely follow and guide its users from one location to another. The design of the trajectories is assisted by a seeing person, for example a mobility instructor, by driving the robot through the route. At the same time, a so-called safety corridor is defined around the trajectories, beyond which the robot automatically stops and warns the user. The user can adjust the traction and speed of the robot and, of course, stop it whenever he/she wants. With waypoints placed on the route, the robot can notify the user of various approaching things, such as a street crossing or stairs.

In the first stage, the guide robot identifies the obstacles seen by the laser radar as either moving or stationary. Based on this, the robot makes a choice between stopping, dodging, or bypassing. These measures are still under more detailed design and require user testing before they can be finally programmed. In addition to laser radar, it is planned to add a camera to the robot, which can be used to increase the identification of various objects in the environment.

The next milestone in the development work is a thorough user testing to be conducted with 8-10 volunteer visually impaired users. We are planning these tests later this year or early next year. The test track, which is about 0.5 km long, contains typical situations that arise in an urban environment. With this testing, we are seeking information on whether the basic concept is working and what possible changes it still requires before building the final prototype.

Auf Deutsch

Viel zu viel Zeit ist vergangen seit unserem letzten Beitrag, der sich mit dem Beginn und dem Hintergrund des „Guide Robot“ Projektes befasst hat. Dafür gibt es mehrere Gründe. Der Ausbruch der Corona-Pandemie im letzten Frühling machte es schwierig die volle Konzentration in die Entwicklung der Technologie zu legen und im Verlauf des Jahres, nachdem die „erste Welle“ durch war, entstanden Probleme mit der Lieferung einiger Komponenten, wie zum Beispiel Radmotoren, da Lieferketten überlastet waren. Weiterhin gab es auch Herausforderungen bei der Entwicklung der „Guide Robot“ Software, da bisher kein ähnlicher Roboter gebaut wurde und es keine vergleichbaren Geräte momentan gibt. Trotz der Verzögerungen haben wir weitere Fortschritte gemacht und haben den Großteil der Probleme lösen können und erwarten mit Spannung den Beginn der Benutzertests.

Der neue Prototyp des „Guide Robot“, der im vorherigen Blog vorgestellt wurde, ist zum Prototyp 2 weiterentwickelt worden, wie in Abbildung 1 dargestellt. Dessen äußere Struktur wurde mit Hilfe industriellen Designs entworfen, unter Beachtung der Bedürfnisse der Benutzer besonders im Hinblick des Designs des Griffes und der Betriebsschalter. Weiterhin sollten alle Bauteile resistent gegen äußere Umweltbedingungen sein und gleichzeitig leicht zu säubern. Die Elektronik, Batterie und Motoren sind innerhalb der kugelförmigen Ummantelung eingebaut. Der Durchmesser der Räder wurde vergrößert, um bessere Beweglichkeit zu ermöglichen. Ansonsten ist die prinzipielle Struktur beibehalten worden.

Abbildung 1: Neuer Prototyp des ”Guide Robot“ Projektes.

Weiterhin wurde die mechanische Struktur weiterentwickelt, z.B. in Hinblick des Ständers und des Handgriffs, um die Bedienung komfortabler zu machen.

Die Software des „Guide Robot“ basiert auf der Grundidee, dass alle Strecken, die mit Hilfe des Roboters zurückgelegt werden, zuerst durch das Laserradar abgebildet werden, dass sich am Schaft befindet. Diese lokalen Karten sind sehr akkurat (typischerweise mit einer Genauigkeit innerhalb weniger Centimeter) und man kann auf ihnen Wegstrecken vorgeben, denen der „Guide Robot“ sicher folgen kann und somit seinen Benutzer von einem Ort zum nächsten führen kann. Das Entwerfen der Wegstrecke wird von einer sehenden Person assistiert. Dabei wird die Wegstrecke mit dem Roboter von einer sehenden Person durchfahren. Zur gleichen Zeit wird ein sogenannter Sicherheitskorridor um die Wergstrecke definiert. Fährt der Roboter über diesen hinaus, hält der Roboter automatisch an und warnt seinen Benutzer. Der Benutzer kann die Zugkraft und Geschwindigkeit des Roboters einstellen und diesen natürlich immer dann anhalten, wenn er/ sie es möchte. Mit Wegpunkten, die auf der Wegstrecke platziert sind, kann der Roboter den Benutzer über verschieden sich nahende Orte oder Hindernisse benachrichtigen, so wie Kreuzungen oder Treppen.

In der ersten Phase identifiziert der Roboter das Hindernis mit Hilfe des Laserradars als entweder sich bewegend oder stationär. Darauf basierend fällt der Roboter eine Entscheidung, ob er anhält oder dem Hindernis ausweicht beziehungsweise es umgeht. Diese Maßnahmen sind noch in der Entwicklungsphase, wozu Benutzertests benötigt sind bevor sie final programmiert werden können. Als Zusatz zum Laserradar ist eine Kamera geplant, die dem Roboter hinzugefügt wird und der verbesserten Identifikation von verschiedenen Objekten in der Umgebung dient.

Der nächste Meilenstein in der Entwicklungsarbeit ist ein umfangreicher Benutzertest mit 8 bis 10 freiwilligen, sehbehinderten Benutzern. Diese Tests sind für dieses Jahr oder für den Beginn des nächsten Jahres geplant. Die Teststrecke, die ungefähr o,5 km lang ist, beinhaltet eine typische Situation in einer urbanen Umgebung. Diese Tests sind dazu gedacht um herauszubekommen, ob das grundlegende Konzept funktioniert und welche möglichen Änderungen noch durchgeführt werden müssen, bevor der finale Prototyp gebaut werden kann.

Tervetuloa opasrobotin kotisivulle

Teuvo Heikkonen testaa ensimmäistä versiota opasrobotista. The first version of RoboGuide is under testing by Teuvo Heikkonen

Aarne Halme
Tervetuloa lukemaan blogiamme, jonka tarkoituksena on seurata näkövammaisille tarkoitetun opasrobotin kehitystä. Hanke on herättänyt suurta mielenkiintoa näkövammaisten potentiaalisten käyttäjien keskuudessa. Olemme tästä syystä päättäneet julkaista säännöllisin väliajoin tietoja sen etenemisestä tavalliselle lukijalle ymmärrettävällä tavalla.

Koska tämä on ensimmäinen blogi aiheesta, on hyvä kertoa ensin muutamalla sanalla hankkeen taustasta. Keväällä 2016 Näkövammaisten Liiton silloinen järjestöjohtaja Merja Heikkonen kirjoitti Helsingin Sanomien mielipidepalstalla ja kysyi olisiko mahdollista kehittää opaskoiran vaihtoehdoksi robotti, joka hoitaisi saman tehtävän mutta olisi koiraa helppohoitoisempi sekä soveltuisi käyttäjille, joille koira ei sovellu. Ajatus sinänsä ei ole uusi. Olin törmännyt Japanissa 1980-luvun lopulla samanlaiseen hankkeeseen, jossa suuren tutkimuslaitoksen resurssein koetettiin saada aikaan näkövammaisten opasrobotti. Hanke oli kuitenkin liian haastava silloiselle anturi- ja tietokoneteknologialle ja se kuivui kokoon tuottaen kuitenkin paljon perustavaa laatua olevaa tietoa erityisesti käyttäjän ja robotin yhteistyön vaatimuksista. Tämän hetken teknologinen valmius on aivan toista luokkaa ja jonkin aikaa asiaa selviteltyäni päädyin tulokseen, että kehityshanke voisi onnistua. Lähdimme hakemaan hankkeelle rahoitusta, joka lopulta onnistui EU:n EuroStars- ohjelman kautta. Yhteistyökumppanina on saksalainen yritys Locomotec . Heidän sovelluksenaan on näkövammaisille tarkoitettu juoksuharjoitusrobotti. Hanke on alkanut marraskuussa 2018 ja se on tarkoitus saada päätökseen huhtikuussa 2021. Tavoitteena on tällöin testattu prototyyppi, jonka perusteella kehittäminen tuotteeksi ja kaupallistaminen voidaan alkaa. Tähän arvioidaan kuluvan yhdestä puoleentoista vuotta.

Sitten hankkeen tämän hetken tilanteeseen. Ensimmäinen vuosi on kulunut näkövammaisten potentiaalisten käyttäjien haastatteluihin ja niin sanotun mallinnustestilaitteen (mock-up) rakentamiseen. Laite on alla kuvassa. Sen tarkoituksena on antaa tuntuma robotin mekaanisesta rakenteesta ja tutkia siihen liitettyjen antureiden toimivuutta. Laitteella on tehty testejä näkövammaisten koeryhmän kanssa toistaiseksi näkevän ihmisen ohjaamana. Pian alkavassa seuraavassa vaiheessa siirrytään automaatin ohjaukseen, jolloin näkevä ihminen toimii ainoastaan turvallisuuden varmistajana.

Robotissa on kaksi vetävää pyörää, joiden keskiakselille on kiinnitetty nivelellä varustettu tartuntatanko. Pyörissä on molemmissa oma sähkömoottori, joiden nopeuserolla ohjataan robotin kulkusuuntaa. Käyttäjä seuraa robottia tartuntakahvasta kiinni pitäen. Käyttäjä voi määrittää robotin nopeuden ja voiman, jolla se vetää. Robotin anturit ja elektroniikka on sijoitettu tartuntatankoon. Ladattava akku on sijoitettu alas pyörien keskiakselille. Antureista tärkeimmät ovat laser-tutka ja kamera sekä liiketilaa tunnistava anturiyksikkö. Lisäksi robotissa on satelliittipaikannin. Tässä vaiheessa kehitystä robotti on vielä n.s. insinööriversio. Lopullisessa muodossaan se koteloidaan ja muotoillaan ulkonäöltään sopivaksi.
Tässä vaiheessa hanketta keskitytään kehittämään robotin ohjelmistoa, joka havaitsee ympäristössä olevia kohteita ja seuraa ennalta sille opetettua reittiä. Toinen tärkeä kohde on löytää parhaat ratkaisut käyttöliittymälle, toisin sanoen tavoille joilla käyttäjä vaikuttaa robottiin ja saa siltä tietoja. Molempien osalta kehitystyössä käytetään vapaaehtoisia näkövammaisia testikäyttäjiä, joiden palaute on ensiarvoisen tärkeää oikeiden ratkaisuiden löytymisessä. Ensimmäisessä vaiheessa testit suoritetaan näkevän käyttäjän ohjatessa robottia kauko-ohjaimella. Kun riittävä varmuus automaattiohjauksen toimivuudesta on saatu, siirrytään testeissä sen käyttämiseen.

Robotti on tarkoitettu kulkemaan opaskoiran lailla ennalta opittuja reittejä. Opettelu tapahtuu kulkemalla reitti käyttäjän ja robotin kanssa läpi liikkumistaidon ohjaajan kanssa. Sen aikana robotti muodostaa reitistä kartan ja tallentaa muistiinsa seurattavan polun. Yhdessä liikkumistaidon ohjaajan kanssa robotin muistiin merkitään polun varrella olevat tärkeät kohteet kuten kadunylitykset, portaat, ovet jne, joita käyttäjä myöhemmässä vaiheessa tarvitsee. Kehitystyössä on käytössämme puolen kilometrin mittainen testirata, joka sisältää monipuolisesti näitä kohteita.
Oman haasteensa kehitystyössä muodostavat erilaiset esteet, joita näkövammainen voi kohdata reitillään. Lasertutkan ja kameran avulla esteet voidaan yleensä havaita hyvin. Vaikeampaa on ohjelmoida robotille päättelykykyä, joka reagoi oikein näiden esteiden osuessa kohdalle. Kulkureitille pysäköity auto on helppo havaita, mutta päätös siitä kummalta puolelta lähteä kiertämään autoa turvallisesti on jo vaikeampaa tehdä. Samoin kevyen liikenteen väylällä vastaan tuleva pyöräilijä voidaan havaita ja tunnistaa helposti, mutta kannattaako siitä ilmoittaa käyttäjälle, vilkuttaa robotin valoja varoitukseksi pyöräilijälle vai pysäyttää robotti odottamaan ohitusta on kysymys johon saadaan vastaus vain testien kautta. Näihin kysymyksiin paneudutaan jatkossa kun ohjelmiston kehitys jatkuu. Olemme valmiit kuuntelemaan myös lukijan kommentteja näissä asioissa.
Olemme kiitollisia kaikesta palautteesta ja valmiit kuuntelemaan lukijoiden kommentteja. Niitä voi antaa parhaiten lähettämällä sähköpostia osoitteeseen jyrki.luukko@gimltd.fi .
Blogia ylläpitävät GIM OY:ssä (www.gimltd.fi) Aarne Halme (aarne.halme@gimltd.fi) ja Jyrki Luukko (jyrki.luukko@gimltd.fi)

In English

Welcome to our blog, where we will follow the development of a guide robot for visually impaired people. The project has received a lot of attention and interest among the potential users. For this reason we have decided to publish information about the progress on a regular basis, targeted at all interested but especially to our future potential users.

As this is the first blog text, we start by telling something about the background of the ROBOGUIDE project. In spring 2016 Merja Heikkonen, the director of organizational branch of the Finnish Federation of the Visually Impaired, wrote a letter in the daily newspaper Helsingin Sanomat  asking if it would be possible to develop a robot as an alternative for the guide dog. This robot should guide like a guide dog but would be easier to take care of and would suit those who cannot keep a dog.

The idea as such is not very new. In the late 1980s I had come across a similar project in Japan, in which a big research institute with its significant resources tried to develop a guide robot for the visually impaired. However, the project was too challenging for the sensor- and computer technology available then, but it did give a lot of basic information concerning the requirements of co-operation between the visually impaired user and the robot. The technological capabilities today are much better and after some investigation my conclusion was that such a development project could be successful. We started to apply for funding and finally succeeded through EU EuroStars program. Our partner is a German company Locomotec. Their application is a running companion for the visually impaired. The project started in Nov 2018 and will continue until April 2021. The target is to develop and test a prototype that would be ready for further development and become a commercial product. This would take about one to one and a half years.

Then a few words about the present stage of the project. The first year were used to interview potential visually impaired users and to produce the first mock-up test equipment. This test equipment is shown in the picture below. The purpose of the equipment is to evaluate the mechanical structure, its ergonomical aspects and study the functionality of the sensors attached.  For the present the test equipment is remotely controlled by a sighted person. However, after getting the first test done the next step is to make it automatically controllable, so that it guides the user autonomously. Even then we keep a seeing person with in the tests to guarantee safety.

 The robot has two driving wheels and in the middle of their axis a vertical bar with a joint.  At the top of the bar there is the user handle with access switches.  Both wheels are equipped with their own electric motors. The direction of the robot is controlled by controlling the speed difference of the motors. The user follows the equipment by holding the handle. The user is able to adjust the speed and the pulling force. The sensors and electronics are placed on the vertical bar below the user handle. The rechargeable battery is placed on the axis between the wheels. The most important sensors are a laser-radar, camera and inertial unit. The robot has also a satellite navigation unit. At this early stage of the development, the mechanics construction is an “engineering version”.  Later, the robot will have a casing designed to give a stylish look and to protect the electronics.

Auf deutsch

Willkommen auf unseren Blog auf dem wir der Entwicklung eines Roboters für seebehinderte Menschen beschreiben. Das Projekt erhielt viel Aufmerksamkeit und Interesse von potentiellen Benutzern. Aus diesem Grund haben wir uns dazu entschlossen regelmäßig Information über den Fortschritt zu veröffentlichen, zum einen für alle Interessierten, aber insbesondere für unsere zukünftigen Nutzer.

Da dies der erste Text dieses Blogs ist, möchten wir damit beginnen etwas über die Hintergründe des ROBOGUIDE-Projektes zu erzählen. Im Frühling 2016 schrieb Merja Heikkonen, die Direktorin der organisatorischen Abteilung der Finnischen Föderation der Seebehinderten, einen Artikel in der Tageszeitung Helsingin Sanomat, in dem Sie fragt ob es möglich sei einen Roboter als Alternative zu Blindenhunden zu entwickeln. Dieser Roboter sollte in der Lage sein wie ein Blindenhund zu führen, jedoch einfacher in der Pflege und auch zugänglich für jene, die sich keinen Hund halten können.

Die Idee als solche ist nicht neu. In den späten 1980ern war ich auf ein ähnliches Projekt in Japan gestoßen, in dem ein großes Wissenschaftsinstitut mit erheblichen Ressourcen versuchte einen Roboter für Sehbehinderte zu entwickeln. Das Projekt war jedoch zu anspruchsvoll für die Sensoren und die damals verfügbare Computertechnologie, aber es ergab viele grundsätzliche Informationen über die Anforderungen an die Kooperation, die zwischen den sehbehinderten Nutzern und den Robotern entstehen. Die technischen Möglichkeiten heutzutage sind viel besser und nach einigen Nachforschungen war meine Ansicht, dass solch ein Entwicklungsprojekt heute erfolgreich sein könnte. Wir begannen uns für Fördermittel zu bewerben und waren schließlich erfolgreich beim EU EuroStars-Programm. Unser Partner ist ein deutsches Unternehmen Locomotec. Deren Aufgabe besteht in der Entwicklung eines laufenden Begleiters für Sehbehinderte. Das Projekt begann im November 2018 und wird bis April 2021 fortgeführt. Das Ziel ist die Entwicklung und der Test eines Prototypes, der soweit fortgeschritten ist, um weitere Entwicklungen durchzuführen und ihn als kommerzielles Produkt anzubieten. Dafür sind ein bis anderthalb Jahre vorgesehen.

Nun ein paar Worte zum gegenwärtigen Stand des Projektes. Im ersten Jahr wurden potentielle Nutzer mit Sehbehinderung befragt und das erste Modelltestgerät hergestellt. Das Testgerät ist im Bild oben abgebildet. Der Zweck des Geräts ist die Untersuchung der mechanischen Struktur, deren ergonomische Aspekte, und der Funktionalität der angebrachten Sensoren. Zum jetzigen Zeitpunkt wird das Testgerät von einer sehenden Person ferngesteuert. Nach den ersten Tests wird jedoch der nächste Schritt sein es automatisch kontrollfähig zu machen, sodass es die Benutzer automatisch führt. Dabei wird eine sehende Person bei den Tests präsent sein, um die Sicherheit zu garantieren.

Der Roboter hat zwei Antriebsräder und in der Mitte der Achse eine vertikale Leiste mit einem Gelenk. Am oberen Ende der Leiste befindet sich der Benutzerhandgriff mit einer Steuerung. Beide Räder sind mit deren eigenen elektrischen Motoren ausgestattet. Die Bewegungsrichtung des Roboters wird durch den Geschwindigkeitsunterschied der Motoren kontrolliert. Der Nutzer folgt dem Gerät, in dem er sich am Griff festhält. Der Benutzer ist in der Lage die Geschwindigkeit und die Zugkraft einzustellen. Die Sensoren und Elektronik sind in der vertikalen Leiste unter dem Griff installiert. Die wieder aufladbare Batterie befindet sich in der Achse zwischen den Rädern. Die wichtigsten Sensoren sind ein Laser-Radar, Kamera und eine Trägheitseinheit. Der Roboter besitzt auch eine Satellit-Navigationseinheit. In dieser frühen Phase der Entwicklung ist die mechanische Konstruktion eine „technische Version“. Zum Ende des Projektes wird der Roboter ein entworfenes Gehäuse besitzen, dass ihm ein ansprechendes Aussehen verleiht und die Elektronik verkleidet.