Zusammenfassung
Australische Aktienmarktvorhersage innerhalb von 5 Sekunden. Speicherung von Börsentickdaten und Aktienkursprognose.
Stichpunkte
AWS, ETL Pipelines, Tensorflow, Elasticsearch, NoSQL, Apache Kafka, Apache Flink, Python, Message Queues, Microservices (Lambda), Docker, Dask
Beschreibung
Das Ziel war es, Livestreams von Tick-Börsendaten in Millisekunden zu verarbeiten und Entscheidungen über Handelsstrategien zu treffen. Im weiteren Verlauf wurde ein automatisierter Handelsbot entwickelt, der auf Basis von maschinellem Lernen Kaufentscheidungen trifft.
Im Detail wurden ~120 Tickdaten/Sekunde verarbeitet, die an Apache Kafka (mittlerweile Flink) gesendet und dann von selbstskalierenden Microservices (AWS Lambda) verarbeitet wurden. Das Modell selbst wurde mit OpenFAAS in einem Docker Swarm-Cluster gehostet und führte Kaufentscheidungen über benutzerdefinierte APIs für ASX aus.