Future Weekly
Die zwei Startup Veteranen Daniel Cronin und Markus Raunig sprechen mit jeder Menge Humor über Technologie, Unternehmertum und die Zukunft. Jeden Donnerstag analysieren sie die interessantesten News der Woche und küren Rockstars, die die Welt von morgen prägen. Jeden Sonntag begrüßen sie im Deep Dive visionäre Gäste für einen Blick hinter die Kulissen aktueller Trends und formulieren gemeinsam Moonshots & Predictions. Ein Podcast der verschiedene Welten verknüpft und mit mutigen Thesen inspiriert.
Future Weekly
#465 - Matthias Lechner über europäische Forschung, amerikanisches Geld & AI Zukunft
In einem Deep Dive Special beim FFG Forum hat Markus diese Woche Matthias Lechner zu Gast. Er ist einer der Gründer von Liquid AI - einem AI Unicorn aus Boston, das aus österreichischer Forschung entstanden ist. Die beiden diskutieren die Ursprünge von Foundational Models, Europas enormes unternehmerisches Potenzial und AI Blasenbildung.
Production: Christoph Nowotny
Musik (Intro/Outro): www.sebastianegger.com
Musik
Markus:Einen wunderschönen guten Morgen, guten Mittag, guten Abend. Willkommen bei Future Weekly, dem Startup-Podcast. Und es ist Sonntag, also aktuell, wenn wir aufnehmen, ist Mittwoch, aber wenn unsere Hörer das hören, ist es Sonntag. Das heißt, es ist Deep Dive Tag und das heißt, wir haben einen großartigen Gast heute bei uns. Und das ist tatsächlich jemand, der extra eingeflogen ist, um heute auch hier mit uns zu sprechen. Das ist der Matthias Lechner. Hallo Matthias. Hallo, danke für die Einladung. Wir freuen uns sehr, dass du bei uns bist. Und du bist Co-Founder und CTO bei Liquidity. Ich schaue auf LinkedIn, das mache ich traditionell und du hast eine sehr angenehm kurze Beschreibung. Da steht Co-Founder und CTO at Liquid AI und Researcher at MIT. Das ist kurz und knackig und das macht man normalerweise dann, wenn das, was da steht, auch wirklich Aussagekraft hat. Liquid AI ist eines der 30 bestbewertesten AI-Unternehmen weltweit. Du hast österreichische Wurzeln, hast aber in Amerika gegründet. Und das MIT brauche ich jetzt auch nicht pitchen, das ist mir klar. Aber erzähl uns einmal, was macht Liquid?
Matthias:mit AI? Wir sind eine Foundation Model Company. Also unser Background ist Research. Also wir haben jetzt, ich habe zuerst auf der TU studiert und dann mein PhD gemacht am IST Austria in Klossneuburg. Also zehn Jahre Fluss quasi in dem Forschungsbereich von Machine Learning. Und ein Trend, den man da sieht, ist, dass jetzt wo immer mehr quasi Anwendungen im Machine Learning Bereich hingehen, ist sogenannte Foundation Models. Das sind jetzt riesige Modelle, die jetzt vortrainiert werden auf massiven öffentlich zugänglichen Daten und danach fein getunet, also adaptiert werden für die einzelnen Use Cases. Die traditionelle Maschine im Bereich, man sammelt einen Datensatz für den spezifischen Task und trainiert ein kleines Modell dafür, verglichen mit diesen Foundation Models, die vortrainiert werden, die wesentlich größer sind. Und da ist dieser Trend in der Forschung stark in den Bereich gegangen und den haben wir gesehen und haben wir auch in diesem Bereich Betriebenforschung und da haben wir uns dann überlegt, hey, in Zukunft jetzt Firmen geben, die quasi nur darauf spezialisiert sind, diese Foundation Models zu trainieren und dann dem Kunden zu geben, dass hey, adaptiert diese Foundation Models für eure Tasks, für eure Machine Learning Tasks und ihr werdet jetzt sehen, dass die Performance, die Genauigkeit und so weiter wesentlich höher sind, als wenn ihr jetzt nur ein Machine Learning Modell spezifisch für diesen Task trainiert.
Markus:Das heißt eigentlich so diese wirklich breit anwendbaren Modelle, die ja de facto auch Open AI oder Google mit Gemini, das sind alles foundational Models, auch wenn ich das richtig verstehe,
Matthias:oder? Genau, das sind foundational Models. Ich würde es auch noch beschreiben, dass Sie es einen Spezialfonds, also diese Language, Large Language Models, die quasi jetzt auf Text, also Text-Input, Text-Output quasi trainiert sind. Wir bei Liquid machen das auch, also auch auf Language Models, aber Foundation Models sind nicht nur restriktiert auf Language Models, sondern sind wesentlich genereller. Zum Beispiel, was wir auch trainieren, sind Protein Models, wo wir jetzt dann, jeder kennt jetzt vielleicht diese Image-Generatoren, wo man jetzt ein Image beschreibt und dann erzeugt er quasi ein Bild davon. Dasselbe kann man quasi auch mit Proteinen machen, wo man ein Protein beschreibt und dann erzeugt das quasi eine Proteinstruktur und so weiter. Und da sind wir auch dran am forschen und auch mit einem kommissionellen Partner am Arbeiten. Also wie gesagt, diese Foundation-Models sind Foundation-Models, aber quasi Foundation-Models sind etwas breiter sogar
Markus:noch. Und jetzt sagen wir uns noch kurz, wie viel Geld Die Foundation Models brauchen unglaublich viel Rechenpower und dementsprechend auch Kapitalbedarf. Wie viele Mitarbeiter
Matthias:habt ihr? Der Seed Round war vor ca. zwei Jahren. Da haben wir 6-7 Millionen aufgetrieben. Die letzte Runde war dann im letzten Dezember. Dort haben wir 250 Millionen Dollar an Investment aufgetrieben von institutionellen Investoren, aber auch ziemlich viel von sogenannten Sponsoren. Strategic Investor, also es sind große Firmen, also zum Beispiel AMD oder Shopify, um jetzt ein paar zu nennen, also es sind große Firmen, die jetzt sehr viel Potenzial zu sehen, mit uns zusammenzuarbeiten und die investieren, also nicht nur Risikokapitalgeber.
Markus:Also 250 Millionen, damit bist du schon in der absoluten Champions League, ich glaube jetzt auch im internen Future Weekly Ranking sehr weit oben dabei. Wir hatten den Hermann Hauser mal, ich glaube, der hat mit allem wahrscheinlich auch recht viel aufgestellt, aber das ist schon eine echte Hausnummer. Jetzt machen wir mal einen Sprung zurück. Jetzt wissen wir, wo du aktuell stehst. Gehen wir mal zurück, als du der kleine Matthias warst und in die Volksschule gegangen bist. War damals schon eine Leidenschaft für Computer, vielleicht für künstliche Intelligenz bis zu einem gewissen Grad, was es damals vielleicht schon gegeben hat. War das damals schon spürbar oder hat sich das erst später bei dir entwickelt?
Matthias:Mit ca. 14 Jahren hatte ich schon sehr ausgeprägte Interesse an Computer und Informatik. Für mich war das einfach... Computer ist eine Art Magie-Software, eine Maschine, die quasi mit einem interagiert, weil sonst die restliche Materie, mit der man interagiert, ist sozusagen tote Materie, außer Lebewesen. Und der Computer ist quasi der einzige von Menschen geschaffene Konstrukt, das mit dem Menschen interagiert. Also sozusagen hat es immer etwas Magisches gehabt und ich habe daraus ein Interesse gehabt, zu verstehen, wie das funktioniert. Und dann halt natürlich Richtung HTL gegangen. Dort lernt man zu programmieren und auch ein bisschen Low-Level, aber das war dann nicht genug, dass der fehlt noch was und dann studiert man weiter und dann Bachelor, Master auf der TU und das ist immer noch nicht genug, weil man, dann ist quasi diese AI langsam gekommen gewesen und auf der TU, zumindest damals, 2016 und so weiter, war Machine Learning nicht wirklich vorhanden und dann, hey, das ist ziemlich cool, will man mehr lernen, brauche ich einen PhD auch noch und dann geht das so weiter, geht das so weiter und ja, das Interesse an dem Computer, also diese Maschine, mit der man interagieren kann.
Markus:Also vielen Neugierde für das Thema. Du hast jetzt schon gesagt, du warst auf der HTL. Du hast mir gesagt, du kommst ursprünglich aus Baden. Auf welcher HTL warst du? Das war in Mühling. Okay. Und hast du das Gefühl, da wurdest du schon gefördert in diese Richtung und da hat man auch erkannt, dass du da was bewegen kannst? Oder war das einfach ein Standard-HTL-Programm und du hast dann erst, sage ich einmal, der Nacht dann so richtig abgehoben? Nein, da
Matthias:hat damals schon ziemlich auch von den Lehrern ziemlich gut gefördert worden. Ja, damals auch schon Geld verdient mit Programmieren. Also ich habe im App Store mehrere Apps gehabt, in verschiedenen App Stores, auch mit den Lehrern, die haben bei der HTL dort, weil es so viele Schüler hat, so Wartungsprogramme dort und der hat dort auch über Vertragsbasis schon mit dem gearbeitet. Also ich habe schon quasi mit 16, 17, 18 Jahren damit kommerziellen Erfolg quasi gehabt durch mein Interesse
Markus:an den Computern. Also schon auch die ersten Unternehmerinnen Schritte aus der HTL heraus. Das sehen wir ja durchaus immer wieder. Okay, und dann TU Wien, hast du gesagt. Auch da Frage, war für dich klar, dass du dann in Wien oder nach Wien gehst oder warst du da auch schon international geschaut?
Matthias:Nein, Wien war schon sehr weit. Also ich komme aus einem kleinen Dorf in Bitzigbaden und da war Wien schon sehr weit weg quasi. Das war schon ein Schritt damals. Und dort hat er studiert, auch relativ erfolgreich und dann halt eben mit Masterarbeit und so weiter dort auch in den Forschungsbereich, mit dem langsam
Markus:Richtung Forschungsbereich gekommen. Okay. Und du hast vorhin gemeint, auf der TU hast du auch deinen jetzigen Co-Founder kennengelernt, den Ramin. Wie kam, habt ihr gemeinsam geforscht? Wie habt ihr euch
Matthias:kennengelernt? Ja, also der hat damals seinen PhD gemacht auf der TU Wien beim Rado Grosso, also dem Professor Rado Grosso dort und ich habe dann auch dort meinen Master gemacht, weil der so Masterthemen ausgeschrieben hat und die haben sich sehr interessant angehört. Obwohl quasi der Rado vielleicht ein bisschen verrufen war bei manchen Studenten dort, aber wie gesagt, das Interesse von der Catchiness oder die Themen haben sehr cool geklungen und deswegen habe ich mir gedacht, okay, das kann man ausprobieren, meine Masterarbeit beim Rado groß zu machen.
Markus:Und der Rado war vor weil er so streng war oder weil er so ein verrückter Professor war?
Matthias:Ja, starke Persönlichkeit, also sehr, sehr starke Meinungen in allen Bereichen.
Markus:Okay, cool. Gut, und das waren eigentlich so ein bisschen die Ursprünge von dem, was Liquid AI heute macht. Das ist da entstanden auf der TU,
Matthias:oder? Genau, also der Rado, mit seiner starken Persönlichkeit, hat auch eine starke Meinung gegenüber den Maschinen, hat damals die typischen Methoden gehabt. Und zwar hat er über diesen Wurm kennengelernt. Sea Elegance. Das ist eben ein Fadenwurm, ca. 1 mm lang. Und der hat er kennengelernt durch dieses IMP, also auch eine österreichische Bio-Forschungsinstitut und so weiter, die Forschung an diesem Wurm. Und von da an hat er ihn kennengelernt. Und diese Wurmspezies hat 302 Neuronen. Und die sind vernetzt mit ca. 8000 Synapsen. Und dieser Wurm Erstaunliches Verhalten. Der Rado war halt total begeistert, weil eben dieses Netzwerk so klein ist, mit diesen 302 Neuronen und trotzdem extrem robust ist. Also dieser Wurm kommt in verschiedenen Umgebungen klar und kann sogar eben riechen, weil er hat auch so Geruchs, quasi Sensorneuronen und so weiter. Und er war begeistert, dass dieser Wurm mit so wenig Ressourcen so robust es vor allem zeigt. Und versus die Maschinenlöhring-Modelle damals, die waren auch relativ performant, aber die haben dann zum Beispiel, da war dieses typische Beispiel, wo man ein Stoppschild hat und ein neuronales Netz erkennt das richtige Stoppschild. Aber wenn man dann irgendwo ein Sticker drüber klebt, dann auf einmal ist es was anderes, ein Bär oder sowas. Und Rado hat sich damals gedacht, wie kann es sein, dass dieses große Netzwerk mit so vielen Parametern mit einem Sticker verwirrt ist, aber dieser Wurm mit diesen 302 Neuronen, der kommt in der echten Welt klar und vermehrt sich dort und dem geht es ziemlich gut als Spezies. Und deswegen hat er gesagt, hey, zum Ramin damals, als PhD-Arbeit, schau nach, wie die Neurowissenschaftler EMP und so weiter diesen Wurm modellieren und verwendet dieses Wissen oder die Art und Weise zu modellieren, um quasi dann jetzt Machine Learning Anwendungen zu trainieren, eben Roboter oder so weiter zu steuern. Und so ist das quasi heraus entstanden als App für den Ramin, der soll das also nachforschen, als ein Pitch-Tisch. Und der hat dann quasi aus seiner Arbeit dann in mehrere Teile zerteilt und eine davon war dann diese Masterarbeit
Markus:von mir. Sehr spannend. Das heißt eigentlich, der Wurm war dann das Vorbild für das neuronale Netzwerk. Ja
Matthias:genau, also wir haben uns die wissenschaftliche Literatur angeschaut von diesem Wurm, also nicht im Machine Learning Bereich, sondern in der Neurowissenschaft. Also Neurowissenschaftliche Papers aus den 80er, 90er Jahren, die dann diesen Wurm simulieren quasi, das Gehirn oder Teile von diesem Nervensystem simulieren und haben dann diese Neuronen dann quasi in Machine Learning oder Robotics Frameworks hinzugefügt und dann schauen, hey, was ist, wenn wir statt, dass wir jetzt ein normales, traditionelles Netzwerk trainieren, dieses Netzwerk trainieren, dass jetzt die verbundenen diese Connectivity, aber auch diese Gleichungen aus diesem neurowissenschaftlichen Buch. Und das war quasi die Idee und der Ursprung von diesen Liquid Neural
Markus:Networks. Dadurch sind sie wahrscheinlich auch effizienter, oder? Weil es weniger Input oder weniger Punkte oder Rechenpower wahrscheinlich braucht,
Matthias:oder? Ja genau, das ist ein interessanter Punkt. Dieses Netzwerk, was wir trainiert haben, dort ist mit extrem wenigen Neuronen ausgekommen. Wir haben dann mit 10 Neuronen einen Roboter steuern können, der normalerweise hunderte braucht. Also es ist eine extreme Reduktion. Also es ist rein von der Anzahl an Neuronen extrem viel effizienter. Allerdings hat dieses Neuronmodell, was wir verwendet haben, aus der Neurowissenschaft, auch andere Probleme. Zum Beispiel sind jetzt die numerischen Methoden, die man braucht, um jetzt dieses Netzwerk zu simulieren und laufen zu lassen, sind wesentlich komplizierter als diese traditionellen Machine Learning neuronalen Netzwerke. Das sind relativ einfache Funktionen, versus in dem Für dieses Neuronmodell von C. elegans haben wir quasi Differenzialgleichungen, die miteinander verknüpft sind und so weiter. Und das ist dann, allein der Simulationsaufwand ist dann relativ hoch gewesen, obwohl das quasi von dem Anteil der Neuronen relativ kompakt
Markus:ist. Sehr spannend. Und das hast du gesagt, das war eigentlich der Ursprung der Forschung auf der TU, da ist es eigentlich alles losgegangen, aber gleichzeitig habt ihr damals noch nicht gegründet. Muss man auch sagen, damals natürlich, da war noch kein großer KI-Hype und es war wahrscheinlich grundsätzlich noch nicht so einfach, da das Geschäftsmodell oder halt auch die Kommerzialisierung dahinter zu erkennen. Aber jetzt, wenn du daran zurückdenkst, war das irgendwie schon so ein bisschen ein Hirngespinst zu mindestens bei euch, beim Ramin und von dir, dass ihr sagt, vielleicht machen wir da auch mal ein Business draus oder war das gar nicht
Matthias:vorhanden? Ich würde sagen, sehr wenig. Also ein Kollege auch von der TU, der dort auch sein PhD gemacht hat, der eben aus China gekommen ist und hat dort eben auch beim RADO sein PhD gemacht, der hatte sehr starkes Interesse, irgendwas zu kommunizialisieren und mit dem haben wir zusammen gearbeitet und so weiter, aber es ist richtig, dass ich und der Ramin uns quasi wirklich 100% dahinter stellen und das weiter treiben und nicht der Fall. Also bei uns war immer die Forschung im Vordergrund und wirklich das, hey, wir haben dann eben dieses Neuronmodell, um ein bisschen zurückzukommen. Wie ich schon erwähnt habe, das hat dann Probleme auch gehabt, weil das dann numerisch relativ aufwendig war und dann erweckt das natürlich das Interesse, hey, wie können wir das jetzt verbessern und diesen Rechenaufwand reduzieren und so weiter. Und deswegen ist es immer quasi in der Forschung, es hört nie auf. Man hat einen Fortschritt, hey, das funktioniert gut, aber das und das muss man verbessern oder improven. Und inzwischen kommen dann andere Papers von anderen Forschern raus und hey, wie kann man das verbinden? Das ist wirklich ein nie aufhörender Prozess der Forschung.
Markus:Okay, und für euch, ihr seid dann, bin ich noch nicht sicher, ob nur du oder ihr beide, ans ISTA gegangen, in Kloster Neuburg, und habt da weiter geforscht?
Matthias:Nicht ganz. Ramin hat auf der TU, wie gesagt, sein PhD gemacht, er hat seinen Master in Italien davor gemacht, und dann hat er seinen PhD auf der TU Wien gemacht. Ich habe meinen Master dort auf der TU Wien gemacht, bin dann nachher aufs ISTA gegangen, also in Kloster Neuburg, um beim Tom Hensinger meinen PhD zu machen. Der PhD war aber dann nicht in dem Bereich von Liquid Neural Networks, sondern in einem anderen Bereich auch noch. Also der war in dem für Verification von, also er war draußen Machine Learning, aber eher Richtung Verification und formale Methoden. Also diese Überschneidung dort.
Markus:Wenn du jetzt zurückblickst, hat dir dieses separate Thema jetzt geholfen bei dem, was du jetzt machst? Oder war das eigentlich einfach mal ein Ausflug in eine andere Richtung, aber das hat eigentlich nichts mehr damit zu tun, was du heutzutage machst?
Matthias:Ja. die Methoden, die man entwickelt hat, dann dort sind es weniger relevant. Aber das Wissen, das man braucht, um diese Methoden zu entwickeln, das ist immer, das ist weiterhin relevant natürlich. Also diese, ja, das ist aktuell auch noch sehr, sehr relevant. Also wie gesagt, es geht eher darum, weniger, dass die PhD-Arbeit das Tolle ist, aber sozusagen der Prozess, um quasi eine Forschungsarbeit zu schreiben, die dann wirklich state-of-the-art ist und auch in internationalen Konferenzen dort publiziert wird und so weiter. Der Prozess, dieser Lernprozess, der ist wirklich etwas, der einen als Wissenschaftler quasi dann ausbildet. Und das ist quasi der Chor, würde ich
Markus:sagen. Nächster Schritt war dann eben ans MIT, also nach Amerika, nach Boston. Wie... Wie kam es zu diesem Schritt? Hast du dich einfach beworben? War dir klar, okay, für dich ist jetzt mal die weite Welt.
Matthias:Warum MIT? Ja, das ist eine gute Frage. Und zwar hat der Rado, kennt er die Professoren vom MIT, also die Daniela Roos, die Direktorin von CCELIS, also Computational Intelligence and AI Lab am MIT. Und die kennt er dort. Und nach meiner Masterarbeit mit dem Ramin quasi war der Rado relativ begehrt. hat. Also der war nachher super Fan, unser Top-Fan quasi, weil er quasi das anderen Studenten auch gegeben hat und das sozusagen das erste Resultat war, das wirklich halt ihn beeindruckt. Und der hat uns dann quasi die Partnerschaft erstellt quasi zwischen uns und Daniela und Danielas Lab. Somit bin ich unter Aramin quasi auch sozusagen schon mehrere Monate dort hingegangen dann zu besuchen und so, hey, lass uns das ein bisschen skalieren, weil auf der TU dort in diesem Robotics Lab, das ist relativ klein, also die Anzahl der Roboter und Settings, die wir dann haben, sind relativ klein. Und der nächste Schritt war dann natürlich, mit einem MIT-Kollaborator zusammenzuarbeiten. Und das war eben schon 2017, also das war schon direkt nach der Masterarbeit, wo man quasi so eine Connection herstellt und dann mit denen zusammenarbeitet. Währenddessen habe ich dann meinen PhD, wie gesagt, gemacht auf einem etwas ein bisschen überschneidenden Bereich, aber etwas anders. Und dann nach dem PhD quasi ist halt die Anfrage von Daniela gekommen, so hey, willst du nicht einen Postdoc machen? Und wie ich schon davor erwähnt habe, für mich und für den Rahmen war immer nur diese Forschung im Vordergrund. Wir haben nie irgendwie oder nur nebenbei quasi über Kommunalisierung und so weiter nachgedacht. Und deswegen war für mich klar, hey, um MIT, ich will mir das trotzdem genauer anschauen und so weiter und die Forschung weiter zu betreiben. Und dann, wie gesagt, bin ich dann dort 2022 hingegangen.
Markus:Okay, und wenn du jetzt mal nur die Forschung beschreibst, wie viel besser ist MIT als zum Beispiel die TUO in der TU Wilnitz.
Matthias:schwer zu beschreiben, weil es kommt darauf an, wo die Gewichtung kommt darauf an. Gewichtet man jetzt rein nur Ausbildung und quasi diese Ausbildung und Talent, würde ich sagen, die TU ist gleichgewichtet mit MIT. Allerdings ist dort der Ausbildungsfaktor, der Forschungsfaktor, also dort Paper zu produzieren und so weiter zu attraktivieren, ist wesentlich stärker im MIT. Dort ist Forschungsgeld vorhanden und einfach auch der Drive sozusagen dort Und wenn man dort joint, ich kann es nur von Daniel das Lab beschreiben, weil ähnliche Labs sind anders, da ist schon ein ziemlich starker Druck auch auf die Ständen. Also da ist wirklich, da wird erwartet, dass man publiziert. Und die Forschung, da merkt man einen
Markus:Unterschied.
Unknown:Okay.
Markus:Okay. Und ihr hattet eigentlich Kommerzialisierung gar nicht auf dem Schirm, hast du gesagt. Und dann ist am MIT etwas passiert, was am Ende zur Gründung von Liquid AI geführt hat. Was lag
Matthias:da dazwischen? oder verbessert, sozusagen. Und diese Papers sind dann auch zu relativ großen Journalen und so weiter publiziert worden und dann haben halt auch quasi Nachrichtenseiten oder so in dem wissenschaftlichen Bereich darüber berichtet, so hey, da hat es einen Fortschritt gegeben, die haben das Problem lösen können und so weiter oder umgehen können. Und dann sind wir quasi auch auf dem Radar sichtbar gewesen von diesen Venture Capital Firmen aus Silicon Valley. Also die sind dann zu uns gekommen. Also wie gesagt, um es kurz und knapp zu beschreiben, ich bin dann hingegangen und der Rahmen auch dort. Wir haben einfach unsere Forschung weitergemacht und war relativ gut und erfolgreich. Und dann berichten quasi Leute darüber und die lernen darüber. Unter anderem haben dann eben die Venture Capital Lists quasi aus Silicon Valley dann das gesehen und die sind dann zu uns gekommen. Also wir haben nie Funding gesucht, sondern an uns ist Funding angeboten worden.
Markus:Das wünschen sich natürlich viele. Aber jetzt erzähl uns von diesem ersten Meeting oder dem ersten Kontakt mit einem wie Sie. Hat der euch angeschrieben per Mail oder ist der über das Institut irgendwie gekommen? Wie war da der Approach?
Matthias:Das ist auch eine interessante Story. Es gibt in Boston oder im MIT dort, also im Boston-Bereich auch eine Venture Capital Szene. Allerdings ist die viel, viel konservativer. Weil ich auch immer höre, dass Österreich versucht, Silicon Valley nachzubauen. Es ist auch so, dass innerhalb der USA versucht wird, Silicon Valley nachzubauen. Und unter anderem gibt es eben auch diese Venture Capital Szene in Boston. Und die sind relativ auch connected mit der Daniela. Und die haben schon von uns gewusst, von diesen Liquid Networks und so weiter. Und die haben, wie ich sage, nie wirklich Interesse gezeigt. Sie sind immer so skeptisch und so weiter. Relativ so, ich weiß, eventuell in Zukunft mal und so weiter. Aber sobald die dann mitbekommen haben, dass quasi Leute aus San Francisco Interesse gehabt haben an Liquid. Wir haben Schecks abgelehnt von über einer Million, wo man sagen kann, hey, wir haben schon genug gebraucht und nicht mehr. Und das war halt ziemlich interessant, die Erfahrung, dass einfach diese Risiko-Avoianes quasi von diesen, auch mal spezifisch eben aus Silicon Valley Bereich, ist halt sehr, sehr stark.
Markus:Entzähle ich mir aber trotzdem den Prozess von eigentlich wollen wir von Kommerzialisierung gar nichts wissen zu ich nehme jetzt etliche Millionen von einem Risikokapitalgeber, der besonders in der europäischen Wahrnehmung ist ja oft so, okay, die bösen Investoren, die wollen mir jetzt meine Idee klauen und so weiter. Ist natürlich nicht so, aber wie seid ihr dem begegnet? Wie waren die Diskussionen, die vielleicht auch der Ramin und du gehabt habt, vielleicht auch mit der Daniela, wo ihr euch dann entschieden habt, ja, eigentlich klingt gut, let's do it.
Matthias:Ja, Ja, wir hatten ein paar Zoom-Calls davor und dann haben wir auch Abend gegessen mit diesen und mehreren, also es sind dann mehrere auf uns gekommen quasi und einfach so Unterhaltungen geführt. Und ich glaube auch, dass die, vor allem diese San Francisco, Silicon Valley quasi Investoren sehr stark anhand von Persönlichkeiten investieren. Also weniger als hey, die Idee ist jetzt was, wo ich hinterher rein Geld stecke, sondern zumindest die, mit denen wir interagiert haben, die waren relativ stark nach Sind diese Persönlichkeiten, ist das Team, kann das etwas finden sozusagen, das dann erfolgreich ist und so weiter und der hat dann, also wie gesagt, mit uns einfach ganz normale Konversationen geführt und so weiter und im Hintergrund quasi uns ersetzt, also uns quasi evaluiert und schaut, hey, gibt es da eh keine Red Flags und so weiter halt und die Checkliste quasi durchgearbeitet im Hintergrund halt, ja.
Markus:Und dann war es für euch, also wie der persönliche Feed gepasst hat, war dann für euch klar, jetzt kommerzialisieren wir das. Und man gibt ja seine Forschungskarriere dadurch nicht hundertprozentig auf, aber es ist schon einfach, der Fokus verschiebt sich. Hast du daran auch gezweifelt oder war es klar, die Opportunity ist zu groß, um es nicht zu tun?
Matthias:Ja, also ich habe dann immer noch, ich würde sagen ein halbes Jahr, ein Jahr lang war ich immer noch sehr, dann auch immer, hey, Forschung und immer noch zu Konferenzen und immer noch publiziert Ja, wie gesagt, diese Paper, also interessanterweise dann haben wir dann, wir waren gerade Forschungsarbeiten zu schreiben, die nächsten und so weiter und die haben wir dann immer noch fertig gemacht, obwohl wir quasi die Firma schon gegründet haben, weil so viel Interesse da war halt, dass man das endlich, man will das abschließen quasi und obwohl das quasi für die Firma quasi nicht sehr, wenn man jetzt quasi Zeit reinsteckt quasi in Forschungsarbeiten, die jetzt weniger zu tun haben, aber es war dann trotzdem, ich würde sagen, immer noch ein halbes Jahr, ein Jahr lang immer noch Interesse an Forschung und eventuell sich zu bewerben mit Professur stellen und so weiter, war immer noch ein hohes Thema und so weiter. Aber irgendwann, sobald die Firma dann weitergewachsen ist und so weiter und war dann einfach was dann zu spannend sozusagen. Sagen, hey, das ist dann wirklich, jetzt ist es aus quasi mit der Forschung, jetzt ist man 100% in der Firma.
Unknown:Ja.
Markus:Wie viel Geld habt ihr dann mit dem ersten Investment bekommen? Das waren ca. 6 Millionen. 6 Millionen. Okay, und von diesen 6 Millionen, wenn du jetzt zurückblickst, wie habt ihr diese 6 Millionen ausgegeben? Wie viel ging da in Richtung Personal? Wie viel ging in Rechenleistung? Wie kann man sich das vorstellen bei
Matthias:einem AI-Startup? Ich glaube, der Großteil geht in Rechenleistung. Also der ist mit Abstand größte. Es war damals auch, generell dieser Hype-Cycle hat quasi angefangen mit dem Jet-Shipping und so weiter und so fort. Und da war es extrem schwer, Recheneinheiten zu bekommen, weil die waren alle quasi schon verbucht und so weiter. Und da ist auch eben das starke Investor-Netzwerk notwendig gewesen, dass man halt schaut, wie man da verbunden ist, wo man dann jetzt sozusagen die Überkapazität sozusagen irgendwie dort anzapfen kann. Und ja, da war es relativ spannend, dass man da wirklich halt Rechenkapazität findet, vor allem auch die in einem guten Preis ist, weil man will natürlich jetzt nicht das ganze Seed-Investment verbrennen und jetzt ein paar Monate auf Gebühr
Markus:kosten. Okay, und dann hast du gesagt, es gab noch eine weitaus größere Investmentrunde, dann halt mit mehreren 100 Millionen etwas später. Was musstet ihr in diesem Zeitraum zwischen dem ersten und dem zweiten Investment zeigen, beweisen, erreichen, damit ihr dieses große Investment dann auch bekommen habt?
Matthias:Ja, das ist ein guter Punkt. Also wir haben, um jetzt wirklich das nochmal zu wiederholen, das Seed Investment waren die 6 Millionen. Dann circa, muss ich sagen, ein Dreivierteljahr später war dann die Seed Plus Runde. Die waren dann 45 Millionen. Und dann nochmal ein Jahr drauf später war dann die Series A, die dann die 250 Millionen sind. Und zwischen Seed und Seed Plus war es, muss ich sagen, meistens Feasibility Studies, auf der Technologie, ich weiß nicht, wie man das am besten übersetzt, aber einfach nur schauen, ob diese Forschungsarbeiten dann auch wirklich skalieren in einem echten Umfeld. Weil wir haben In der Forschungs-, also auch im MIT würde man denken, dass die viele Recheneinheiten haben, ist aber nicht der Fall. Die sind immer noch relativ computerarm, was das anbelangt. Und sozusagen war für uns quasi der erste Punkt, wo man halt wirklich jetzt auf einmal einen ganzen Cluster zur Verfügung hat. Nicht nur, dass es geteilt ist mit vielen anderen Usern, sondern wirklich für sich selber halt. Und da war es halt schon, dass man erstmal die Technologie prüft, ob die dann wirklich skalieren kann und so weiter. Und dann hatten wir ein paar Fortschritte, eben circa ein halbes Jahr, Jahr später. Und das war dann genug, damit man dann auch in die nächste Runde holt. Und dann, ja, sozusagen das war von der Runde 1 zu Seed Plus. Und dann von Seed Plus zu A war das dann wirklich halt, dass man auch ein Modell fertig trainiert und auch wirklich auch Commercial, also Traction zeigt. Also da haben wir schon Modelle von den Schmolls trainiert, die dann auch der Kunde gekauft oder lizenziert hat und so weiter. Also es ist schon sozusagen die Commercial, also zwischen Seed und Series A ist dann wirklich halt, wo man schon so eine Track noch nicht wirklich gute Zahlen hat, eine gute Bilanz hat, am Ende des Tages aber wirklich schon das Interesse dahinter, dass man das in einen Markt
Markus:geht. Was ist am Markt euer Sweet Spot? TGPT ist ja obviously Consumer und sehr breit und all use cases. Wo ist euer perfekter Kunde? Wie nutzt der das Modell?
Matthias:Ja, das ist eine gute Frage. Und zwar wollen wir nicht quasi in einem Wettbewerb mit JGPD oder Google gehen, weil die einfach viel mehr Ressourcen haben, OpenAI existiert schon viel länger und so weiter und die haben viel mehr Ressourcen und deswegen ist es unmöglich, dass wir dort mit denen mithalten. Deswegen haben wir uns in dem Language-Model-Bereich sozusagen entschieden, dass wir sagen, hey, trainieren wir sehr, sehr kleine Modelle, dafür aber wirklich spezifisch, schauen wir, dass wir da möglichst viel reinquetschen können, wie möglich und schauen, dass wir das auch optimieren auf zum Beispiel jetzt diese Hardware, diese um Handy oder Embedded-Bereiche. Zum Beispiel haben wir jetzt dann unser aktuelles Modell, das jetzt released haben, vor ein, zwei Monaten, haben wir eine Architektur-Synthese gehabt, also keine Standard-Transform-Architektur, wie jetzt andere Hersteller verwenden, sondern wir haben jetzt wirklich ein Research-Projekt gehabt, das ein halbes Jahr lang gegangen ist in der Firma, wo wir die Architektur verändern und danach evaluieren, ist diese Architektur, kann die gut lernen, also ist das alle Evaluations, alle Benchmarks und so weiter, wird das nachher gut sich verhalten. A und dann B, die zweite Methode, attraktive Erholung ist, dass wir das dann am Handy deployen, also an einem Smartphone von Samsung, haben wir das extra deployed und dann auch schauen, wie schnell läuft das, wie viel Memory braucht das und anhand von diesen beiden Werten dann Architekturveränderungen machen und dann schauen, dass wir sagen, hey, wir wollen die Qualität behalten, aber wir wollen schneller werden und dann haben wir eben dieses Modell, das LFM2, die Architektur daraus gefunden, die jetzt zweifach schneller ist, aber trotzdem die Qualität noch immer behält von einem Standard Transformer und eben da ist unser Sweet-Spot, dass wir sagen, hey, diese Qualcomm-Chips, die in diesen Samsung-Handys drin sind, die sind zum Beispiel auch in einem anderen Automobilbereich verwendet, einen ähnlichen Chip und so weiter und andere Elektronikgeräte verwendet, ähnliche Chips und deswegen schauen wir, dass wir hier dort mit denen zusammenarbeiten, weil wir hier eine Advantage haben, wo wir sagen, hey, unser Modell ist schneller, hat weniger Memory, Footprint und so weiter und weniger im Sinne von, hey, wir wollen jetzt ein Jet-Chip, die Clown quasi
Markus:bauen. Also die Effizienz ist da sicher ein relevanter Faktor. Wenn du jetzt in die Zukunft schaust, wir wissen alle, VCs brauchen auch irgendwie mal ein Liquiditätsevent. Hast du da einen Wunsch? Möchtest du mal, dass das Liquid eher an die Börse geht? Oder siehst du eher, dass ihr das Unternehmen mal verkauft? Was ist da so ein bisschen deine Szenarioplanung?
Unknown:Ja,
Matthias:es ist schwer zu beschreiben, weil das hängt auch nicht nur von uns ab, sondern halt, wie gesagt, der Markt ist sehr dynamisch. Wir befinden uns im Moment in einer Blase mit AI, also sind diese Überwertungen vorhanden und so weiter, eben das Talentkampf ist da, was man von Facebook und Meta und so weiter mitbekommt und so weiter. Und deswegen ist es aktuell eine riesige Blase und deswegen ist es sehr schwer zu sagen, okay, was wie... Es gibt natürlich schon Interesse, natürlich wollen wir das, also diese Modelle werden besser, die Hardware verbessert sich wie arbeiten zum Beispiel auch mit Hardwareherstellern zusammen, eben die auch ihre nächste Generationen wirklich verbessern, damit die auch diese Modelle schnell laufen kann, damit man halt wie gesagt Generative AI und Foundation Models halt wirklich halt in allen möglichen Geräten und immer bessere, größere davon deployen kann. Und da sehen wir schon halt einen Trend, auf den wir draufbleiben wollen und auch langfristig, relativ langfristig aufgestellt. Aber IPO oder Börse oder so oder Verkauf ist relativ aktuell glaube ich noch nicht wirklich ein Thema.
Unknown:Ja.
Markus:Du hast es schon angesprochen, AI, da gibt es eine Blase. Eine Blase hat ja immer positive und negative Seiten. Es bewirkt ja auch, dass Dinge weitergehen, weil so viel Geld reinfließt. Aber natürlich ist auch irgendwie die Angst da, dass diese Blase irgendwann einmal platzt. Wie ist deine Perspektive da jetzt in die Zukunft, was AI angeht? Glaubst du, es gibt bald Superintelligence oder zumindest AGI? Glaubst du, das ist noch ein langer Weg, jetzt kennen sich in dem Thema wirklich gut aus. Was ist deine persönliche Perspektive?
Matthias:Meine Perspektive ist, ich würde sagen, ähnlich zu dieser Dotcom-Bubble, zu dieser Internetblase quasi in den 90er, 2000er Jahren, weil die Expectations, glaube ich, von den Investoren ist relativ kurzfristig, sozusagen in den nächsten ein, zwei Jahren irgendwas rauszuholen. Und das führt eben zu diesen Spekulationen, zu dieser Blase halt. Aber wenn man sich anschaut, wenn man sich zum Beispiel 1999 zu 2001 anschaut, viel hat wieder nicht geändert im Internet, aber wenn man sich jetzt den langfristigen Zeitraum anschaut, das Internet ist dominiert heutzutage, also die ganzen großen Trillionen-Dollar-Companies und so, das sind alle im Internet, Big Tech und so, und deswegen also dieser Economic Growth war vorhanden, war da, diese Evaluation war eigentlich justified, von manchen Firmen zumindest, aber halt nicht in dem 1-2-Jahren-Zyklus, sondern wirklich halt auf 20 Jahre betrachtet. Und ich glaube, dass es ähnlich ist im AI-Bereich, dass im Moment diese Evaluations alles so riesig sind und viele Firmen dann durch Bankrott später gehen werden und so weiter und weil einfach die Erwartungshaltung zu kurzfristig angesiedelt ist, aber AI, wenn man sich das jetzt rauszoomt und es 10, 20 Jahre anschaut und so weiter, er wird sich einiges tun, weil Chat-JPG heutzutage ist immer noch, das ist das dümmste Modell, was wir releasen werden, weil einfach alles, was später kommt, wird nur besser und billiger und so weiter und das wird die nächsten 10, 20 Jahre auch der Fall sein und deswegen hat Ich glaube, dass die Erwartungshaltung quasi ist, die Blase getrieben von diesen kurzfristigen Erwartungshaltungen, aber die eben übertrieben ist bei weitem. Aber wie gesagt, wenn man sich jetzt 20 Jahre plus anschaut, ich glaube, dass da sehr viel Economic Growth quasi getrieben wird von AI.
Markus:Finde ich sehr spannend. Bevor wir zu unserer Speedrun kommen, jetzt vielleicht noch eine letzte Frage in die Richtung. Jetzt hast du beschrieben, das ist ja eigentlich auch eine durchaus gefährliche Lage für Unternehmen in dem Bereich, weil wenn man sich den Dotcom-Crash anschaut, da sind schon viele halt in diesem Crash auch gestorben und die, die überlebt haben, haben es dann halt geschafft, mit genügend Zeit dann halt da rauszukommen und das richtige Wachstum erst später zu erzielen. Wie stellt sie euch als Firma auf, um in so einem potenziellen Crash als Gewinner auch rauszukommen? Ja, das ist auch ein guter
Matthias:Punkt. Ich würde sagen, zwei Faktoren. Der erste ist, dass wir eben starke Partnerschaften mit großen Firmen eingehen, eben diese Investoren, die ich schon erwähnt habe, eben AMD und Shopify, die jetzt in der letzten Runde investiert haben und deswegen mit denen quasi, die jetzt von der Blase weniger betroffen sind und die wesentlich konstantere Wachstumszahlen erzielen wollen und so weiter und dass wir quasi mit denen verbunden sind und Partnerschaften haben und dadurch ein bisschen abgefedert sind. Das ist der erste Punkt. Und der zweite Punkt ist immer, ich glaube auch, dass alle Founders oder alle Leute, mit denen man redet in dem Silicon Valley-Bereich, die müssen trotzdem ein bisschen delusional sein. Die glauben immer, dass die sind eine Blase und alle anderen sind schlecht, aber unsere ist die einzige wahre Faktor. Ich glaube, das ist diese Kombination aus beiden. Also man muss schon ein bisschen delusional sein oder confident, also selbstbewusst sein. Ja, das betrifft uns weniger, aber auch natürlich auch schon, dass man trotzdem diese Risiko ein bisschen streut oder das eben
Markus:reduziert. Gut, das bringt uns zu unserer Speed Round und da haben wir jede Woche ein paar Fragen an dich und wenn du jetzt zurückblickst auf die letzten Jahre, was ist dein größtes Learning?
Matthias:Größtes Learning, ähm, Ich würde sagen, seitdem wir die Firma gegründet haben, was ich ziemlich interessant gefunden habe, ist dieser Wachstumsprozess. Wenn man die ersten paar Monate, wie gesagt, ist man voll hands-on als einziger Ingenieur und Researcher, der daran arbeitet. Und dann zwei Jahre später ist man quasi Manager von 60 Leuten. Und diese Karrierekompression, was normalerweise Jahrzehnte dauert, innerhalb von Monaten, das ist halt etwas, wo ich sage, das ist ziemlich viel Learning Experience.
Unknown:Ja.
Matthias:Vielen Dank.
Markus:Hast du das gern? Also bist du jemand, der genießt du das, dass du jetzt in erster Linie mal Manager bist oder wärst du eigentlich lieber in erster Linie immer noch der, der am Produkt selbst Hand anlegt oder an der Forschung?
Matthias:Ja, am Anfang habe ich es wirklich gehasst. Also da wirklich sehr viel Widerstand von meiner Seite. Aber inzwischen eben, wo man dann diese Force Multiplier, wo man dann schaut, okay, wie kann ich andere Leute anblocken und dann wirklich auch wesentlich mehr erreichen als selber. Und das ist dann, was ich dann genieße.
