Ο πολύπειρος «αρχιτέκτονας» των chip της Nvidia, συντονιστής μιας παγκόσμιας ομάδας 1000 ατόμων, μιλάει αποκλειστικά στο netweek για τους επεξεργαστές και το μέλλον τους, τις προκλήσεις και τις ευκαιρίες, αλλά και την (ενισχυμένη με σημαντικές προοπτικές) πιθανότητα επιστροφής του στην Ελλάδα.

Ο Χρόνης Ξεκαλάκης που βρέθηκε στην Αθήνα, πριν από λίγες ημέρες, από το Πόρτλαντ του Όρεγκον, όπου ζει με την οικογένειά του, για να μιλήσει στο συνέδριο «From Atoms to Algos», είναι ένα από τα πιο γνωστά ονόματα στον χώρο των επεξεργαστών. Με πολύχρονη θητεία στην Intel (όπου εργάζεται, επίσης, η σύζυγός του) και πλέον στην Nvidia, έχει βαρύνοντα λόγο και ολιστικές απόψεις για τις τελευταίες ραγδαίες εξελίξεις σε πολλά «μέτωπα», τις οποίες δέχθηκε να μοιραστεί μαζί μας.

netweek: Ο τίτλος σας λέει Chief Architect for Nvidia’s custom core – ποιος ο ρόλος σας στην εταιρεία;

Πολυχρόνης Ξεκαλάκης: Η Nvidia φτιάχνει διάφορα – περισσότερο γνωστή για τις κάρτες γραφικών παλιότερα, πλέον και για το ΑΙ, γι’ αυτό ανεβαίνει τρελά η μετοχή της στο Χρηματιστήριο. Όμως, εγώ και η ομάδα μου φτιάχνουμε core.

Στην ουσία, η Nvidia πουλάει πλατφόρμες, όχι μόνο κάρτες γραφικών, τα χρήματα είναι περισσότερα αν πουλήσεις ολόκληρο το πακέτο.
Το μόνο που της έλειπε, ήταν το core, οπότε στόχος μας είναι να φτιάξουμε το καλύτερο δυνατό, ώστε να μη χρειάζεται να αγοράζουμε απέξω, να είναι όλα δικά μας. Εγώ κατευθύνω το architecture team, το οποίο λέει πώς θα σχεδιάσουμε τον επεξεργαστή, πώς θα κατασκευαστεί, ποια θα είναι η αρχιτεκτονική του, το design, η αξιολόγηση και, φυσικά πως θα φτάσει να είναι γρήγορος, ώστε να τρέξει τις εφαρμογές σου ικανοποιητικά. Πρέπει, επίσης, να είναι οικονομικός από πλευράς κατανάλωσης ενέργειας, και μικρός, γιατί όταν στέλνεις να το φτιάξουν, πληρώνεις με βάση τα cores – το wafer έχει συγκεκριμένο κόστος, οπότε όσο μικρότερο το core, τόσα περισσότερα θα χωρέσουν επάνω του. Στο project που διαφημίζει τώρα η Nvidia, το Grace (ΣΣ. προς τιμήν της ναυάρχου Grace Hopper, βεβαίως, Αμερικανίδας πρωτοπόρου της Πληροφορικής) βάλαμε 72 cores. Το επόμενο, στο οποίο τώρα εργάζομαι, θα έχει ακόμα περισσότερα και γρηγορότερα…

Πάντα σχεδιάζουμε ό,τι θα βγει στην αγορά τα επόμενα 3-4 χρόνια. Τα chip που βγαίνουν τώρα, σχεδιάστηκαν παλιότερα, πέρασαν τον κύκλο της ωρίμανσης τους, που περιλαμβάνει πολλά στάδια και δοκιμές – το πρώτο πάντα έχει προβλήματα, δεν παίζει καλά. Προσπαθούμε να βρούμε τι έχει, να τα λύσουμε, υπάρχει κάποια διαδικασία μέχρι να το δώσεις σε πελάτες και να πεις ότι θα παίζει σίγουρα. Οπότε, τώρα σχεδιάζουμε το μεθεπόμενο – το επόμενο το έχουμε σχεδόν τελειώσει.

Ο τίτλος της ομιλίας σας στο πρόσφατο «Form Atoms to Algos», ήταν ‘Moore’s law is dead’ – Όντως ο ίδιος πέθανε πρόσφατα, ο νόμος του ζει;

Ζει διαφορετικά, δηλαδή συνεχίζουμε να έχουμε μικρότερα transistor, απλά δεν κάνουν το ίδιο scaling… Παλιότερα, είχες περισσότερα και απαιτούσαν λιγότερη ενέργεια, άρα μπορούσες να φτιάξεις πολύ μεγαλύτερα συστήματα. Το πρόβλημα πλέον είναι ότι έχεις πάρα πολλά transistor, τα οποία δεν είναι πολύ ταχύτερα, τα καλώδια δεν κάνουν scale, ούτε η ισχύς, επομένως έχεις να λύσεις ένα δυσκολότερο πρόβλημα, με περισσότερους περιορισμούς… Για εμάς, τους αρχιτέκτονες, αυτό είναι καλό γιατί πρέπει να κάνουμε πολύ περισσότερα σε σχέση με παλιά. Τώρα φαίνεται ποιος πραγματικά ξέρει και ποιος όχι, πρέπει να σκεφτείς διαφορετικά, κι αυτό είναι καλό. Το δεύτερο είναι ότι, παλιά, αν ήσουν στην Intel, είχες πολύ μεγάλο πλεονέκτημα σε σχέση με τους υπόλοιπους, επειδή είχες δικά σου εργοστάσια κι ό,τι έφτιαχνες ήταν καλύτερο από εκείνα της TSMC Tώρα, που όλοι τη χρησιμοποιούν και είναι στο ίδιο ή καλύτερο επίπεδο από την Intel, το μεγάλο πλεονέκτημα έχει χαθεί, οπότε μετράει ποιος είναι καλός αρχιτέκτονας, καλύτερος designer.

Ένα τρις η Nvidia; Πέντε εταιρείες όλες κι όλες μ’ αυτή την αποτίμηση;

Ναι είναι πέντε, αλλά η Nvidia έχει κάνει διάφορα πολύ καλά και πολύ σωστά. Έχει επενδύσει πολύ στο software – το σημαντικότερο πλεονέκτημα που έχει σε σχέση με τους άλλους, είναι ότι όλο το S/W stack είναι γραμμένο από εμάς για εμάς. Μια επένδυση την οποία ακόμα κι αν οι ανταγωνιστές την ξεκινούσαν τώρα, θα έπαιρνε μια δεκαετία για να αποδώσει. Μεγάλο πλεονέκτημα αυτό, εσύ έχεις ήδη πελάτες κι επειδή είσαι ο πρώτος στον χώρο, ουσιαστικά προσφέρεις ολιστικές λύσεις. Για παράδειγμα, έχουμε πελάτες όπως η Mercedes και η Toyota που δοκιμάζουν να φτιάξουν τα δικά τους αυτόνομα αυτοκίνητα. Σ’ αυτούς πουλάμε, εκτός από κάρτες γραφικών, τα CPUs με το ανάλογο S/W, κι όλα δουλεύουν καλά μαζί. Όλα τα προβλήματα που έχουν σχέση με Machine Learning κάνουν scale, οπότε το ChatGPT κι όλα τα LLMs θέλουν ένα τρισεκατομμύριο παραμέτρους για να δουλέψουν. Αυτό, για να το «εκπαιδεύσεις», χρειάζεσαι το H/W και πάρα πολλά πράγματα τα οποία δεν έχει κάποιος άλλος κι, όσο αυτά εξαπλώνονται, τόσο περισσότερη εκπαίδευση θέλουν. Αυτό που φτιάχνουμε εμείς είναι, μέχρι στιγμής, αποκλειστικό.

Προς τα πού πάμε;

Η κατάσταση, δεν έχει φτάσει ακόμα στο peak, νομίζω έχει μέλλον. Γίνονται πάρα πολλά: αυτοκίνητα που οδηγούν μόνα τους, τα Large Language Models χρησιμοποιούνται όλο και περισσότερο, όλα όσα γίνονται σε Machine Learning, το οποίο τώρα ξεκινάει, θα χρειαστούν την εμπειρία, δεν υπάρχει άλλος δρόμος κι αυτός ο χώρος έχει ραγδαία εξέλιξη.
Τα τελευταία 10 χρόνια, αυτά τα μοντέλα και οι παράμετροί τους έγιναν τουλάχιστον 5-10.000 φορές πιο γρήγορα και πιο μεγάλα, κάτι που δίνει άλλες δυνατότητες στο τι μπορούν να κάνουν. Δεν νομίζω ότι υπάρχει ορατό τέλος – το θέμα είναι τι θέλουμε… Θα αλλάξει ο τρόπος με τον οποίο κάνουμε πολλά, αλλά δεν νομίζω ότι θα περάσουμε σε μια ‘Terminator’ φάση… Θα αλλάξουν, πάντως, οι δουλειές.

Σε 10-15 χρόνια δεν θα οδηγούμε τα αυτοκίνητά μας, τα αεροπλάνα θα πετάνε μόνα τους. Όσες χειρωνακτικές εργασίες μπορούν να αυτοματοποιηθούν, θα αυτοματοποιηθούν. Αν μιλήσεις τώρα με ένα LLM, ίσως να μην καταλάβεις ότι δεν είναι άνθρωπος – θα δοθούν νέες δυνατότητες για πιο δημιουργικά πράγματα.
Αν δεν γνωρίζεις κώδικα κι έχεις μια καταπληκτική ιδέα, θα του πεις να γράψει τον κώδικα μόνο του. Ο κόσμος θα μπει πιο πολύ στο κλίμα της Αρχαίας Ελλάδας, όταν οι φιλόσοφοι σκεφτόντουσαν και έπαιρναν το χρόνο τους κι αυτό πιστεύω θα βοηθήσει πολύ.
Η ανάπτυξη σε πάρα πολλούς τομείς θα είναι εκθετική, δεν θα χρειαστεί να περιοριζόμαστε στο τι μπορούμε να κάνουμε σε μια μέρα, αλλά στο τι μπορούμε να σκεφτούμε κι αυτό είναι πολύ διαφορετικό.

Να εικάσω ότι δύσκολα θα επιστρέψετε στην Ελλάδα;

Κάθε χρόνο θέλουμε να γυρίσουμε. Μας λείπουν η οικογένεια, οι φίλοι, η Ελλάδα… Όμως, από δουλειά, τι θα κάνουμε; Το πιο κοντινό είναι να έρθω και να ανοίξουμε ένα παράρτημα της Nvidia στην Ελλάδα! Πάντα υπάρχει αυτή η προοπτική, γιατί αν είναι να φύγω, θα έχουν πρόβλημα, οπότε… ελπίζω ότι αυτό θα σπρώξει λίγο την κατάσταση! Το μεγάλο πρόβλημα για να κάνεις κάτι εδώ, είναι ότι χρειάζεται κρίσιμη μάζα. Είναι πολύ δύσκολο να πεις, φεύγω πάω στην Ελλάδα και θέλω να ανοίξουμε ένα site εκεί για ένα άτομο! Η πιθανότητα είναι να σου πουν, πήγαινε και δούλευε ως digital nomad. Έχουμε γνωστούς στην Intel, που λένε έλα στην Ελλάδα, θα δουλεύεις από εκεί για το Ισραήλ – δεν θα χρειαστεί να κάνεις τη νύχτα-μέρα….

Είναι μια επιλογή την οποία σκεφτόμαστε, κυρίως γιατί θέλουμε τα παιδιά μας να μεγαλώσουν εδώ. Όμως, είναι δύσκολο, γιατί αυτό που αφήνεις πίσω, δεν είναι απλό, ούτε μικρό… Προσπαθήσαμε πάρα πολύ, είμασταν και λίγο τυχεροί. Χρειάζεται να προσπαθήσεις, να σου δοθούν ευκαιρίες, αλλά και να τις αδράξεις – τώρα τα πράγματα έχουν κάτσει πάρα πολύ καλά στην Nvidia. Αυτή τη στιγμή, το γκρουπ που συντονίζω έχει 1000 άτομα… πρακτικά κάνεις ό,τι θέλεις.
Έχεις πολύ κόσμο στη διάθεσή σου κι όλοι αυτοί δουλεύουν στο δικό σου project. Η εταιρεία έχει επενδύσει πάρα πολλά χρήματα σ’ αυτό που κάνεις, στο πώς θες να φτιάξεις το project, πώς θες να το βγάλεις σαν προϊόν. Φυσικά, όσο τα πράγματα πηγαίνουν καλά, τόσο περισσότερα ζητάνε –τώρα που ολοκληρώνεται το project στο οποίο δούλευα και πήγε καλά, είμαστε στη φάση του ‘ωραία, πάρε το επόμενο, πάρε κι αυτό, πάρε κι εκείνο’ που πρακτικά σημαίνει ότι έχεις περισσότερο κόσμο να κάνεις διαφορετικά πράγματα. Από ένα σημείο και μετά, όλα πηγαίνουν εκθετικά καλά…