Tl;dr : Notre récente évaluation de Kubernetes a souligné son aptitude à faire évoluer Coinbase dans le futur. Dans le passé, une migration vers Kubernetes soulevait des inquiétudes en raison de la charge opérationnelle liée à l’exécution et à la sécurisation du plan de contrôle en interne. Nous avons maintenant conclu que les offres Kubernetes gérées réduisent cette charge opérationnelle sans compromettre la sécurité de notre pile.
Par Clare Curtis, ingénieur logiciel chez Coinbase
Il y a près de deux ans, nous avons publié un article de blog expliquant pourquoi Kubernetes ne fait pas partie de notre pile technique. À l’époque, la migration vers Kubernetes aurait créé un tout nouvel ensemble de problèmes qui l’emportaient sur les avantages à court terme. Cependant, à mesure que ces technologies ont mûri, notre équipe de calcul nouvellement formée a conçu une stratégie pour tirer parti de Kubernetes d’une manière qui peut fournir une version plus flexible et évolutive de notre système actuel.
Coinbase a considérablement augmenté depuis que nous avons envisagé pour la première fois de migrer vers Kubernetes. Avec toute croissance de ce type, il est important de donner la priorité aux problèmes d’évolutivité. Alors que nous continuons à évoluer, l’un des principaux domaines nécessitant une pérennité est la plate-forme de calcul de Coinbase. À la mi-2020, notre service le plus important était configuré pour exécuter un nombre relativement restreint d’hôtes, alors qu’aujourd’hui, il en exécute 10 fois plus.
Au cours de cette même période, nous avons quadruplé la taille de notre organisation d’ingénierie, entraînant une augmentation substantielle du nombre de déploiements, chacun nécessitant de nouveaux hôtes. L’augmentation du nombre de déploiements a soulevé des inquiétudes quant à l’évolutivité future, car nous rencontrons déjà des limitations techniques des API et des ressources actuelles. Les problèmes récurrents liés à l’obtention d’une capacité suffisante et à sa livraison dans un délai raisonnable ont entraîné une augmentation des échecs de déploiement et ont obligé nos plus grands services à ralentir considérablement leur processus de publication.
Bien que ces problèmes puissent être résolus, nous avons décidé de saisir cette occasion pour évaluer s’il était logique de continuer à investir dans un système maison ou d’envisager une alternative open source qui serait beaucoup plus évolutive à long terme.
Dans notre évaluation de Kubernetes, nous avons constaté que l’un des plus grands avantages d’une migration est qu’elle dissocie le provisionnement de l’hôte du déploiement de service, transférant le fardeau de la gestion de l’acquisition de l’hôte des équipes individuelles à l’équipe d’infrastructure plus large. Cela permet à l’équipe Infrastructure d’adopter une approche holistique de la gestion des hôtes. De plus, les contraintes de capacité sont moins susceptibles d’affecter les déploiements, et nous réduisons la quantité de connaissances spécifiques au fournisseur de cloud que les ingénieurs individuels doivent maintenir.
La communauté Kubernetes a créé une mine de connaissances et d’outils que nous pouvons utiliser pour fournir un meilleur support aux équipes et activer rapidement de nouvelles fonctionnalités. De plus, comme Kubernetes est extensible, il est toujours possible de créer des outils en interne et de les ouvrir en source pour une utilisation au sein de la communauté au sens large.
La sécurité est extrêmement importante chez Coinbase et la sécurisation des clusters Kubernetes est une entreprise non négligeable. La transition d’un calcul hautement isolé et à locataire unique vers un système qui favorise la multilocation nécessite une conception et une prise en compte délibérées de la sécurité. Étant donné que nous avons des charges de travail hautement sécurisées pour lesquelles nous devons garantir l’isolement, nous devons exécuter des clusters séparés et créer des outils automatisés qui gèrent toutes les opérations du cluster. Il n’est pas permis de donner aux particuliers l’accès à l’exploitation d’infrastructures de haute sécurité.
Les offres Kubernetes gérées, telles qu’AWS EKS, assument la responsabilité de l’exploitation, de la maintenance et de la sécurisation du plan de contrôle, réduisant ainsi la charge opérationnelle liée à l’exécution de nombreux clusters. La réduction de notre charge opérationnelle et de notre responsabilité en matière de sécurité nous permet de nous concentrer sur la mise en place de l’orchestration et de l’automatisation nécessaires pour prendre en charge de nombreux clusters au sein d’une grande organisation d’ingénierie. EKS a considérablement mûri au cours des dernières années et a montré qu’il fournit des Kubernetes stables et opérationnels tout en s’intégrant aux fonctionnalités couramment utilisées dans EC2, telles que la possibilité d’attacher des groupes de sécurité aux pods et des rôles IAM aux comptes de service. Ces intégrations réduisent les risques et les coûts associés à la migration, car elles permettent la migration sans avoir à modifier l’identité ou les modèles d’accès de notre plate-forme actuelle.
Alors que la migration vers Kubernetes a suscité des inquiétudes dans le passé, nous avons maintenant conclu que les offres Kubernetes gérées, telles qu’AWS EKS, peuvent réduire la charge opérationnelle sans compromettre la sécurité. En fin de compte, nous avons réalisé qu’il y avait un plafond clair à la capacité de notre système maison à évoluer, et bien qu’il y ait un coût d’installation et de migration important associé à un passage à Kubernetes, nous sommes convaincus qu’il sera plus flexible et évolutif que notre système actuel.
