Empêcher le totalitarisme digital - Censorship.wtf

Le monde dépeint dans le roman 1984 de George Orwell est gentil comparé à ce qui est possible aujourd'hui. Si Orwell devait écrire une version mise à jour - "2024" - elle impliquerait probablement une surveillance et un contrôle beaucoup plus avancés

Juan Benet a passé une grande partie de la dernière décennie à travailler sur des technologies comme IPFS et Filecoin qui sont conçues pour créer une meilleure infrastructure Internet, plus décentralisée.

Une motivation clé est de préserver les droits humains numériques et les libertés civiles dans le monde entier. Juan croit que les technologies distribuées ont le potentiel d'autonomiser les gens et les communautés, mais elles doivent être conçues correctement.

Le Web 3 a un énorme potentiel pour empêcher la censure et le contrôle totalitaire de l'information.

Les États Orwelliens modernes

Le totalitarisme c'est mal (sans déconner ?)

Il y a eu des bilans terrifiants et des évolutions négatives nettes associés aux sociétés complètement verrouillées où aucun changement hors du totalitarisme n'est possible. En d'autres termes, le totalitarisme ça craint.

Il y a une différence de nos jours par rapport à 1984 : les télécommunications mondiales se sont considérablement améliorées avec Internet

La capacité à générer beaucoup de données pourrait redevenir un problème, nous avions la même préoccupation avant Internet.

Quoi de neuf en 2024 ?

Les télécommunications mondiales, les smartphones répandus, les caméras de surveillance, l'imagerie satellite, les économies numériques et l'IA ont considérablement étendu la capacité des gouvernements à surveiller et à contrôler les gens.

Alors que la restriction des libertés et le maintien de la domination totalitaire reposaient davantage sur l'application par l'homme, aujourd'hui cela peut être automatisé grâce à la technologie.

Avec l'IA analysant les données massives de surveillance et guidant les politiques comportementales, des "systèmes automatisés de contrôle" extrêmement oppressifs pourraient être mis en œuvre, conduisant à des conséquences terribles.

Bien que le totalitarisme ait toujours été problématique, les nouvelles technologies augmentent considérablement la capacité des gouvernements à restreindre les libertés et à rendre l'échappée du totalitarisme extrêmement difficile.

Capacités (1:22:15)

• Surveillance : de nombreuses organisations surveillent une quantité massive de données personnelles, y compris les métadonnées de communication, les emplacements GPS, la biométrie, etc., leur permettant de construire des modèles détaillés des individus.
• Propagande : il existe des preuves de propagande, de contrôle des informations et des publications, et de désinformation relayée par les médias sociaux et les entreprises. L'informatique moderne permet de générer un contenu optimisé pour influencer les gens.
• Contrôle de la population : les systèmes de surveillance couplés aux systèmes de contrôle permettent de mesurer le comportement humain et de manipuler les incitations. Les premiers systèmes de crédit social sont déployés et n'ont pas encore été militarisés
• Application automatisée : ces systèmes se développent rapidement. Des essaims de robots et d'autres systèmes autonomes pourraient permettre la censure physique et le contrôle.

Ces systèmes peuvent initialement apporter des avantages, amenant les sociétés à leur accorder plus de contrôle. Mais les règles et les algorithmes pourraient plus tard être réécrits à des fins malveillantes lorsque de nouvelles administrations prennent le pouvoir.

Historiquement, de tels systèmes débutent avec de bonnes intentions pour la défense ou la protection, mais sont ensuite exploités par les successeurs

Quoi de neuf en 2024 ? (Édition spéciale IA)

• Il existe une surveillance massive et de puissantes capacités d'analyse de données, permettant le suivi des communications et la génération de contenu des individus.
• Les grands modèles de langage (LLM) ont d'énormes capacités pour générer et résumer le contenu.
• Les systèmes automatisés peuvent identifier et prévenir la dissidence grâce à la modélisation prédictive.
• L'intelligence artificielle générale (AGI) pourrait émerger dans les 2 à 5 prochaines années, dépassant les capacités humaines dans de nombreux domaines tout en étant connectée à Internet. Cela présente des problèmes majeurs.

Les principales entreprises et États-nations disposent d'une puissance informatique suffisante pour observer tous les flux de communication humaine et agir en conséquence. Nous devons nous protéger de cela.

Comment les systèmes totalitaires pourraient-ils se développer ?

Habituellement, cela se fait de différentes façons, mais ils ont tendance à se développer au nom de la sécurité publique. Le Patriot Act aux États-Unis en est un très bon exemple.

Finalement, même si ces administrations pourraient avoir les meilleures intentions du monde et essayer de faire ce qu'il y a de mieux pour tout le monde en créant une infrastructure avec ce niveau de pouvoir, tôt ou tard, un individu malveillant va convoiter ce pouvoir, comploter pour s'en emparer, puis mettre en œuvre un système totalitaire

Il suffit de prendre un livre d'histoire pour voir de nombreux exemples.

Comment les empêcher

Les difficultés du totalitarisme

Un public bien éduqué qui comprend les risques et a accès aux médias fiables est essentiel pour empêcher une mauvaise utilisation de la technologie. Les écoles et l'apprentissage permettent cela.

Politique

Des politiques gouvernementales fortes, des structures gouvernementales équilibrées et des institutions qui réexaminent les problèmes sont nécessaires pour empêcher les prises de contrôle et résoudre les problèmes le plus tôt possible.

Les communications privées sécurisées permettent aux gens de coordonner la résistance si nécessaire, c'est souvent oublié mais crucial.

La puissance économique aide les pays à rester en tête dans le développement technologique et à mettre en œuvre la technologie en gardant à l'esprit les droits, plutôt que de prendre du retard.

Alors que les gouvernements débattent de la sécurité VS la confidentialité, la confidentialité permet la sécurité sociétale à long terme (cf. scandale Cambridge Analytica)

Lorsqu'on parle de "vie privée", on parle d'une communication sécurisée permettant la coordination. C'est un critère important pour la sécurité sociétale à court et à long terme.

Il y a des progrès sur les normes de cryptage solides et des propositions contre les systèmes d'IA biaisés.

Le principe clé est que tous les humains devraient avoir la capacité de communiquer en toute sécurité et en toute confidentialité les uns avec les autres. Cela permet la coordination et la prévention d'une mauvaise utilisation de la technologie.

Communications sécurisées

Infrastructure Internet

Routage IP : la résistance à la censure doit être intégrée au plus bas niveau des infrastructures Internet et des protocoles de communication, pas seulement opérer au niveau des applications

Nous avons besoin de systèmes résistants à la censure qui peuvent prendre en charge des milliards d'appareils, et non desservir des cas d'utilisation plus petits. La blockchain peut aider

DNS : c'est le talon d'Achille de la censure. Les noms de domaines sur la blockchain (ENS) aident mais doivent être plus distribués et locaux.

Le système d'autorité de certification pour établir la confiance sur Internet a besoin d'être amélioré avec une meilleure cryptographie.

Nous avons besoin d'un web résistant à la censure intégré dans les navigateurs et les systèmes d'exploitation afin que les applications puissent se développer.

Les Stores d'applications mobiles sont hautement centralisés et géopolitiquement contrôlés. Ils pourraient permettre d'installer n'importe quoi.

Communications sécurisées

Pour tous les modes de communication nous avons besoin d'une confidentialité par défaut

On peut commencer avec des communications sécurisées simples comme Signal, mais les leaks de métadonnées et la traçabilité doivent être corrigées

Matériel

Il y a une mainmise de quelques fournisseurs de matériel actuellement, donc plus de systèmes et de fournisseurs sont nécessaires.

Recherche & Développement

Les Communautés crypto accéléeant la recherche cryptographique en déployant de nouvelles techniques à grande échelle même si elles sont imparfaites, et en réinvestissant dans la R&D.

De nouvelles techniques apparaissent avec les preuves à divulgation nulle de connaissance (ZKP), le chiffrement homomorphe (FHE) pour améliorer la confidentialité

D'ici 10 à 20 ans, la puissance de calcul devrait suffire pour faire passer toutes les communications humaines par des systèmes cryptographiques.

Les projets à grande échelle réussis génèrent des fonds à réinvestir dans la R&D des systèmes préservant la confidentialité pour faire progresser l'écosystème

Progrès

Traduction :

• Dans l'ensemble, nous avons fait beaucoup de progrès au cours des dernières décennies.
• Nous avons à la fois des infrastructures en production et des logiciels pour de nombreux cas d'utilisation
• Certains cas d'utilisation & niveaux de sécurité sont au stade de Proof-of-Concept, mais délivrent rapidement, d'autant plus qu'on est dans un cycle d'innovation
• Mais nous avons encore un long chemin à parcourir avant de devenir résistant aux régimes Orwelliens
• La distribution d'applications extérieure aux App Stores centralisés est importante mais il y a encore un manque
• La communauté crypto a créé un cycle d'innovation spécial en déployant de nouvelles cryptographies à grande échelle et en investissant les bénéfices dans la R&D. Cette dynamique doit être soutenue