Posts tagged: Données personnelles

Le « Meilleur des mondes » des GAFA : l’intelligence artificielle et les biotechnologies aux commandes des « Big companies » du Net

1cf44d7975e6c86cffa70cae95b5fbb2-2Les GAFA (Google Apple Facebook Amazon) – que l’on devrait désormais appeler AAFA, Google, le moteur de recherche historique n’étant plus qu’un département de l’entité Alphabet qui couvre plusieurs champs de recherche – misent de plus en plus sur l’intelligence artificielle et les sciences et technologies de la santé dans leur course à l’hégémonie sur la toile …

Si XLab, labo de recherche  de Google a déjà lancé la Google Car (voiture autonome) et les Google Glasses (lunettes de réalité augmentée), d’après 01Net « M », l’assistant personnel de Facebook nous promet de trouver le cadeau idéal pour nos ‘amis’ en utilisant les millions de données personnelles que le réseau social recueille (à leur insu souvent …) sur le web. Avec un milliard d’utilisateurs, c’est un jeu d’enfant !

Mais, qu’il s’agisse de mégadonnées (big data) ou d’intelligence artificielle, on reste encore dans l’informatique, or les Géants du net ont voulu se diversifier dans un domaine qui va prendre de plus en plus d’importance au 21e siècle : la santé et les biotechnologies. C’est Bill Gates, l’ancien patron de Microsoft qui s’est lancé le premier avec sa fondation contre le paludisme.

Comme l’explique Olivier Ertzscheid dans Rue 89, Le Web 4.0 sera celui du génome : on est passé du web 1.0 qui a permis d’indexer des documents et de les rechercher (moteurs de recherche) au web 2.0, le web social qui recense les profils sur les réseaux sociaux ; avec le web 3.0 on passe aux objets connectés et au World Wide Wear « où le corps devient une interface comme les autres ». Après cela, après les plateformes de l’’économie du partage’ qui concurrencent de plus en plus de secteurs traditionnels, que reste-il à indexer ? L’ADN. C’est ce champ que les big companies vont investir pour créer le « web généticiel ». Olivier Ertzschied cite une étude du MIT l’Internet de l’ADN « dont l’objectif est de documenter chaque variation de chaque gène humain et de déterminer quelles sont les conséquences de ces différences ». Il évoque ainsi la possibilité « de structurer une économie de ‘servicialisation’ du vivant ». Dans cette bio-économie, Google est, bien sûr, très présent. Mais pour le moment, en dehors des délires transhumanistes du gourou Ray Kurtzweil, fondateur de la Singularity University, dont le modeste objectif est de « vaincre la mort », la société de biotech Calico du groupe Alphabet, pose ses jalons. Elle vient de s’allier avec les laboratoires français SANOFI pour travailler sur le traitement du diabète ; la société de biotechnologie avait déjà réalisé un partenariat avec la firme de santé Dexcom sur des minuscules capteurs permettant de mesurer le taux de glucose dans le sang et Google X avec Novartis pour des lentilles de contact connectées pour le même objectif, mais là à partir des larmes … !090422165949

Les autres grands acteurs du net s’investissent aussi dans d’autres secteurs comme les plateformes de services ou les objets connectés. « Amazon Home Services » connecte l’internaute à des professionnels de services à domicile, du plombier au professeur de yoga comme l’indique Charlotte Volta dans un post de l’Atelier, tandis que le Pentagone s’allie à Apple pour créer des objets connectés militaires (article du Monde Informatique).
Google se retrouve évidemment dans ce genre de plateformes, la société prévoit même de lancer sa propre place de marché permettant de connecter les internautes avec les fournisseurs de services directement, à partir de la page de résultats ! Quant aux TICE et à l’éducation en ligne, Google a déjà sa plateforme, cf post de Frédéric Lardinois sur Techcrunch, et propose son école en ligne devançant toutes les réformes des éducations nationales ! Toujours au niveau de l’éducation, Amazon fournit désormais les manuels scolaires aux écoles de New York pour une période de trois ans. Mais, comme le souligne l’article d’Actualitté, les e-books comportent des DRM qui les rendent impossibles à utiliser pour les malvoyants …

Mais les géants du Net ne sont pas tous américains … Alibaba, la star montante chinoise investit aussi dans l’intelligence artificielle pour traiter les big data. C’est ce qu’explique Guillaume Périssat dans l’Informaticien : la société « vient d’ouvrir une plateforme cloud dédiée à l’analyse de grands volumes de données, mêlant deep learning, machine learning et analyse prédictive avec une puissance de calcul inégalée et une ergonomie à toute épreuve ».000010180_imageArticlePrincipaleLarge

Devant toutes ces initiatives, notamment dans les secteurs de la santé et de l’éducation, on peut se poser la question : quid des États et des institutions internationales ? Or, comme le souligne le chirurgien Laurent Alexandre, cité par Hervé le Crosnier, invité des Matins d’été sur France Culture « Google et les autres géants du net sont plus puissants que les Etats. Quel Etat peut investir un milliard de dollars dans la recherche ? Pourtant, il est de la responsabilité du politique d’investir dans les nouvelles technologies ». Or comme rappelle Hervé le Crosnier, « un milliard c’est ce que Google doit au fisc français … ». Ces activités donnent un pouvoir énorme à ces entreprises : les algorithmes mis en œuvre permettent de comprendre beaucoup de choses à partir des données personnelles et à agir. Grâce à l’intelligence artificielle et au ‘deep learning’, ils peuvent non seulement classifier et interpréter les données recueillies, mais aussi analyser les émotions (ex : reconnaissance faciale des photos dans Facebook) et ainsi définir les « besoins » des utilisateurs. Des chercheurs de Cambridge assurent dans une étude pouvoir déduire l’âge, le genre, la religion et l’opinion politique des utilisateurs à partir des seuls « like » du réseau social … !

D’autre part, lorsque l’ont fait une recherche sur Google, le ‘Page rank’, l’algorithme du moteur de recherche, va sélectionner sur l’ensemble des résultats ceux qui correspondent le plus à l’utilisateur : à partir des recherches précédentes mais aussi de la géolocalisation (programmes du cinéma d’à côté, par ex.). Cet algorithme représente le modèle que Google se fait de ce que nous sommes. On arrive ici à la limite de la personnalisation.

Comme l’exprime Henri Verdier dans son blog, « C’est le réel lui-même qui est retranscrit en données, qui est analysé à un nouveau niveau de granularité ». Le ‘quantified self’, ce ‘moi quantifié’ peut traduire, à travers les mesures des objets connectés de bien-être (bracelets, vêtements), soit « un désir de maitrise de son propre destin, de connaissance de soi, soit une menace sur la vie privée […] la pénétration de l’empire du management dans la sphère la plus intime du corps ».

Comme le rappelle Sophie Coisne, rédactrice en chef de La Recherche, la médecine personnalisée, si elle peut apporter des réponses appropriées dans des cas très précis, peut aussi représenter un grand danger, par exemple dans le cas des médicaments adaptés à chacun, car on n’a plus aucun contrôle sur les données … Cela implique des protocoles de recherche qui coûtent des millions, un pur fantasme !

Il faut réfléchir à la question : « Qui fixe les buts ? La machine ou les humains ? » « Deviendrons-nous les ‘entrepreneurs’ de nos données, ou serons-nous progressivement enserrés dans des étaux, asservis voire ‘marchandisés’ » (Henri Verdier) ?

Il existe néanmoins des projets institutionnels dans ces technologies de pointe. L’Union européenne, à travers son programme H2020 présente 17 projets de robotique (robots industriels, bras articulés, humanoïdes de compagnie) impliquant de l’intelligence artificielle et des éléments de cognitique.

Il en est de même en France dans le cadre du Commissariat général à la Stratégie et à la Prospective qui a produit l’étude « La dynamique d’internet : Prospective 2030 ».

A la différence de ceux des Gafa, ces projets prennent en compte les contraintes juridiques liées aux données personnelles, du moins on peut l’espérer …

objets-connectes

France ; Premier Ministre ; Commissariat général à la stratégie et à la prospective. – La dynamique d’internet : Prospective 2030. – Études n°1, 2013. via Slideshare.

L’intelligence artificielle, le nouveau dada de Google. – ITespresso, 24/10/14

Bazin, Amélie ; Pacary, Jade ; Jean, Camille. – La lovotique : vers des machines reconnaissant les émotions ?Culturenum, 03/12/14 (U. de Caen – notes de synthèses par les étudiant(e)s).

Regalado, Antonio. – Internet of DNA. – MIT Technology Review, 2015.

European Commission ; CORDIS. – Robotics gets celebrated with 17 new projects under H2020.Cordis.europa, 27/01/15

Intelligence artificielle : jusqu’où iront les réseaux sociaux ?La Recherche, avril 2015

Voltat, Charlotte. – Quand les géants du Net s’attaquent à l’industrie du service.L’Atelier, 30/04/15

Ertzscheid, Olivier. – Le web 4.0 sera celui du génome, et il y a de quoi flipper. – Rue 89-L’Obs, 07/03/15

Belfort, Guillaume. – Google signe avec Novartis pour des lentilles de contact connectées. – Clubic, 15/07/15

Intelligence artificielle, transhumanisme : quel futur les GAFA nous préparent-ils ? – Avec Sophie Coisne et Hervé Le Crosnier. – Les matins d’été – France Culture, 19/08/15

Lardinois, Frédéric. – Google classroom gets an update ahead of new school year. – Techcrunch, 24/08/15

Périssat, Guillaume. – Alibaba lance une offre de service en intelligence artificielle destinée au Big Data. – L’informaticien, 25/08/15

Gary, Nicolas. – New-York signe avec Amazon, aveugle aux problème de lecture ? - Actualitté, 27/08/15

Facebook annonce « M », un assistant personnel intégré à la messagerie.01Net, 28/08/15

Filippone, Dominique. – Le Pentagone s’allie avec Apple pour créer des objets connectés militaires.Le Monde informatique, 28/08/15

Le Quantified self, pivot de la révolution des données. – Henri Verdier Blog, 30/08/15

Dove, Jackie. – Google Life Sciences teams up withe Sanofi to,take down diabetes. – The Next Web, 01/09/15

Fredouelle, Aude. – Quels sont les projets connus de Google X ?Journal du Net, 02/09/15


Loi numérique : quelle ambition pour la France ?

formationnumerique2En attendant le Projet de loi sur le numérique prévu pour la rentrée, Manuel Valls a présenté le 18 juin 2015 la stratégie numérique du gouvernement qui s’appuie sur le Rapport du Centre National du Numérique (CNNum) « Ambition numérique », synthèse de la concertation lancée en octobre 2014.

Comme le souligne la chercheuse Francesca Musini dans son interview sur la Commission parlementaire sur le numérique « Jusqu’à présent les parlements ont plutôt légiféré de façon réactive par rapport au numérique, sur des questions spécifiques. C’est une bonne idée d’essayer de faire autrement, d’avoir une réflexion sur le long terme. »

Le gouvernement a avancé 14 mesures qui reprennent plus ou moins les 70 propositions du rapport Ambition numérique (4 thèmes et 70 propositions ayant impliqué la participation de 5000 personnes et de près de 18 000 contributions en ligne … !)

Alors que les programmes précédents se limitaient souvent au champ économique ou à la propriété intellectuelle comme la LCEN (Loi pour la confiance en l’économie numérique) en 2004 et la HADOPI (Loi favorisant la diffusion et la protection de la création sur internet) en 2009, le projet de loi numérique 2015 envisage tous les domaines touchés par le numérique. Comme l’affirme Benoît Thieulin, Président du Conseil national du numérique dans la préface du rapport « plusieurs numériques sont possibles et il est temps de construire un numérique européen, plus politique, plus conforme aux promesses d’’empouvoirement’ comme à celles des pères fondateurs. Il revient à la France et à l’Europe de définir ce numérique et de mettre en place des
politiques publiques pour le construire. »

Politique et gouvernance de l’internet
Pour Axelle Lemaire, interviewée dans Le Monde, « la France ne peut pas « se permettre d’être passive dans cette révolution, nous devons mettre la barre le plus haut possible et imprimer le changement partout pour moderniser l’action publique ». »

– inscription de la neutralité du net dans la loi « Je souhaite inscrire dans la loi une définition claire de la neutralité du Net qui assure à tous un même accès aux réseaux à tous les opérateurs » Manuel Valls, Gaité Lyrique, 18/06/15.

– ouverture des données publiques déjà entamée avec Etalab. Instauration d’une administration générale des données. En 2016, la France prendra la présidence du « Partenariat pour un gouvernement ouvert » (Open Governement Partnership).

– instauration d’une « Charte des droits du citoyen et du numérique » avec le Conseil de l’Europe.

– création d’un « État plateforme » avec des API (interface de programmation d’application) pour interroger les bases de données de l’État et créer de nouveaux services

Économie : croissance, innovation, disruption
Intégrer les nouveaux paradigmes : rapidité de croissance, concurrence internationale et innovation sous toutes ses formes. Accélérer la transformation numérique des entreprises et fluidifier leurs relations : charte entre grands groupes et start-upsAxelle Lemaire :« Montrer que la France est un pays attractif, que nous y innovons, que nos entreprises décrochent des contrats ».

- A l’international : soutenir la montée en puissance de la « French Tech », rencontre entre start-ups et grands financeurs, mais aussi accompagner la révolution technologique des pays du Sud.

– Promouvoir une « économie de la donnée » avec la création de « données d’intérêt général » dans des secteurs clés : transport, santé, énergie et tourisme

– encourager la coopération entre entreprises traditionnelles et start-ups et la transition numérique pour les TPE et PME avec des services numériques pour chaque filière

Cependant, l’innovation numérique dans l’économie fera aussi l’objet d’une loi « Macron 2″ au second semestre comme le révèle la Lettre de l’Audiovisuel du 21/07.

Médiation numérique et protection de l’utilisateur

– Renforcer la médiation numérique pour accompagner son usage pour les particuliers

– Inspection par les services de la concurrence des « conditions générales d’utilisation » sur grands sites opérant en France

– modification de la loi sur les données personnelles ; possibilité de transporter ses données d’un service à un autre

– Régulation des plateformes pour protéger les utilisateurs sans brider l’innovation

Enseignement et recherche

– Favoriser une science ouverte par la libre diffusion des publications et des données de la recherche

– Mise en place de « la grande école du numérique »  : labellisation des formations centrées sur le numérique (universités, collectivités, associations)

– Déploiement du plan numérique pour l’éducation : 200 collèges pilotes à la rentrée 2015, généralisation à la rentrée 2016

Social et Santé

– lancement de l' »Emploi Store » : bouquet de services Pôle Emploi (site + applications) pour les demandeurs d’emploi

– Déploiement du plan « Médecine du futur » : filières françaises de biotechnologies, médecine personnalisée et dispositifs connectés.

Si ces mesures collent à l’actualité et semblent même devancer les directives européennes (neutralité du net, données personnelles) avec certaines innovations (données d’intérêt général, start-ups d’Etat), on a malgré tout l’impression de se trouver devant un catalogue d’initiatives hétéroclites, loin de l’atmosphère inspirée du rapport Ambition numérique.

Ce dernier réaffirme d’abord le socle de principes qui décrivent l’horizon de la société numérique : le numérique doit être au service d’une société solidaire « inclusion de tous, bénéfices au niveau individuel et collectif, garanties propres au droit commun grâce à une « Collaboration entre société civile, réseau académique, communauté technique et acteurs économiques ».  Aller vers une ‘société ouverte’ et favorisant l’horizontalité dans l’organisation et la participation de tous les acteurs (salariés, agents, clients, utilisateurs) ; préserver l’État de droit et la protection des droits fondamentaux. « C’est un modèle nouveau qu’il faut inventer : celui qui met le numérique au service du pouvoir d’agir et de l’émancipation individuelle comme collective. » (Préface de B. Thieulin)

Les propositions d’Ambition numérique

Pour un gouvernement plus ouvert « renforcer la transparence et la traçabilité de ses processus décisionnels en généralisant les outils de visualisation des textes normatifs et de leur élaboration. Évaluation des politiques publiques sur le principe de l’open data ». Renforcer la littératie numérique des agents publics. Pour les services numériques au public : « partir des usages pour améliorer leur conception. »

- Loyauté dans l’environnement numérique : Protéger les libertés fondamentales, implication dans la gouvernance du Net et affirmation du principe de la neutralité du Net.
Internet est un ‘bien commun’, bénéficiant à l’ensemble de la société. Favoriser une approche globale, alliant la neutralité des réseaux avec une gouvernance du numérique démocratique et des règles de fiscalité internationale équitables.

Reconnaissance d’un droit à l’autodétermination informationnelle en donnant aux individus la maîtrise sur leurs données personnelles pour qu’ils puissent tirer parti de leurs valeurs d’usage.

Principe de loyauté des plateformes et des algorithmes destinés à la personnalisation, au classement et au référencement.
Loyauté des plateformes vis-à-vis de leurs clients et utilisateurs, particuliers et professionnels. Obligation générale de transparence, d’information et de non-discrimination.
Réaffirmation de l’Etat de droit, incompatible avec des régimes d’exception pour pouvoir garantir l’équilibre entre sécurité et libertés publiques.

Ce thème reprend les conclusions de la « Commission de réflexion et de propositions ad hoc sur le droit et les libertés à l’âge du numérique » à l’Assemblée nationale. Voir à ce sujet l’Interview de la sociologue Francesca Musini sur Mysciencework : «  Il y a deux grandes questions sur lesquelles on a commencé à réfléchir. D’un côté, l’équilibre entre surveillance et vie privée, comment préserver les données personnelles face à tout un ensemble de stratégies de surveillance des utilisateurs. De l’autre, la liberté d’expression sur internet et les moyens techniques qui permettraient d’assurer la diversité des opinions, comme par exemple en préservant la neutralité du Net. »
Ces principes ne peuvent qu’entrer en contradiction avec la Loi sur le renseignement adopté en juin 2015.

- La société face à la métamorphose numérique Numerique

Affirmer un objectif politique d’’empouvoirement’ des individus : pouvoir de contrôle, mais aussi pouvoir d’agir, individuellement et collectivement.
Refaire société par les communs : promotion des pratiques collaboratives. Encourager l’économie collaborative tout en la régulant.
Promouvoir un espace informationnel partagé pour réaliser la diffusion d’un internet ouvert : la co-création comme mode d’inclusion et d’éducation. Faire de la publication ouverte une obligation légale pour la recherche bénéficiant de fonds publics. Définir positivement et élargir le domaine public. Faire évoluer et clarifier l’exception pédagogique pour une meilleure adéquation avec les usages numériques.

S’appuyer sur le numérique pour réduire les inégalités par un travail d’éducation et de médiation autour de la littératie numérique. Cette préconisation reprend l’idée du Rapport Camani/Verdier sur la Médiation numérique : responsabilité de l’Etat qui « doit veiller à ce que toute personne puisse acquérir les compétences numériques qui lui garantissent un accès au droit, à l’emploi, à la connaissance, à l’épanouissement individuel et à la vie collective ».
« L’État devrait donc, en particulier s’assurer que le développement de ces  technologies ne conduise pas à accentuer des clivages existants, qu’ils soient de nature sociale, culturelle, générationnelle ou liés à des disparités géographiques. »
Repenser nos systèmes collectifs entre optimisation, réforme et rupture.
Relation avec la Communauté Européenne pour un marché unique du numérique : principales orientations : réforme du copyright, régulation des plateformes et lutte contre le « géoblocking ». « A l’échelon européen, la France doit être une force de mobilisation et d’interpellation » Benoît Thieulin.

Le débat

Mais ces préconisations pour la loi numérique ne satisfont pas tout le monde. Alors que « Savoirscom1 » salue les orientations du rapport du CNNum en faveur des Communs, des organisations de professionnels de l’informatique comme Syntec numérique ou l’AFDEL ont réagi de façon mitigée, comme le souligne l’article du Monde informatique. Tout en reconnaissant le travail de grande ampleur réalisé par le CNN et l’aspect très riche de ses contributions, ces organisations professionnelles se démarquent de l’enthousiasme ambiant.

Le syndicat Syntec s’inquiète de la remise en cause de la neutralité technologique de l’achat public « L’ouverture forcée des codes sources est une demande inacceptable en matière de propriété intellectuelle » indique Syntec dans un communiqué. L’Afdel rejette, quant à elle « une vision anti-industrielle du numérique ». L’Association française des éditeurs de logiciels juge ‘dogmatiques’ les propositions sur le logiciel libre et estime « anxiogènes et éloignées du marché » les propositions autour des plateformes et des données personnelles. « L’exclusion des éditeurs de logiciels de la commande publique au profit des projets de développement spécifiques est une atteinte inacceptable au principe de neutralité technologie » ; « L’Afdel souhaite que l’Etat s’appuie au contraire sur les PME et les start-ups du numérique, quel que soit leur modèle, pour se numériser ». Quant à la régulation des plateformes, il s’agit pour l’Afdel, d’une ‘vison défensive’ du numérique et elle juge ‘iconoclaste’ les propositions d’encadrement des algorithmes … !

D’autre part, une controverse s’est ouverte ces derniers jours autour des ‘données d’intérêt général’, données détenues ou collectées par des SPIC (Service Public à caractère Industriel et Commercial) comme la SNCF, la RATP ou l’INSEE. SavoirsCom1 explique que la « réticence à ouvrir les données de certains secteurs stratégiques, comme les transports, est souvent liée à la crainte qu’elles ne soient ensuite accaparées par de gros acteurs en position dominante (Google par exemple). » Pour contrer ces monopoles on envisage la mise en place de redevances ou de systèmes Freemium. Pour sa part, « SavoirsCom1 préconise d’appliquer les mêmes principes que ceux qui ont cours dans le champ du logiciel libre … en choisissant des licences comportant une clause de partage à l’identique ».

L’adoption du projet de loi sur le renseignement et de la loi Macron contredisent dans une certaine mesure les affirmations sur l’économie et la société ouverte et collaborative préconisée par le Rapport « Ambition numérique ». Quelle proportion de ce rapport sera définitivement conservée dans la Loi numérique ? C’est ce qui permettra d’évaluer la distance entre une généreuse utopie et la ‘realpolitik’ ….

Diconet1

Bonnes vacances et bel été à tous !

Loi n° 2004-575 du 21 juin 2004 pour la confiance dans l’économie numérique. – Légifrance, 22/06/04

Loi n° 2009-669 du 12 juin 2009 favorisant la diffusion et la protection de la création sur internet (1).- Légifrance, 13/06/09

Kadri, Pierre-Sofiane. - Une sociologue intègre la commission « droit et liberté à l’âge du numérique à l’Assemblée. – Mysciencework, 16/07/14

Elbaze, Gérald/ – Le rapport Carmani-Verdier : un rapport historique pour la médiation numérique. – Médias-cité, 30/10/14

Lemoine, Philippe. – La transformation numérique de l’économie française : Rapport au gouvernement.- Ministère de l’économie, novembre 2014. pdf.

François Hollande « Le numérique est devenu notre langue ». – Regards sur le numérique, 07/05/15

Ambition numérique : Pour une politique française et européenne de la transition numérique. Rapport remis au Premier ministre. – CNNum, 18/06/15

Bohic, Clément. – Projet de loi numérique : les préconisations du CNNum. – ITespresso, 18/06/15

Belouezzane, Sarah ; Untersinger, Martin. – Le gouvernement présente sa stratégie numérique pour la France. – Le Monde, 18/06/15 – MAJ 17/07/15

Samama, Pascal. – Concertation numérique : une charte entre le CAC 40 et les startups.01Net, 22/06/15

Mettons les Communs au coeur de la future loi sur le numérique ! – SavoirsCom1, juin 2015

Le projet de loi sur le numérique rendu public en juillet. – Le Monde informatique, 22/06/15

Projet de loi relatif au renseignement (PRMX1504410L). – Légifrance, 25/06/15

Le « moi quantifié » sera-t-il l’ homme nouveau du XXIe siècle ?

objects-connectésLes « objets connectés » sont en train d’envahir notre quotidien : montre, lunettes, chaussettes, réfrigérateur et même arrêt de bus …. ! De plus en plus d’objets et de services sont décrétés ‘intelligents’ (smart) ou connectés et combinés à la révolution de traitement des ‘big data’, ils sont censés bouleverser notre vie quotidienne. Santé, urbanisme, transports devraient être impactés par ces nouveaux gadgets, sans parler même du marketing ou de l’éducation !

Avec les ‘wearables’, appareils « prêt-à-porter », on se rapproche de l’’informatique intime’, comme la nomme Idriss J. Aberkane dans le Point.

Les ordinateurs, en se miniaturisant, se sont de plus en plus rapprochés du corps humain, jusqu’à le pénétrer (pace-maker ou implants divers) …

A quoi vont nous servir tous ces capteurs qui nous entortillent comme une véritable toile d’araignée … Car le web n’est plus lointain ou dans les nuages, il est sur nous ou en nous ! La sécurité sociale peut sans problème dérembourser les médicaments ou réduire les prestations médicales : de nouvelles starts-up ont trouvé la solution, plus besoin de déranger le médecin ; une bague ou un bracelet connecté vont pouvoir mesurer le taux de sucre pour les diabétiques ou le nombre de pas que doit parcourir un obèse pour maigrir ! Chacun pourra surveiller son état physique à tout moment et apprécier les progrès qu’il aura pu réaliser. Le « quantified self » doit permettre de se jauger en continu.

Mais dans ces conditions, l’humain est-il encore acteur de ses décisions ou n’est-il qu’une partie de l’interaction, qu’un somme de données reflétées dans les capteurs ? Ce ‘moi quantifié’ est-il toujours un sujet ou la somme de tronçons physiques ou psychiques, qui s’imbriquent dans des états physiologiques et des comportements ? Des « dividuels » comme les nomme Alain Damasio dans son roman de science-fiction « La zone du dehors » ?

Sans évoquer les problèmes éthiques et juridiques que posent déjà la gestion et le traitement de ces milliards de données plus que personnelles (santé, comportement, émotions, etc …) qui transitent forcément sur les « nuages » de grandes entreprises multinationales … Depuis quelques semaines, on ne compte plus le nombre de piratages effectués sur les données de santé … !

Olivier Ertzscheid démontre dans son post du 17 septembre 2014 « Vous prendrez bien deux doigts de digital ?» comme l’humain perd progressivement le pouvoir en passant de l’index du web 1.0 (lien hypertext) au pouce levé (Like) du web social, pour perdre complètement la main dans le « World wide wear » et l’internet des objets …. ! Le pouce et l’index permettaient l’activité de préhension nécessaire pour toute interaction. Tandis qu’avec les objets connectés, apparaît « une forme d’appréhension qui vient de l’incapacité de « préhension » et donc de « com-préhension ». Car pour com-prendre le numérique, il nous faut le prendre « ensemble » » (ibid). 05894964-photo-illustration-objets-connectes

Pourtant, d’après le rapport « The Wearable Future », de PWC d’octobre 2014, 20% d’Américains posséderaient déjà des objets connectés, et le succès pour ces appareils ne devrait que croître, surtout parmi les « millenials » (jeunes nés autour de l’an 2000). Même si sur l’échantillon analysé (1000 personnes), 33% de ces « adopteurs précoces » n’utilisent plus ou très peu ces objets (bandeaux, bracelets) et plus de 80% s’inquiètent de l’impact de cette technologie sur leur vie privée et sur les brèches possible de sécurité qu’ils pourraient comporter, plus de 50% de ces consommateurs sont plutôt favorables à l’avenir des wearables … Ils soulignent trois avantages dans cette technologie : la sûreté, notamment en ce qui concerne les enfants, une vie plus saine grâce aux exercices organisés par ces objets, et enfin leur simplicité et facilité d’usage …

Mais que faire de toutes ces données recueillies par ces appareils (qui communiquent entre eux, sans forcément en informer le sujet …) et qui peut les interpréter ? C’est la question que se pose Marie-Julie Catoir-Brisson dans son article « Du moi quantifié au corps comme objet connecté » : est-ce aux médecins à gérer ces informations provenant des patients, ce qui risque de remettre en cause la relation médecin patient … D’autant plus que « presque tous ceux qui ont utilisé ces appareils déclarent qu’ils ont modifié leurs habitudes d’une manière ou d’une autre (5).» Ce qui signifie que l’usage de ces objets connectés au quotidien transforme le rapport de l’individu à son propre corps et surtout à sa représentation. » (ibid).

L’étude de Goldman Sachs de septembre 2014 « The Internet of Things : making sense of the next mega-trend » examine les enjeux impliqués par les 28 milliards d’objets connectés à l’horizon 2020. Le rapport identifie cinq champs d’adoption : les « wearables », les voitures connectées, les maisons (domotique), les « villes intelligentes «  (smart cities) et enfin l’industrie, les transports, l’énergie et la santé. Cinq caractéristiques définissent aussi cette nouvelle technologies, résumés par l’acronyme S-E-N-S-E : Sensing (les capteurs) : température, pression, accélération ; Efficient : ajoute de l’intelligence aux processus ; Network : connecte les objets au réseau qui passe du ’Cloud computing’ au ‘fog computing’ (brouillard, buée), à la logique plus floue … ; Specialized : processus spécifiques et fragmentation ; Everywhere : ubiquité et présence ‘pervasive’. Les entreprises vont se concentrer sur ces nouveaux produits comme source de revenus grâce aux économies d’échelle et à la productivité. Mais il va falloir mettre en place les infrastructures nécessaires pour ce nouveau système : wifi, plateformes, applications, etc., avec les smartphones comme interfaces privilégiées … !
Là encore, l’étude met en garde sur les risques d’atteintes à la vie privée et les failles de sécurité …objets-connectes

A ce propos, la « Working party » sur la protection des données personnelles de l’Union européenne a émis une « Opinion sur les récents développements de l’internet des objets » adoptée le 16 septembre 2014. Tout en se réjouissant des avantages que cette technologie apportera aussi bien à l’industrie qu’aux citoyens européens, la WP29 rappelle qu’elle doit respecter la vie privée et s’inquiète des défis de sécurité qui sont associés à l’Internet des objets. La vulnérabilité de ces appareils, souvent déployés en dehors des structures traditionnelles de l’industrie de l’information, révèle un manque de sécurité dans leur construction (perte de données, infection de virus, accès non autorisé aux données personnelles, usages intrusif des ‘wearables’). Pour cela, elle propose d’incorporer le maximum de garanties dans ces objets et recommande aux usagers de garder un contrôle complet de leurs données personnelles …

 

Aberkane, Idriss J. – Demain, l’informatique intime. – Le Point, 15/08/14

Catoir-Brisson, Marie-Julie. – Du « moi quantifié » au corps comme objet connecté. – Métamorphoses des écrans, 23/08/14

The Internet of Things : makinge sense of the next mega-trend. –  Goldman Sachs Report, 03/09/14

The language of the Internet of Things. – The Economist, 06/09/14

Ertzscheid, Olivier. – Vous prendrez bien deux doigts de digital ?. – Affordance.info, 19/09/14

Opinion 8/2014 on the recent developments of the Internet of Things/ Article 29 Data Working Party. – Europa.eu, 16/09/14

Bonnet, Florence. – Big Data, objets connectés : il faut protéger le « prosommateur ». – Journal d u Net, 30/09/14

Wearable Technology Future is ripe for growth. – Pwc, 21/10/14

Guillaud, Hubert. – Dans un monde de smartphones, les gadgets doivent s’adapter. -InternetActu, 14/01/15

Au tribunal de l’internet ! Données de santé : les conditions de leur partage. – Le Point, 23/03/15

 

 

Données personnelles : entre utilisation et protection : où en sommes-nous dans la gestion du « pétrole du 21e siècle » ?

1639802-donnees-personnelles-internet-a-besoin-d-un-bouton-effacer-selon-eric-schmidtDepuis quelques mois, une certaine paranoïa s’est emparée de nombre de citoyens utilisant les services en ligne, surtout à partir de terminaux mobiles. Des ‘portes dérobées’ (back doors), cachées dans leurs appareils, donneraient accès à des informations confidentielles à des organismes publics (services secrets) ou privés (« géants du Net »). Les révélations d’Edward Snowden sur la surveillance électronique massive de la NSA à travers un système auquel personne n’échappe, pas même la chancelière allemande ou la présidente du Brésil, ont amplifié ce phénomène …

Mais que représentent ces fameuses données que les pouvoirs économiques et politiques se disputent ? Comment sont-elles collectées et traitées, de même que les métadonnées qui les accompagnent ?  Peut-on les protéger tout en participant à l’univers numérique ?

La plupart du temps, nous donnons nous-même ces informations au système d’exploitation de l’appareil ou aux différentes applications auxquelles on s’abonne. Il en va de même pour les métadonnées : géolocalisation, contacts téléphoniques, réseaux personnels ou professionnels à travers les différents réseaux sociaux. Nos centres d’intérêts et nos goûts s’affichent aussi sur les médias sociaux …

La préoccupation de la protection des informations confidentielles dans les systèmes informatiques ne date pas d’hier. En France, la loi « Informatique et liberté » remonte à 1978 et a été à l’origine de toutes les CNIL européennes ! Une dernière mise à jour de cette loi précise les conditions d’utilisation des techniques biométriques.

Mais le traitement de ces données peut aussi s’avérer positif, comme dans le cas d’applications de e-santé qui permettent de surveiller un certain nombre d’indicateurs physiologiques (glycémie, cholestérol, tension artérielle, etc.). Ou alors, comme l’affirme Alex Pentland, professeur d’ingénierie sociale au Medialab (MIT), permettre une amélioration des relations sociales par une observation de tous les flux d’informations échangés par des individus à l’intérieur d’une communauté. C’est ce qu’il explique dans un entretien au Spiegel « Le Big data est à l’étude du comportement social ce que le microscope était à l’étude des bactéries. Pour construire une meilleure société, on a besoin d’une représentation complète des interactions sociales. » ! Évidemment, ce traitement se fait avec l’autorisation des personnes impliquées, mais cette intrusion dans l’intimité des gens semble assez osée même pour une cause aussi philanthropique ! Ce chercheur pense que la meilleure façon de les protéger est de partager les données à travers un « New Deal » des données !

fichage_protection_donnees-1ed41

En matière de e-santé, la CNIL envisage aussi de labelliser les applications mobiles pour inciter les éditeurs à informer les consommateurs sur l’utilisation de leurs données personnelles. Car avec l’’internet des objets’ tout le monde va pouvoir surveiller et contrôler tout le monde si l’on n’y prend pas garde … !

Le scandale de la surveillance généralisée du système Prism mise en place par la NSA a fonctionné comme un électrochoc dans nos sociétés mondialisées et connectées. La plupart des démocraties a voulu prendre ses distances avec l’espionnage américain et les multinationales (américaines) de l’internet. Au sein de l’Union européenne, la France et l’Allemagne en renforçant leurs réglementations, mais aussi à travers une décision de la Cour européenne de Justice reconnaissant le droit à l’oubli face aux informations remontées par le moteur de recherche Google. La protection des données personnelles représente aussi un des enjeux de la négociation du Grand Traité Transatlantique.  En France, le futur projet de loi numérique devrait traiter de ces aspects, notamment en encadrant mieux le régime juridique des services de renseignements (Rapport du Sénateur J.P Sueur).

Mais ces précautions juridiques ne vont pas empêcher l’industrie de l’information de puiser dans le nouvel Eldorado constitué par le Big Data dans lequel les données personnelles sont loin de représenter la portion congrue … C’est ce prévoit le Pew Research Internet Project dans son étude prospective sur l’internet des objets en 2025. La prolifération de capteurs ‘intelligents’, caméras de surveillance, logiciels, bases de données et data centers massifs vont produire dans le monde entier un environnement informatique invisible et omniprésent. Accompagnées par les produits de la ‘réalité augmentée’ que l’on portera sur soi comme les lunettes Google, montres ou vêtements intelligents, toutes ces données seront indexées (tags) et analysées par des experts de l’ingénierie sociale pour des « data brokers ». Comme l’indique un rapport de la Federal Trade Commission, cité par Slate  « Les “data brokers” collectent les données de consommateurs à partir de sources en ligne et en dehors, très généralement sans que ces consommateurs soient au courant. Ils classent tout, des achats en ligne, à l’activité sur les médias sociaux, en passant par les contrats d’assurance, les abonnements aux magazines, les tendances religieuses et politiques, et d’autres détails du quotidien de ces consommateurs. » C’est pourquoi la FTC recommande au Congrès un plus grand contrôle de ces activités pour protéger les consommateurs. donnees-persos-111705

La Commission européenne est aussi préoccupée par ces intrusions massives dans la vie privée et même par les « effets secondaires » impliqués par les les procédures d’identification et d’authentification.  Elle a confié à une équipe de recherche le projet ABC4Trust (Attribute-based Credentials for Trust), financé par l’UE, qui protège l’identité des personnes tout en préservant la sécurité des systèmes. Désormais, pour se connecter au site de sa banque, au lieu de s’identifier avec des informations personnelles, on utilisera une sorte de certificat (attribut) qui permet de s’identifier sans risques. Des pilotes de ce projet sont actuellement testés sur des étudiants en Suède et en Grèce.

Le secteur de la e-sécurité devrait se développer en même temps que le Big Data, mais les consommateurs semblent faire plus confiance aux logiciels libres qu’aux systèmes propriétaires !

Données personnelles : la directive européenne s’applique à Google Inc.  – Legalis, 13/05/14

Léonard, Thierry ; Wéry, Etienne. – Arrêt Google : la Cour de justice a-t-elle condamné à mort les moteurs de recherche. - Droit & Technologies, 15/05/14

Monnier, Cécile. – TAFTA et la protection des données personnelles : les enjeux cachés de l’élection européenne. – Blog Médiapart, 16/05/14

Les données numériques : un enjeu d’éducation et de citoyenneté. - Conseil économique, social et environnemental, 19/05/14

Isabelle Falque-Pierrotin : « Je ne crois pas du tout à la fin de la vie privée ». – Le Monde, 19/05/14

La CNIL envisage de labelliser les applications de santé. - TICSanté.com, 19/05/14

Vion-Dury, Philippe. – Et si l’internet des objets était une mauvaise chose pour nous ? - Rue 89, 19/05/14

Anderson, Janna ; Rainie, Lee. – The internet of things will thrive by 2025. - Pew Research Internet Project, 14/05/14

Interview with Alex Pentland : Can we use Big Data to make society Better ? - Spiegel.de, 10/05/14

Manach, Jean-Marc. – DGSE/Orange : Joue-la comme Super-Dupont (#Oupas).Bug Brother – Blog Le Monde, 20/05/14

Sénécat, Adrien. Les ruses de Facebook, Google et Netflix pour récupérer vos données personnelles. – L’Express, 20/05/14

Kerry, Cameron F. – Missed connections : Talking with Europe about data, privacy and surveillance. - Brookings, 20/05/14

Cuny, Delphine. –  Un an après Snowden, la France envisage de mieux encadrer l’utilisation des données. - La Tribune, 22/05/14

Méta-objets du méta-monde. –  Affordance info, 25/05/14

Rethinking Personnal Data : a new lens for strenghening trust. – Prepared in collaboration with A.T. Kearney – World Economic Forum – Industry Agenda, May 2014

Gorce, Gaëtan (auteur de la proposition de loi). – Techniques biométriques. – Sénat, 27/05/14

La sécurité et la confidentialité : désormais les deux peuvent aller de pair. – Commission européenne – Cordis, 27/05/14

Jourdan, Camille. – Certaines de vos données sont aspirées par milliards, et non Google et Facebook n’y sont pour rien. – Slate, 28/05/14

 

 

 

L’exploitation des données : un secteur très prometteur ….

« Quand je serai grand, je ferai du commerce de données personnelles ! » Cette remarque ironique exprimée dans l’émission néanmoins sérieuse de France 5 sur le numérique, le « Vinvinteur« , résume assez bien l’importance que prennent ces nouvelles ressources.

Les données, personnelles ou publiques, sont devenues le nouvel « or noir » du 21e siècle ! Celles que l’on appelle le « Big data » sont maintenant extraites en très grande quantités dans les flux des réseaux sociaux et des très nombreuses communications qui s’échangent sur la Toile.

Comme le souligne Michel Vajou dans la dernière Dépêche du GFII, IBM, grâce à son dernier outil, le Social Media Analytics va pouvoir analyser et synthétiser de très gros volumes de données issues des réseaux sociaux. Contrairement à ce qui se passait précédemment, ces données ne sont pas « propriétaires », elles n’appartiennent pas à des entreprises qui les auraient consolidées et structurées dans des entrepôts, ce sont des données ouvertes, transitant par des réseaux ouverts.
Grâce à ce service, les grandes marques de consommation pourront connaître les avis et les réactions (‘sentiment analysis’) des consommateurs sur leurs produits.

Mais les données ne se trouvent pas seulement sur les réseaux sociaux. On les détecte aussi à partir des objets qui nous entourent, à commencer par le smartphone, notre ‘double’ numérique, si l’on en croit Dominique Boullier et son projet Habitele.
Dans le cadre d’une recherche globale sur ‘smartphone et vie privée’, la CNIL s’est associée à l’INRIA avec le projet « Mobilitis ». Celui-ci consiste à analyser en profondeur les données personnelles enregistrées, stockées et diffusées par le smartphone. En constituant une expérience ‘in vivo’ sur un nombre limité de personnes (6 iPhones) et d’applications (géolocalisation, photos, carnet d’adresses et identifiants téléphone), les chercheurs comptent pouvoir répondre à un certain nombre de questions vitales pour la vie privée des utilisateurs : qui accède à l’identifiant unique de l’appareil, à la localisation, au carnet d’adresse, etc.
De nombreuses applications récupèrent, par exemple, l’identifiant unique Apple du téléphone (UDID), qui ne peut pas être modifié par l’utilisateur. Apple a annoncé que cette situation va bientôt être modifiée, mais en attendant de nombreux acteeurs (développeurs d’applis) sont destinataires de ces données, invisibles pour l’utilisateur …!
La CNIL souhaite développer l’accompagnement de ces acteurs pour qu’ils intègrent les problématiques « Informatique et Libertés » dans une démarche « Privacy by Design ».

Mais le smartphone n’est pas le seul ‘mouchard’ de notre environnement numérique, bientôt d’autres objets rempliront cette fonction pour le plus grand bonheur de l’Intelligent Business’. Votre voiture pourra renseigner l’assureur sur vos habitudes de conduites, ou votre frigo intelligent déduira vos croyances religieuses à partir de vos habitudes alimentaires … Déjà nos liseuses nous trahissent ! Amazon prévient ses acheteurs de Kindle : outre les données pratiques (mémoire disponibles, historique des connexions, puissance du signal), le logiciel fournit aussi des informations sur le contenu numérique (la dernière page lue, les annotations, les signets, les passages surlignés, etc. .). Lire des e-book génère donc des informations pour les éditeurs et les distributeurs …! On pourra savoir quels lecteurs abandonnent un texte et lesquels finissent leurs livres … Et surtout les différentes formes de lecture par type de document (essai, fiction, poésie, etc.).

L’analyse des flux de Twitter a déjà permis de prédire le résultat d’élections de vedettes dans une émission de télé-réalité, style « Nouvelle Star » aux Etats-Unis. En recueillant des données très détaillées sur le comportement social des téléspectateurs sur Twitter pendant l’émission, des chercheurs de la Northeastern University de Boston ont démontré que l’élimination des concurrents pouvait être anticipée… Les données de géolocalisation ont semblé jouer un rôle non-négligent dans cette analyse, car on a pu déceler l’influence importante de l’origine géographique des participants sur le vote.

Une activité importante se dessine pour les années à venir dans l’exploitation de cette nouvelle ressource, notamment dans le secteur de la publicité ciblée et du commerce en ligne. Mais il ne faudrait pas que ces pratiques lèsent la source même de ces données : les personnes physiques : en fait vous, moi, n’importe qui un tant soit peu connecté aux outils et aux réseaux numériques !
D’où l’importance du combat pour la protection des données personnelles, aussi bien au niveau national, qu’européen et international.

Y-a-t-il une menace Internet ? Le gros t’chat avec Xavier de La Porte : entretien par Jean Marc Manach. – Le Vinvinteur, France 5, 18/05/13

Vajou, Michel . – Big Data : quand IBM décrypte les messages sur les réseaux sociaux. – La Dépêche du GFII, 22/05/13

Léonard, Clara. – Big Data : quand IBM décrypte les messages sur les réseaux sociaux. – ZDNet, 17/05/13

Guillaud, Hubert. – Big Data, la nouvelle étape de l’informatisation du monde. – InternetActu, 14/05/13

Pouilly, Denis. – L’internet des objets, le prochain chantier de la confidentialité des données. – Regards sur le numérique, 18/04/13

Voyage au cœur des smartphones et des applications mobiles avec la CNIL et Inria. – CNIL, 09/04/13

Lang, Daniel ; Pillet, Jean-Luc. – Menaces des TIC : données privées et comportement des utilisateurs. – Infosec – Université de Genève (Suisse).

Pépin, Guénaël. – La CNIL veut peser dans le débat européen sur la vie privée. – Le Monde, 23/04/13

Data : le nouvel or noir : dossier. – Inriality, 28/01/13

Alerte : notre vie privée bientôt détruite à Bruxelles. – La Quadrature du Net, 22/01/13

Habitele

Twitter data crunching the new crystal ball. – Science Blog, 30/08/12

Beuth, Marie-Catherine. – Lire des ebooks génère des données pour les éditeurs. – Étreintes digitales – Le Figaro, 02/07/12

Carte d’identité : la biométrie s’impose avec une base de données centrale …

Le 6 mars, l’Assemblée nationale a définitivement adopté la Proposition de loi relative à la protection de l’identité. La nouvelle carte d’identité numérique comprend comme le passeport, des données biométriques (taille, couleur des yeux, deux empreintes digitales et une photo).
Ces données personnelles seront conservées dans un fichier central, le TES (Titres électroniques sécurisés, ou « fichier des gens honnêtes »).
La proposition de loi prévoit aussi l’exploitation des empreintes digitales à des fins de police judiciaire, notamment dans le cadre de recherche sur l’usurpation d’identité.

La CNIL avait déjà réagi en octobre 2011, en publiant une Note d’observations concernant la proposition de loi relative à la protection de l’identité. Elle rappelle que « les données biométriques ne sont pas des données à caractère personnel comme les autres » : la donnée biométrique n’est pas « attribuée par un tiers ou par la personne elle-même, elle est produite par le corps lui-même ». Certaines données « à trace » comme les empreintes digitales, peuvent même être capturées à l’insu de la personne …

Mais si la Commission trouve légitime ces dispositifs de reconnaissance biométrique, du moment que les données sont conservées sur un support individuel, détenu par la personne elle-même, en revanche, la position de la CNIL est très claire sur la mise en place d’un fichier central biométrique : « si légitimes soient-elles, les finalités invoquées ne justifiaient pas la conservation, au plan national, de données biométriques telles que les empreintes digitales et que les traitements ainsi mis en oeuvre seraient de nature à porter une atteinte excessive à la liberté individuelle. »

Les dimensions importantes de cette base de données centralisée multiplie les risques et impliquent une sécurisation technique complexe. La Commission propose des mesures alternatives de lutte contre la fraude qui sont tout aussi efficaces, tout en étant respectueuses de la vie privée des personnes : sécurisation des documents « sources » pour produire les titres d’identité, vérification des données d’état civil, etc. Elle préconise aussi l' »absence de lien univoque » entre les données biométriques du fichier central et les données d’état civil des personnes auxquelles elles correspondent.

Une autre puce RFID, optionnelle celle-ci, est prévue pour une authentification à distance dans le cadre de démarches administrative ou de e-commerce. La encore, la CNIL trouve cette préoccupation légitime, contrairement à Jean-Claude Vitran de la Ligue des Droit de l’homme « Une carte d’identité n’est pas un moyen de paiement », mais elle met en garde contre les dangers de « traçage » des individus : « de telles fonctions électroniques appellent des garanties particulières, dans la mesure où elles pourraient permettre la constitution d’un identifiant unique pour tous les citoyens français ainsi que la constitution d’un savoir public sur les agissements privés. » La Commission estime que de telles fonctionnalités doivent s’accompagner de « mécanismes dits de divulgation partielle ou sélective », c’est-à-dire que seules les données nécessaires aux transactions seront communiquées.

Le risque avec les puces RFID, c’est qu’elles peuvent fonctionner « sans contact », donc à distance, et qu’elles pourraient ainsi être piratées …
D’après Owni, le Ministère de l’intérieur à récemment reconnu que 10% des passeports biométriques en circulation seraient des faux !
Dans ces conditions, on se demande à quoi peuvent servir toutes ces mesures de « sécurisation » ….


Contestée, la carte d’identité biométrique a été définitivement adoptée
par Laurent Borredon, Le Monde, 07/03/12

L’Assemblée nationale a voté le fichage intégral de la population française
par Pierre Piazza, Maître de Conférences en Science politique à l’Université de Cergy-Pontoise, Le Monde, 06/03/12

Carte d’identité : déjà en haut de la fiche
Libération, 18/02/12

Le fichage « d’honnêtes gens » adopté par l’Assemblée nationale
par Hélène Puel, O1Net, 02/02/12

Fichier central des « gens honnêtes » : l’Assemblée vote oui
ZDNet, 03/02/12

Fichez les tous !
par Jean-Marc Manach, Owni, 01/02/12

Le fichier des « gens honnêtes » repasse à l’Assemblée
Bug Brother, Blogs Le Monde, 13/12/11

La future carte d’identité biométrique : entre fichage généralisé et business juteux
par Agnès Rousseaux, Basta !, 12/12/11

La nouvelle carte d’identité biométrique pour 2012
Protégez-vos données.fr, 12/07/11

Staypressed theme by Themocracy