lindev.fr

Aller au contenu | Aller au menu | Aller à la recherche

Mot-clé - internet

Fil des billets - Fil des commentaires

01 mar. 2017

Cloud Amazon, ne pas mettre tous ses oeufs dans le même panier

L'article

Voici la source : cio.com

Pour résumer, cet article fait le constat qu'une panne chez Amazon a des conséquences énormes .

Principalement dû au fait que ce seul et même fournisseur de services offre tellement de produits qu'il n'est pas nécessaire d'aller voir ailleurs pour monter un SI complexe .

Amazon devient tellement présent que cette panne a impacté 20% de l'internet ! 20% !
Il est vrai qu'Amazon offre des services de très haute qualité, le problème n'est pas là, mais plutôt du constat qu'il devient l'hébergeur majoritaire des services en ligne.

Internet qui a pour force d'être multi-prestataires devient de fait affaibli par un marché qui se déséquilibre ..
Une panne et hop 20% du net tombe avec lui .

Comment en est-on arrivé là ?
Pourquoi la concurrence à ce niveau n'est elle pas plus au rendez-vous ?
Problème marketing ?
Trop grosse différence de coût ?

Ce rouleau compresseur va t'il tout écraser sur son passage comme pour la vente en ligne ?

Un constat qui devient inquiétant . (selon moi) Ch.

23 fév. 2013

Linux LTSP : Restriction web par utilisateur

juanjo_Firewall.svg

J'administre aujourd'hui un serveur LTSP ( entre autres ) sur lequel se connectent une bonne quinzaine de clients.

Pas de problème jusque là, mais une problématique est apparue, en effet les clients n'ont pas tous les mêmes droits au niveau des accès vers l'extérieur ( le Net ).

Certains doivent avoir accès à 100% au net, d'autres ont le droit d’accès à l'intranet ou apli métier web uniquement .

Les clients se trouvant tous sur le même serveur, il m'est évidemment impossible de gérer celà depuis le Firewall principal.

Je vais donc exposer ici la solution qui me permet de gérer mes clients de façon simple et efficace .

La solution netfilter

le module netfilter ipt_owner va nous permettre de créer des règles de filtrage qui utilisent l'une des variables suivantes

  • UID
  • GID
  • PID
  • SID

Top ! voyons comment le mettre en place

Activer ipt_owner

L'activation est simple, il suffit d'activer le module ( s'il ne l'est pas déjà ) grâce à la commande modprobe

modprobe ipt_owner

info.png Pour l'activer automatiquement au démarrage, il vous suffit d'ajouter le nom du module dans le fichier /etc/modules


Les règles iptables

Voici les options disponibles pour les règles iptables

#Iptables' owner match extension adds four match criteria to the iptables command:
-- uid-owner UID: matches packets generated by a process whose user ID is UID
-- gid-owner GID: matches packets generated by a process whose group ID is GID.
-- pid-owner PID: matches packets generated by a process whose process ID is PID.
-- sid-owner SID: matches packets generated by a process whose session ID is SID.

Le script de règles

Pour faire les choses bien, nous allons commencer par créer un fichier shell pour éditer et activer simplement l'enssemble des règles

vim regles_ltsp.sh

Le contenu :

#!/bin/sh

#Supprime l'enssemble des régles
iptables -F

#Accepte les requêtes en loopback
iptables -A OUTPUT -o lo -j ACCEPT

#On autorise les requêtes sur le réseau local ( intranet applis metier )
iptables -A OUTPUT -o eth0 -d 10.0.0.0/24 -j ACCEPT

#Compte autorisés à aller sur le net
iptables -A OUTPUT -o eth0 -m owner --uid-owner cdsl -j ACCEPT
iptables -A OUTPUT -o eth0 -m owner --uid-owner root -j ACCEPT

#Groupe(s) autorisés à aller sur le net
#iptables -A OUTPUT -o eth0 -m owner --gid-owner net -j ACCEPT

#On bloque les autres
iptables -A OUTPUT -j DROP

On le rend exécutable

chmod +x regles_ltsp.sh

Les commentaires sont assez clair, on bloque tout, puis seuls les utilisateurs cdsl et root sont autorisés à sortir, ainsi que les utilisateurs du groupe net.

Ainsi pour autoriser un autre utilisateur sans toucher / recharger les règles iptables, il suffira de l'ajouter au groupe net

adduser <user> net

Cool !

Bien maintenant comment charger automatiquement nos règles au démarrage du système et de façon efficace.

Chargement automatique

iptables est fournit avec deux commandes très pratiques

  • iptables-save
  • iptables-restore

qui permettent respectivement de "compiler et extraire" les règles actuellement en cours , et de restaurer des règles sauvegardées avec iptables-save

Commençons par activer nos règles, car pour le moment nous avons uniquement créé le script mais nous ne l'avons pas exécuté . Pour voir les règles actuellement en place nous pouvons utiliser la commande iptable -L

# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination 

Aucune règle pour le moment.

On exécute notre script ( en root )

./regles_iptables.sh
# iptables -L
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  anywhere             anywhere            
ACCEPT     all  --  anywhere             10.0.0.0/24         
ACCEPT     all  --  anywhere             anywhere            owner UID match root 
ACCEPT     all  --  anywhere             anywhere            owner GID match net 
DROP       all  --  anywhere             anywhere            

Magnifique !

Sauvegardons nos règles

Nous allons les sauvegarder dans le fichier ( en root ) /etc/iptables.up.rules

iptables-save > /etc/iptables.up.rules

Puis nous allons créer un petit script pour appliquer les régles juste avant de connecter les interfaces réseaux

vim /etc/network/if-pre-up.d/iptables

Voici le contenu, qui utilise la commande iptables-restore

#!/bin/bash
/sbin/iptables-restore < /etc/iptables.up.rules

Et on le rend exécutable

chmod +x /etc/network/if-pre-up.d/iptables

info.png Pour effacer l'enssemble des régles, utiliser la commande iptables -F


Conclusion

Et voilà comment gérer vos règles iptables simplement et proprement au démarrage, en ayant la possibilité de filtrer par utilisateur ou groupe d'utilisateurs.

Bon tests . Ch.

07 avr. 2010

Nginx - Vhost - php - perl - ssl

banniere-nginx.png
Bon , le billet qui sert de pont de départ ... pas toujours évident sur un blog de s'y retrouver .. sans sommaire ...
Voici donc le sommaire concernant les billets de Nginx

Installation , et utilisation de base

Installer Nginx manuellement , options de compilation , découvrez les emplacements des différents fichiers de configuration , démarrage automatique , options de base ect ...

Gérer les pages PHP et PERL

Nginx seul c'est bien , mais pouvoir l'utiliser avec php perl et .. tant d'autres , c'est mieux , dans ce billet , est éxpliqué la mise en place de php et perl en fast-cgi , et la liaison avec nginx .

SSL , vhost , et autres petites options

Mise en place de pages sécurisées par ssl , création de certificats , redirection automatique , mod_rewrite , compatibilité avec certains framework qui ont besoin du mod rewrite commezend framework , symphony , etc ...

06 avr. 2010

Nginx , SSL et plus encore ..

logo_openssl.gifVoici le troisième volet sur Nginx et son utilisation .
Nous allons voir aujourd'hui la mise en place d'un certificat pour une connexion sécurisé SSL via OpenSSL , mais aussi un passage sur les réécritures d'url , en fonction d'une classe d'adresse IP ,ou la mise en place de réécritures pour l'utilisation d'un framework tel que le ZF , Sympho ou Autres ...
La mise en cache des données statiques ...
Etc etc ..

Open SSL

Il faut dans un premier temps générer les certificats auto-signés , pour celà il vous faudra installer openssl

apt-get install openssl

Certificats

Ensuite , nous allons générer un certificat , plaçons nous dans un le répertoire de conf de Nginx .

mkdir /etc/nginx/certificats
cd /etc/nginx/certificats
openssl req -new -x509 -nodes -out mon-site.fr.crt -keyout mon-site.fr.key

Vhosts

Nous voilà avec de magnifiques certificats auto-signés , nous allons maintenant modifier notre vhost pour qu'il soit dorénavant en https .
Nous allons donc changer le
listen 80;
par
listen 443;
Et enfin , voici les quelques lignes à ajouter pour utiliser nos certificats fraichement crées .

ssl on;
ssl_certificate /etc/nginx/certificats/mon-site.fr.crt;
ssl_certificate_key /etc/nginx/certificats/mon-site.fr.key;
ssl_session_timeout 5m;

Restart Nginx

Et comme d'habitude , il faut recharger les fichiers de conf de nginx

/usr/local/nginx/sbin/nginx -s reload

info.pngsources de la doc

Redirection 301

Il est parfois ( souvent ) utile de faire des redirection 301 pour une histoire de référencement ou autres , voici la conf du vhost à rediriger :

server {
  listen 80;
  server_name example.com;
  rewrite ^/(.*) http://www.example.com/$1 permanent;
}

Pour mettre un code 302 , il faut juste changer permanent par redirect

info.pngDocumentation du module

Redirection interne / externe

Prenons l'exemple d'un site qui de l'extérieur est accessible en ssl , et de façon standard en local , voilà comment faire une redirection automatique :

    if ($remote_addr !~  "^(10\.0\.0\.\d+)"){
            rewrite ^/(.*)$ https://siteA.mon-site.fr permanent;
    }

Chaque client dont l'adresse IP n'est pas 10.0.0.0-255 se verra obligé de passer par une connexion sécurisée .

Redirection pour framework

Beaucoup de framework tel que le zend-framework , symphony et bien d'autres utilisent des règles de redirections ( via par exemple le mod_rewrite d'apache ) pour rediriger toutes URL différentes de média statiques vers le bootstrap ( index.php ) , qui lui s'occupe de lancer le chef d'orchestre .

Voilà le code à ajouter dans votre vhost pour effectuer cette redirection .

location /  {
    index index.php;

    if (-f $request_filename) {
        access_log off;
        expires max;
    }

    if ($request_filename !~ "\.(js|ico|gif|jpg|jpeg|png|css|txt|pdf|doc|odt|xls|swf|mp3)$") {
        rewrite ^(.*) /index.php last;
    }    

Cache

Nginx peut aussi gérer du cache , pour servir plus rapidement , les données dites statiques , voilà une façon de l'activer :

location ~* ^.+.(jpg|jpeg|gif|css|png|js|ico)$ {
            access_log        off;
            expires           30d;
        }

Une autre méthode , ( qui est présente ci-dessus )

if (-f $request_filename) {
    access_log        off;
    expires max;
    }

warning.pngMais attention , cette deuxiéme méthode , n'est valable que si vous utilisez un framework , qui joue avec les réécritures d'url , car le script ci-dessus se traduit comme ceci :

Si le fichier de la requête existe , alors on le met/ utilise en cache .

Etant donne que l'utilisation de réécriture d'url , implique que toutes les requêtes utilisateurs , sont "factices" , elles ne représentent pas réellement la structure de fichiers/répertoires de votre site , sauf , le fichiers statiques tels que les images , css , js etc ... mais les chargements sont fait automatiquement .
Voilà pourquoi cette deuxième méthode ne fonctionne qu'avec un FW qui utilise la réécriture d'url .

Conclusion

Et bien cette fois nous y voilà , un serveur http complet , prêt à servir de nombreuses pages , à héberger n'importe quel framework , et tout ça avec de trés bonnes performances .
De nombreuses autres options / modules existes , je vous invite à les parcourir :
modules nginx

En espèrent que cette petite série de tuto vous a intéressé , n'hésitez pas à laisser un commentaire , ça fait toujours plaisir ,

Christophe.

05 avr. 2010

Nginx + php fastcgi + perl

nginx-logo2.pngCa y est , voici la deuxième partie certainement attendu .. non !! ha .. bon .. spa grave ..
Je disais donc , nginx est maintenant en place , mais il faudrait peut être penser à le rendre compatible avec les 90% des sites sur le net aujourd'hui , c'est à dire php .. et pourquoi pas python tant que l'on y est .
Pour mettre en place cette liaison , nous allons utiliser php en fast-cgi .
Nginx ne possédant pas de mod_php comme apache , les requêtes php seronts donc transmises aux process php que nous aurons lancés en tâche de fond .
Je ne vais pas débattre des avantages et des inconvénients d'utiliser php en fastcgi , ce n'est pas le but de ce topic , mais sachez juste qu'aujourd'hui php en fastcgi est très apprécié , pour sa stabilité et sa sécurité , c'est pourquoi l'on retrouve souvent ce mode de fonctionnement chez les hébergeurs aujourd'hui ...
Vous n'étiez pas au courant ? ..

Note du 24/08/10 : Depuis php 5.3.3 il est bien plus simple et performant d'utiliser php-fpm , voir le tuto à ce sujet

PHP compilation

Et oui encore , il nous faut compiler php spécialement pour le mod fast-cgi ( ne vous inquiétez pas , il est maintenant impossible de repasser en mode cgi simple , vous aurez forcement du Fastcgi ).
Comme d'hab voici les étapes ,

  1. Récupération des source
  2. décompactage
  3. création du fichier de config à la compilation
  4. trio : ./configure make / make / install

Récupération de php

Voilà les lignes de commande correspondantes ( PHP 5.3.2 )

wget http://fr2.php.net/get/php-5.3.2.tar.gz/from/this/mirror
tar xzf php-5.3.2.tar.gz
cd /usr/local/src/php-5.3.2/
vim my_configure

Config de compilation

Voici un exemple , de config de php ( celui de ma machine de dev ) je vous laisse ajuster selon vos besoins ..

#!/bin/sh

export OPTIM=-02
./configure --prefix=/usr/local \
        --with-xsl \
        --enable-soap \
        --with-gettext \
        --enable-mbstring --with-mbstring=all \
        --disable-debug \
        --enable-memory-limit \
        --enable-ftp \
        --with-mcrypt \
        --enable-zip \
        --enable-calendar \
        --enable-exif \
        --enable-pdo \
        --with-pdo-mysql \
        --with-mysql \
        --with-pdo-sqlite \
        --with-sqlite \
        --with-zlib \
        --with-jpeg-dir \
        --with-gd \
        --enable-bcmath \
        --with-curl \

Compilation , go go go

make 
make install 

Vérification

Nous voilà avec normalement un exécutable nommé php-cgi dans /usr/local/bin_

Process FastCgi

Nous allons donc maintenant créer un script qui sera chargé de lancer X process , qui ont pour mission de répondre aux requêtes php envoyées par nginx.

Création

cd /etc/init.d/
vim php-fastcgi

Le script peut exister sous des formes plus ou moins différentes , voici celui que j'utilise :

download.pngphp-fastcgiwrapper php-fastcgi

warning.pngLà encore les script est adapté , si vous avez suivi à la lettre mon tutoriel , si vous avez effectué des modification vérifiez les paramètres , notamment:

  • USER
  • PHP_CGI

Ajout au RC

Il faut lui aussi le rendre exécutable , et le mettre dans le RC , afin que les process soient lancés au démarrage de la machine .

chmod 777 php-fastcgi
update-rc.d php-fastcgi defaults

warning.pngConcernant le nombre de process fils lancés , il faudra adapter selon la charge de votre site ... en production , la commande

netstat -atup

Vous donnera des indications sur l'état de vos process , n'en ajoutez pas trop ! travaillez de façon logique .

Vous pouvez démarrer les process :

/etc/init.d/php-fastcgi start

Liaison avec Nginx

Et bien voilà , il ne nous reste plus qu'à lui indiquer de transmettre les requêtes php aux process que nous avons lancés .

fastcgi_params

Dans un premier temps il faudra éditer le fichier de configuration fastcgi_params de nginx .

cd /etc/nginx/
vim fastcgi_params

A la fin de ce fichier , ajouter les lignes suivantes :

fastcgi_split_path_info ^(.+\.php)(.*)$;
fastcgi_param PATH_INFO $fastcgi_path_info;
fastcgi_param PATH_TRANSLATED $document_root$fastcgi_path_info;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

Ces lignes permettent entre autre d'indiquer aux process quel script executer , ainsi que son chemin .

Vhost ou Nginx.conf

Selon l'utilisation ou non de vhost , il vous faut ajouter ( en fait elles y sont déjà dans le conf principale si vous avez utilisé mon fichier de config nginx.conf ) les lignes suivantes dans les accolades de server .

location ~ \.php$ {

          include /etc/nginx/fastcgi_params; #or whatever you named it
          fastcgi_pass  127.0.0.1:9000;
	  index index.php;
        }


Exemple d'un vhost:

server{

        listen 8282;

        server_name lindev.fr;

        root /home/apache2/lindev.fr;

        
        location /  {

                index index.php;

        }

        location ~ \.php$ {

          include /etc/nginx/fastcgi_params; #or whatever you named it
          fastcgi_pass  127.0.0.1:9000;
	  index index.php;
        }

}

Et voilà votre serveur peut maintenant gérer les fichiers .php

Restart Nginx

Pour que les modifications prennent effet, il vous faut demander à Nginx de relire sont/ses fichiers de conf .

/usr/local/nginx/sbin -s reload

Et bien voilà pour php .. On fait la même chose avec perl ? aller .. go !

Perl CPAN

Certains sites demandent la gestion de perl , principalement pour des site de graph , tel qu'eluna , je vais donc faire en sorte que notre serveur puisse gérer ce genre de site .. même pas peur !

FCGI

Il nous faut dans un premier temps installer le paquet FCGI par cpan :

perl -MCPAN -e 'install FCGI'

Wrapper perl fastcgi

Il faut ensuite , créer le script qui ( comme pour php ) lance des process en fastcgi en attente de script à traiter .

vim /usr/bin/fastcgi-wrapper.pl

download.pngVoilà le contenu de ce script : fastcgi-wrapper.zip

Il faut maintenant le rendre exécutable

chmod 755 /usr/bin/fastcgi-wrapper.pl



Ok maintenant , nous allons créer le script qui se situe dans le RC , pour lancer les process :

vim /etc/init.d/perl-fastcgi

download.pngVoici le fichier perl-fastcgiperl-fastcgi

On le rend exécutable , et on l'ajoute au RC

chmod 755 /etc/init.d/perl-fastcgi
update-rc.d perl-fastcgi defaults
/etc/init.d/perl-fastcgi start

Liaison perl - Nginx

Nous y voilà , les process perl sont lancés , il écoutent sur le port 8999 , il ne nous reste plus qu'à ajouter dans les Vhost qui en ont besoin , les lignes suivantes :

location ~ \.pl$ {
        gzip off;
        include /etc/nginx/fastcgi_params;
        fastcgi_pass  127.0.0.1:8999;
        fastcgi_index index.pl;
    }

warning.pngCette fois , pas besoin de modifier les fichier fcgi_params car les modifications à apporter sont les même que précédemment avec php .

Nginx restart

Et bien oui comme pour php , on relance la lecture des fichiers de conf de nginx , afin de prendre en compte les modifications .

/usr/local/nginx/sbin/nginx -s reload

Good job

Ca y est , Nginx est maintenant capable de gérer les script php et perl en plus des fichiers statiques ...

Il reste encore quelques petites choses utiles à voir , comme la gestion du SSL , les redirections automatique , les réécritures d'url, pour du 301 ou l'utilisation de framework tel que symphony , Zend ou autre basé sur la réécriture d'url et un peut de sécurité en plus ...

Voilà le programme de la troisième partie sur nginx ..

- page 1 de 3