Le blog de John Jean » GPU

John the ripper multi-core grâce à Open MPI…

John JEAN — Mon, 28 Sep 2009 12:33:44 +0000

… ou comment multiplier la rapidité de bruteforce de John the Ripper par 8 ou plus. J’ai écrit il y a quelques temps, un billet présentant un comparatif des méthodes de bruteforce CPU / GPU sur des hashs de type MD5. J’avais expliqué que la méthode GPU (avec l’aide de cuda) explosait allègrement les méthodes CPU, même avec du dual core. C’est toujours le cas. Sauf que cette méthode a ses limites: elle manque cruellement de softs permettant de bruteforcer tout et n’importe quoi. Le soft de référence pour avaler à peu près tous les hashs est John the ripper, mais il prend malheuresement assez cher face à des softs comme BarsWF. C’était sans compter sur un patch de bindshell.net qui permet d’exécuter autant d’instances du soft qu’on a de core.

Pour les besoins du boulot, nous avons monté un serveur relativement puissant et efficace: 16 Go de RAM et surtout du double quadruple coeurs (Intel Bi Xeon Quad 8x 2.00+ GHz). J’en ai donc profité pour tester l’objet de mes plus grands fantasmes :) (Bah oui, tout le monde n’a pas un 8 core sur son laptop, et les méthodes GPU sur un serveur sans CG…), et le résultat est sans appel:

Avant:

john-laptop:~/johntheripper/run# ./john -test Benchmarking: Traditional DES [128/128 BS SSE2-16]... DONE Many salts: 1912K c/s real, 1912K c/s virtual Only one salt: 1631K c/s real, 1631K c/s virtual

Après:

john-laptop:~/john-1.7.2-bp17-mpi8/run# mpirun -np 8 ./john -test Benchmarking: Traditional DES [128/128 BS SSE2-16]... DONE Many salts: 15269K c/s real, 15273K c/s virtual Only one salt: 12997K c/s real, 13000K c/s virtual

Avant:

Benchmarking: BSDI DES (x725) [128/128 BS SSE2-16]... DONE Many salts: 62387 c/s real, 62512 c/s virtual Only one salt: 60723 c/s real, 60723 c/s virtual

Après:

Benchmarking: BSDI DES (x725) [128/128 BS SSE2-16]... DONE Many salts: 497326 c/s real, 496954 c/s virtual Only one salt: 484527 c/s real, 484527 c/s virtual

Avant:

Benchmarking: FreeBSD MD5 [32/64 X2]... DONE Raw: 8592 c/s real, 8592 c/s virtual

Après:

Benchmarking: FreeBSD MD5 [32/64 X2]... DONE Raw: 68862 c/s real, 68844 c/s virtual

Avant:

Benchmarking: OpenBSD Blowfish (x32) [32/64 X2]... DONE Raw: 518 c/s real, 518 c/s virtual

Après:

Benchmarking: OpenBSD Blowfish (x32) [32/64]... DONE Raw: 2415 c/s real, 2416 c/s virtual

Avant:

Benchmarking: Kerberos AFS DES [48/64 4K]... DONE Short: 285330 c/s real, 285330 c/s virtual Long: 911564 c/s real, 911564 c/s virtual

Après:

Benchmarking: Kerberos AFS DES [48/64 4K]... DONE Short: 2281K c/s real, 2279K c/s virtual Long: 7241K c/s real, 7241K c/s virtual

Avant:

Benchmarking: LM DES [128/128 BS SSE2-16]... DONE Raw: 9688K c/s real, 9688K c/s virtual

Après:

Benchmarking: NT LM DES [128/128 BS SSE2-16]... DONE Raw: 79468K c/s real, 79587K c/s virtual

Et en bonus, juste pour la version 8 core cette fois:

Benchmarking: Apache MD5 [32/64 X2]... DONE Raw: 68674 c/s real, 68674 c/s virtual

Benchmarking: mysql [mysql]... DONE Raw: 20638K c/s real, 20643K c/s virtual

Benchmarking: Netscape LDAP SHA [SHA1]... DONE Raw: 14961K c/s real, 14961K c/s virtual

Benchmarking: NT MD4 [TridgeMD4]... DONE Raw: 18830K c/s real, 18844K c/s virtual

Benchmarking: Lotus5 [Lotus v5 Proprietary]... DONE Raw: 1204K c/s real, 1205K c/s virtual

Benchmarking: M$ Cache Hash [mscash]... DONE Raw: 12567K c/s real, 12567K c/s virtual

Benchmarking: Raw MD5 [raw-md5]... DONE Raw: 19448K c/s real, 19448K c/s virtual

Benchmarking: IPB2 MD5 [Invision Power Board 2.x salted MD5]... DONE Raw: 10592K c/s real, 10587K c/s virtual

Benchmarking: Eggdrop [blowfish]... DONE Raw: 136593 c/s real, 136627 c/s virtual

Benchmarking: Raw SHA1 [raw-sha1]... DONE Raw: 14720K c/s real, 14720K c/s virtual

Benchmarking: MS-SQL [ms-sql]... DONE Raw: 15442K c/s real, 15446K c/s virtual

Benchmarking: HMAC MD5 [hmac-md5]... DONE Raw: 5473K c/s real, 5477K c/s virtual

Benchmarking: WPA PSK [wpa-psk]... DONE Raw: 472 c/s real, 472 c/s virtual

Benchmarking: Netscape LDAP SSHA [salted SHA1]... DONE Raw: 14922K c/s real, 14926K c/s virtual

Ca c’est pour la théorie. Maintenant pour la pratique, j’ai encodé via htpasswd le mot de passe suivant blogjohn; et j’ai testé la vitesse de bruteforce avec les deux logiciels, le classique et le multi-thread donc.

John the ripper:

guesses: 1 time: 0:11:01:58 c/s: 1704K trying: blogji1X - blogjoek Loaded 1 password hash (Traditional DES [128/128 BS SSE2-16]) blogjohn (john)

Soit 11h01 de travail.

John the ripper n-core (ici 8, bindshell.net):

thread: 0 guesses: 1 time: 0:01:27:22 c/s: 1702K trying: blogjim9 - blogjone

Soit 1h30 de travail !

Je sors un petit graphique de munin pour l’occasion, le premier histo est donc le john classique et le second le multi-core. Pour la petite histoire, cela a bien duré 1h30, mais on continue de voir une utilisation CPU parce que je n’ai pas stoppé les 7 autres threads.

Donc pour conclure, comment on utilise la bête ?

Tout d’abord on récupère le john tunné pour l’occasion (il est aussi disponible sous forme de diff à appliquer, au choix):

wget http://www.bindshell.net/tools/johntheripper/john-1.7.2-bp17-mpi8.tar.gz

On untar:

tar zxvf john-1.7.2-bp17-mpi8.tar.gz

Ensuite on installe libopenmpi-dev pour compiler cette version de john sinon on a pas mpicc et openmpi-bin pour utiliser mpirun:

apt-get install libopenmpi-dev apt-get install openmpi-bin

Puis on compile john:

cd john-1.7.2-bp17-mpi8/src/ make //ici il va vous lister les possibilités de compilation optimisée selon votre OS, ce qui donne chez moi: make clean linux-x86-64 cd ../run

Et enfin, notre salvateur:

mpirun -np ./john -i pass.txt // correspond bien entendu au nombre de core que vous avez à disposition.

Voilà amusez vous bien, et ne le faites pas tourner n’importe où, comme vu sur le graph, ca fera hurler munin et tous les softs de monitoring du sysadmin ;)

Bruteforcer une chaine MD5: Nouvelles méthodes et comparatif des softs

John JEAN — Tue, 31 Mar 2009 19:52:24 +0000

La plupart des développeurs utilisent généralement le MD5 pour stocker les données sensibles de leurs utilisateurs (mot de passe, parfois numéro de carte bleu, et ainsi de suite…). Ces derniers ont tendance à considérer cette méthode de hachage comme fiable alors qu’elle ne l’est pas. En effet, dès 1996, des chercheurs en sécurité ont mis en exergue la possibilité de créer des collisions. En 2004, les collisions complètes sont découvertes et le MD5 n’est dès lors plus considéré comme fiable d’un point de vue purement cryptographique. Cependant, sa facilité d’implémentation avec PHP à l’aide de md5(); et la méconnaissance des développeurs fait que cette méthode est encore très largement rependue au détriment de fonctions de hachage plus récentes et donc plus robustes comme SHA-256.

Suite à ces découvertes, plusieurs logiciels ont vu le jour afin de permettre de bruteforcer cette méthode de hachage (et pas uniquement celle-ci). Je suis souvent amené à devoir cracker ces chaines pour montrer au décideur pressé que le travail d’obfuscation des données par son développeur ou sysadmin n’est en réalité pas vraiment fiable. « Oui vous avez réussi à accéder à ma base de donnée, et alors ? Les données de nos clients sont cryptées ». Pour montrer au décideur qu’il fait fausse route, je me dois donc souvent de « bruteforcer » une ou plusieurs informations.

Les logiciels automatisant le bruteforce ont assez largement évolués récemment, passant d’une utilisation CPU, à CPU multi-core, et désormais CPU + GPU. En effet, le reversing des méthodes de hachage fascine, et remet chaque jour un peu plus en question la sécurité basée sur ces méthodes (surtout MD5 là pour le coup). Il suffit par exemple de voir l’excellent travail sur les certificats SSL: Creating a rogue CA certificate. Un fail dans une méthode remet en question bien plus de choses que la méthode en elle-même.

GPU est l’acronyme de Graphics Processing Unit, grosso-modo, l’utilisation de la puissance de calcul de votre carte graphique. Ce vecteur de puissance était jusqu’alors inexploité pour la simple et bonne raison que leur utilisation était closed-source. Nvidia a largement ouvert et démocratisé l’accessibilité aux processeurs graphiques en mettant à disposition un environnement de développement nommé CUDA.

Voici donc un petit comparatif des logiciels, le but est avant tout de démontrer en quoi l’utilisation des GPUs constitue une avancée non négligeable (tiens ça me rappelle une histoire de PS3 montées en grappes), et surtout de montrer qu’à fonctionnement équivalent, ils ne sont pas tous aussi rapides. L’autre but est bien évidement de vous sensibiliser si vous utilisez toujours cette méthode de cryptage dans vos sites (je fais le malin, mais WordPress utilise le md5 pour stocker les passwords).

Machine utilisée pour ce test:
Dell XPS M1530
Intel Core 2 Duo CPU T9300 2,50 Ghz
NVIDIA GeForce Go 8600M GT, 256 MB

Comparatif des softs
J’étais parti pour inclure John the Ripper dans le test, mais il fallait employer un hack. Je me suis donc concentré sur les softs faisant bien nativement du bruteforce de MD5.

CAIN (http://www.oxid.it/cain.html)
Bon, à la décharge de CAIN, il ne sert pas uniquement à bruteforcer des hashs. C’est un couteau suisse qui permet de faire de l’ARP Poisoning, d’appliquer des filtres de snif etc. Donc bon, considérons que sa GUI ainsi que l’essence du soft font que ce n’est pas sa force, mais tout de même:
Résultat obtenu: 7 Millions h/s

MDcrack (Shot 1) (http://membres.lycos.fr/mdcrack/)
Probablement l’un des plus anciens et des plus connus soft de bruteforce de MD5. Tout en command-line.
Dans ce premier shot, pour simuler l’évolution, je l’ai limité à un seul CORE pour le CPU.
Résultat obtenu: 12,5 Millions h/s

Le CPU est sollicité à 50% ce qui est parfaitement logique compte tenu du fait que j’ai un Dual CORE.

MDcrack (Shot 2) (http://membres.lycos.fr/mdcrack/)
Pour le second shot, je décide d’utiliser pleinement mon CPU. C’est à dire, avant que l’on utilise les GPU, ce qui se faisait de mieux en matière de bruteforce. J’ai un core DUO, je double sans surprise.
Résultat obtenu: 24 Millions h/s

GPU MD5 CRACK (http://bvernoux.free.fr/md5/index.php)
Cette fois nous utilisons un bruteforcer sollicitant les GPUs. Malhreusement il dispose d’une GUI qui doit impacter ses perfs mais voyons tout de même la différence:
Résultat obtenu: 44 Millions h/s !

Extreme GPU Bruteforcer (http://www.insidepro.com/eng/egb.shtml)
Un autre GPU Bruteforcer,Â cette fois en command-line, mais on remarque que lui non plus ne sollicte pas le CPU au maximum.
Résultat obtenu: 53 Millions h/s !

BarsWF (http://3.14.by/en/md5)
Là, on passe en mode uber-gore. On constate avec ce logiciel une réelle maximisation de l’utilisation CPU + GPU. La courbe d’utilisation CPU n’est plus sinusoidale ici. Je n’ai pas une grosse config pour le coup, reportez vous à la conclusion pour voir ce qu’il a vraiment dans le sac :-)
Résultat obtenu: 124 Millions h/s !

Conclusion

Vous devez mieux comprendre pourquoi l’image illustrant ce billet est un logo Nvidia. La rapidité de bruteforce via GPU n’est en rien comparable à ce que l’on pouvait exploiter il y a encore quelques années. J’ai demandé à un collègue qui a un double CORE, et une CG ATI (ATI Radeon HD 4870) de réaliser le test pour moi:

*Â¦ Key: kshnmhwi Avg.Total: 1066.40 MHash/sec Â¦

Â¦ Hash:87a2f7772d361d70d4b43cb5141a50e1 Â¦

Â¦ Progress: 28.92 % ETC 0 days 0 hours 2 min 19 sec Â¦

+———————————————————–+

– Key is: johnjean——————————————
Résultat obtenu avec BarWF: 1 066 Millions h/s !
Deux minutes pour mettre à mal la chaine: johnjean

Je n’ai évoqué ici que la maximisation de tentative de hash/s, pas le temps global que met une chaine à être forcée. Lors de mon prochain billet je tenterai d’établir un comparatif avec les méthodes d’attaque par rainbow table. A noter également que je n’ai pas parlé de la suite Elcomsoft Distributed Password Recovery qui permet de monter des grappes de travail. En gros l’application se divise en deux parties une cliente et une serveur. On peut donc créer un serveur et relier 20 machines dessus. Avec des machines comme celle de mon collègue (1 066 Millions h/s) bruteforcer une base de donnée client pour en extraire les pass et plus ne doit pas prendre bien longtemps. N’hésitez donc pas à modifier vos méthodes de stockage même si les énorme montage sont généralement reservé aux agences à trois lettres :-) Il va sans dire que les signatures de fichier en MD5 sont tout aussi faillible que ce que vous encryptez.

PS: Voici plus d’un mois que j’avais posté, mais je viens de trouver un logiciel me permettant de blogger depuis le train, cela devrait reprendre. (BlogDesk)