Пример того мозгоёбства, которое мне когда-то понадобилось дабы собрать спам-базу.
Выборка почтовых адресов и еще чего-то из файла с html тегами.
grep *@*.* test_rez.txt | sed s/'<td><b>[0-9]....'// | sed s/'....<a title='// | sed s/\^\%\$\!// | sed s/'\*\[\}\/"'// | sed s/'href="\/red\/url.php?url=[0-9]*'// | sed s/'"><b>^%$!'// | sed s/'\<br \/><'// |sed s/'<\/b>'// | sed s/'\*\[\}\/'// | sed s/'<\/a>'// |sed s/'<\/td>'//
sed '/^$/d' rez2.txt > 22
cat 22| sed '/^$/d'| sed '$!N; /^\(.*\)\n\1$/!P; D' > rezzzzzz2.txt