парсер должен будет делать следующее:
1
- берет домен (в файле 20 млн строк)
- берет путь (/ path /....main.php) (в файле от 1 до 10 строк)
- делает GET запрос домен+путь ( domain.com / path/ ....main.php)
и получает содержимое файла main.php
- из содержимого main.php парсит определенные данные.
- определяет IP адрес сайта
- определяет Alexa Rank
- складывает данные в таблицу
2
- берет домен domain . com из результата первого пункта
- берет путь /phpmyadmin/ (файл содержит много строк)
- делает GET запрос домен+путь domain . com / phpmyadmin/ (тут может быть phpmyadmin.domain.com или domain.com/phpmyadmin/)
- складывает данные в таблицу.
Наверное тут нужно 2 скрипта.
Более детально с исполнителем.
Жду предложения в ЛС по цене и времени.
1
- берет домен (в файле 20 млн строк)
- берет путь (/ path /....main.php) (в файле от 1 до 10 строк)
- делает GET запрос домен+путь ( domain.com / path/ ....main.php)
и получает содержимое файла main.php
- из содержимого main.php парсит определенные данные.
- определяет IP адрес сайта
- определяет Alexa Rank
- складывает данные в таблицу
2
- берет домен domain . com из результата первого пункта
- берет путь /phpmyadmin/ (файл содержит много строк)
- делает GET запрос домен+путь domain . com / phpmyadmin/ (тут может быть phpmyadmin.domain.com или domain.com/phpmyadmin/)
- складывает данные в таблицу.
Наверное тут нужно 2 скрипта.
Более детально с исполнителем.
Жду предложения в ЛС по цене и времени.
