利用phantomjs模拟QQ自动登录

之前为了抓取兴趣部落里的数据,研究了下QQ自动登录。

当时搜索了一番,发现大部分方法都已经失效了,于是准备自己开搞。

第一个想到的就是参考网上已有方案的做法,梳理登陆js的实现,通过其他语言重写。
考虑到js可能会更新,放弃了此方案。

第二个想到的是能不能直接调用QQ自己的js方法,模拟进行提交呢。
搜索一番后发现神器 ———— "phantomjs".

PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

于是开搞,代码实现如下。

var page = require('webpage').create();
var fs = require("fs");
page.settings.userAgent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4';
page.open('http://ui.ptlogin2.qq.com/cgi-bin/login?pt_no_onekey=1&style=9&appid=1006102&s_url=http%3A%2F%2Fxiaoqu.qq.com%2Fmobile%2Fbarindex.html%3F_lv%3D29313%26_bid%3D128%26_wv%3D1027%26from%3Dshare_link%23bid%3D37469%26type%3D%26source%3Dindex%26scene%3Drecent%26from%3Ddongtai%26webview%3D1&low_login=0&hln_css=http%3A%2F%2Fpub.idqqimg.com%2Fqqun%2Fxiaoqu%2Fmobile%2Fimg%2Fnopack%2Flogin-logo.png', function(status){
    if (status == 'success') {
        page.render('index.png');
        setTimeout(function() {
            page.evaluate(function() {
                document.getElementById('u').value = 'QQ号码';
                document.getElementById('p').value = 'QQ密码';
                pt.check(false);
            });
            setTimeout(function() {
                file = fs.open("cookie.log", 'w');
                file.write(JSON.stringify(page.cookies));
                file.close();
                phantom.exit();
            }, 2000);
        }, 1000);
    }
});

cookie会写入到当前目录下的cookie.log文件,有了cookie接下来的事情就简单多了。

PHP进行tcp连接

业务里用到tcp跟后端服务进行通信。

  1. 原生PHP的写法。

    $host = '服务端IP';
    $port = 端口号;
    $timeout = 5;
    
    $socket = socket_create(AF_INET, SOCK_STREAM, SOL_TCP);
    if (socket_connect($socket, $host, $port) === false) { // 创建连接
    socket_close($socket);
    $message = 'create socket error';
    throw new Exception($message, socket_last_error());
    }   
    
    if (socket_write($socket, $buffer) === false) { // 发包
    socket_close($socket);
    $message = sprintf("write socket error:%s", socket_strerror(socket_last_error()));
    throw new Exception($message, socket_last_error());
    }   
    
    socket_set_option($socket, SOL_SOCKET, SO_RCVTIMEO, $timeout);
    
    $rspBuffer = socket_read($socket, 65536); // 接收回包
    
    socket_close($socket);
  2. 使用swoole的写法。

    $client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_SYNC);
    $ret = $client->connect('服务端IP', 端口号, 0.5, 0);  // 创建连接
    if (!$ret) {
    throw new Exception('connect error', $client->errCode);
    }   
    
    $client->send($buffer); // 发包
    
    $rspBuffer = $client->recv(); // 接收回包

一目了然,使用swoole的写法更加清楚明了。

PHP7下使用MongoDB API

  1. 安装支持PHP7的扩展。

    > 老版的MongoDB扩展是不支持PHP7的,需要下载重新编译支持PHP7的扩展。
    
    [手动编译PHP7的MongoDB扩展](http://www.liudon.org/1322.html)
    [PHP手册关于老版扩展的文档](http://php.net/manual/zh/book.mongo.php)
    [PHP手册关于新版扩展的文档](http://php.net/manual/zh/set.mongodb.php)
    
  2. 安装MongoDB的PHP类库。

    [mongo-php-library的github主页](https://github.com/mongodb/mongo-php-library)
    
    使用composer安装。
    composer require "mongodb/mongodb=^1.0.0@beta"
  3. 操作完前两步就可以在PHP7里使用MongoDB了.

    <?php
    require_once __DIR__ . "/vendor/autoload.php";
    
    $manager = new MongoDB\Driver\Manager("mongodb://localhost:27017");
    $collection = new MongoDB\Collection($manager, "db.test");
    
    
    // 读取一条数据
    $data = $collection->findOne(array('id' => 1));
    
    // 读取多条数据
    $options = arrray(
    'projection' => array('id' => 1, 'age' => 1, 'name' => 1), // 指定返回哪些字段
    'sort' => array('id' => -1), // 指定排序字段
    'limit' => 10, // 指定返回的条数
    'skip' => 0, // 指定起始位置
    );
    $dataList = $collection->find(array('age' => 50), $options);
    
    // 插入一条数据
    $data = array('id' => 2, 'age' => 20, 'name' => '张三');
    $collection->insertOne($data);
    
    // 修改一条数据
    $collection->updateOne(array('id' => 1), array('$set' => array('age' => 20)));
    
    // 删除一条数据
    $collection->deleteOne(array('id' => 1));
    
    // 删除多条数据
    $collection->deleteMany(array('id' => array('$in' => array(1, 2))));

手动编译PHP7的MongoDB扩展

  1. 下载支持php7的MongoDB扩展

    wget http://pecl.php.net/get/mongodb-1.1.1.tgz
    tar -zxvf mongodb-1.1.1.tgz
    cd mongodb-1.1.1.tgz
    /usr/local/php7/bin/phpize
    ./configure --with-php-config=/usr/local/php7/bin/php-config
    make && make install
如果出现```Can't install [sasl.h not found!]```的错误,执行命令```apt-get install libsasl2-dev```。
  1. 添加mongodb.so到php.ini里
  2. 查看当前扩展

        /usr/local/php7/bin/php -m
        [PHP Modules]
        bcmath
        Core
        ctype
        curl
        date
        dom
        filter
        ftp
        gd
        gettext
        hash
        iconv
        json
        libxml
        mbstring
        mcrypt
        mongodb
        mysqlnd
        openssl
        pcntl
        pcre
        PDO
        pdo_sqlite
        Phar
        posix
        Reflection
        session
        shmop
        SimpleXML
        soap
        sockets
        SPL
        sqlite3
        standard
        sysvsem
        tokenizer
        xml
        xmlreader
        xmlrpc
        xmlwriter
        Zend OPcache
        zip
        zlib
    
        [Zend Modules]
        Zend OPcache
可以看到已经有mongodb扩展了。

手动编译安装PHP7

之前搞过一次php7的beta版,正式版发布了,想着把php也升上去。
之前安装是用的apt-get方式,这次想折腾一下手动编译。

服务器环境 Ubuntu 14.04 x64
  1. 下载PHP文件

    wget https://github.com/php/php-src/archive/php-7.0.1.zip
    unzip -q php7-src-master.zip
  2. 配置编译参数

    ./buildconf
    
    ./configure \
    --prefix=/usr/local/php7 \                              [PHP7安装的根目录]
    --exec-prefix=/usr/local/php7 \
    --bindir=/usr/local/php7/bin \
    --sbindir=/usr/local/php7/sbin \
    --includedir=/usr/local/php7/include \
    --libdir=/usr/local/php7/lib/php \
    --mandir=/usr/local/php7/php/man \
    --with-config-file-path=/usr/local/php7/etc \           [PHP7的配置目录]
    --with-mysql-sock=/var/run/mysql/mysql.sock \           [PHP7的Unix socket通信文件]
    --with-mcrypt=/usr/include \
    --with-mhash \
    --with-openssl \           
    --with-mysqli=shared,mysqlnd \                          [PHP7依赖mysql库]
    --with-pdo-mysql=shared,mysqlnd \                       [PHP7依赖mysql库]
    --with-gd \
    --with-iconv \
    --with-zlib \
    --enable-zip \
    --enable-inline-optimization \
    --disable-debug \
    --disable-rpath \
    --enable-shared \
    --enable-xml \
    --enable-bcmath \
    --enable-shmop \
    --enable-sysvsem \
    --enable-mbregex \
    --enable-mbstring \
    --enable-ftp \
    --enable-gd-native-ttf \
    --enable-pcntl \
    --enable-sockets \
    --with-xmlrpc \
    --enable-soap \
    --without-pear \
    --with-gettext \
    --enable-session \                                      [允许php会话session]
    --with-curl \                                           [允许curl扩展]
    --with-jpeg-dir \
    --with-freetype-dir \
    --enable-opcache \                                      [使用opcache缓存]
    --enable-fpm \
    --with-fpm-user=www \                                 [php-fpm的用户]
    --with-fpm-group=www \                                [php-fpm的用户组]
    --without-gdbm \
    --disable-fileinfo
如果buildconf的时候输出下面的错误,加上```--force```参数解决。
    You should not run buildconf in a release package.
    use buildconf --force to override this check.
  1. 开始编译和安装

    make && make install
执行完可以去喝杯水,耐心等待就好了。

参考资料

How to compile php7 on ubuntu 14.04
2015博客升级记(五):CentOS 7.1编译安装PHP7