分类 软件开发 下的文章

一直以来我都是看到新系统就不能忍。。想在第一时间更新，今天 macOS 正式版推送了，就立马更新了一波。
说一说遇到的问题吧。

golang 遇到的问题

更新之后，执行 go build 会提示错误

fatal error: MSpanList_Insert

我还以为我昨天把代码改坏了。。。一番查证之后，发现是由于我目前的 golang 1.6 不支持 macOS，更新 golang 到1.7.1之后问题解决。

brew 遇到的问题

还有更新 golang 过程中遇到的问题。
更新 golang 就少不了 brew 的帮忙，在我执行 brew upgrade go 的时候注意到命令行提示：

/usr/local is not writable. You should change the ownership 
and permissions of /usr/local back to your user account: 
sudo chown -R $(whoami) /usr/local

(百度是真的不靠谱...) google 查到是因为 mac 系统升级的问题。只需要按照提示执行 sudo chown -R $(whoami) /usr/local 就 ok 了。

更新: homebrew 更新了，不再需要 修改 /usr/local 的权限了

这是目前我发现的升级 macOS Sierra 遇到的问题，之后遇到会继续更新。

自动加载简单考虑的话，需要一个数组存放自动加载目录。
并使用系统函数spl_autoload_register注册自定义的自动加载函数。
自动加载要符合psr规范

<?php

/**
* 自动加载类 
*/
class Loader
{
    // 自动加载搜索目录
    private static $loadPaths = [];

    // 添加自动加载路径
    public static function addAutoLoadPath($path)
    {
        self::$loadPaths[] = $path;
    }

    // 注册自动加载函数
    public static function register()
    {
        spl_autoload_register('self::autoload');
    }

    // 自动加载函数
    public static function autoload($className)
    {
        $className = str_replace(['\\', '_'], DIRECTORY_SEPARATOR, $className);
        foreach (self::$loadPaths as $loadPath) {
            $loadPath = rtrim($loadPath, DIRECTORY_SEPARATOR);
            $path = $loadPath . DIRECTORY_SEPARATOR . $className . '.php';
            if (self::import($path)) {
                break;
            }
        }
    }

    // 包含一个已存在的文件
    public static function import($path)
    {
        return file_exists($path) ? include_once($path) : false;
    }

}

有这个类之后，配合前文中的入口文件，就可以继续了。
接下来我们需要一个路由。

不知道我的步骤对不对 反正就记在这了。

先简单介绍下我的目录规划，以后会有所变动，现在一切从简。

/
---app
    ---Controller
        Home.php
    ---Config
        ---local
            db.php
            ...
    ---Model
    ...
---system
    Loader.php
    Uri.php
    Route.php
    Config.php
---runtime
    ...
index.php

第一步：入口文件；
一件很重要的事情，原因看注释。

<?php
// 修正cli模式下运行目录不同部分系统函数取值不同的问题 比如: getcwd
defined('STDIN') AND chdir(__DIR__);

定义一些必要的常量

<?php
define('APP_FOLDER', 'app');
define('SYSTEM_FOLDER', 'system');

define('ROOT_PATH', __DIR__ . DIRECTORY_SEPARATOR);
define('APP_PATH', ROOT_PATH . APP_FOLDER . DIRECTORY_SEPARATOR);
define('SYSTEM_PATH', ROOT_PATH . SYSTEM_FOLDER . DIRECTORY_SEPARATOR);

然后要手动导入自动加载类，并且添加自动加载路径，注册自动加载函数。
这样之后的类就可以自动加载了。

include SYSTEM_PATH . 'Loader.php';

Loader::addAutoLoadPath(SYSTEM_PATH);
Loader::addAutoLoadPath(APP_PATH);
Loader::register();

下一篇是Loader类的具体实现。

前期build数据使用php脚本，25000条数据（以下时间均为插入25000条测得）大概要4分钟
为了加快build速度，决定采用并发支持比较好的golang来做
第一个demo使用了官方给出的操作示例，单条循环插入

for _, item := range *items {
        _, err = client.Index().
        Index("twitter").
        Type("tweet").
        BodyJson(item).
        Do()
}

改写之后，只开一个线程的话时间缩短到1分30秒
开四个或四个以上线程，时间大约30-40秒
这样做还是不够理想，毕竟我们是google级别的工程师^_^（龙哥说的~~）
然后寻找改进方法。
龙哥提到有一个Bulk方法可以批量插入数据。
一番研究之后，代码片段如下：

bulkService := client.Bulk().Index("test").Type("test")
for _, item := range *items {
    fmt.Println("[thread", i, "] ", item.UniqueId)
    r := elastic.NewBulkIndexRequest().Index("test").Type("test").Doc(item)
    bulkService.Add(r)
    // 大于阀值先存一波
    if bulkService.NumberOfActions() > MaxBulkActions {
        bulkService.Do()
    }
}
// 剩余的存一波
if bulkService.NumberOfActions() > 0 {
    bulkService.Do()
}

修改过后经测试，四线程是最优的。插入25000条数据大约只需要4秒钟。

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5