0

国庆快乐

这个是参考了一张Saber的插画。之后绘画的时候是一点都没有再看原图。和官方的Saber比,脸是不太一样。

0

端午啦

端午节,画了两天,才画了一张带颜色的图,感觉颜色啥的,好难画,阴影的过渡有待进步~

1

2B

昨天晚上,终于把Nier的一周目打通了。最后2B小姐姐的眼罩居然掉了。真心好看。所以今天呢,就在没有任何参考的情况下,自己练习了一下头像,感觉效果似乎还可以。难道说,我的插画生涯终于要开始了吗,嘻嘻。

0

TICTOC: Header Only C++ Timer

感觉最近的更新频率略高啊~哈哈~

这次的带来的是一个十分简单便利的C++计时库。

项目地址:https://github.com/miaoerduo/tictoc 欢迎Start和提MR

项目中有详细的说明和Demo,可以很直观的体验到这个库的易用性。

先看一下效果,如果我们正确使用的话,大致会出现类似下面的信息:

可以显示,我们的每个区域的代码(包括行号)的消耗时间。精确到微秒。

起因是这样的,之前有很长时间的工作内容是优化一些特定的函数,保证新旧的SDK的速度的对齐。然后C++虽然有一些工具可以分析运行状态,但通常还是简单的打印时间来的方便 /* Print大法好 */ 。之后,和工程的小伙伴一起Debug的时候,就发现他写了一个头文件,然后用绝对路径的方式去include,而头文件里面就是各种常用的小工具,而最常用到的就是时间的打印。 read more

2

Easy Pipeline,一种轻量级的Python Pipeline库

嗯,很久没有写博客了,最近的工作都是偏开发性质的,以至于没有时间对自己感兴趣的领域进行探索,感觉个人的成长停滞了一些。如何在枯燥的工作中,提取出有助于自己成长的养分,对于每个人来说都是不小的考验。

这次,带来的是之前编写的一下挺简单的库,用来简化流水线作业的小框架。

Github: https://github.com/miaoerduo/easy-pipeline 欢迎Star和提交MR。

起因是这样的,组内有一个需求,需要挖掘视频中的检测难样本,这样可以极大地减少标注的量,从而降低成本。难样本挖掘的策略,简单来说就是如果视频的前几帧和后几帧都能检测到目标,而就只有当前帧没有检测到,就说明当前帧很可能存在漏检(没有检测本到该检测到的目标);反之,如果前后都没有检测到目标,而当前帧检测到了,那就很可能是误检(检测到不是目标的东西)。 read more

0

vim配置

下面是我的VIM的主要配置。应该就是网上找到的一个,加了点功能。权当在这里备份一下了。

将下面的内容写入自己的~/.vimrc文件即可。

针对自动跳转到上次关闭位置的这个功能,我在Ubuntu 14这个系统上失败了一次。是由于viminfo文件的权限不对。使用ls -l ~/.viminfo。如果发现其创建用户不是当前用户的话,那么可以将其删除。下次打开vim的时候会自动新建。这样就搞定了!

另外,附上Ubuntu下,VIM 8升级的命令:

0

嗯,此刻一个非技术板块诞生了

先贴上一张昨晚的作品,这样这篇博客会自动有个插图。:P

左边的男生是想象着随便画的,右边的女生其实是参考的一个插画画的,画的和原图一点都不像就是了。

之前一直在博客里面记录一下自己学习的技术技能,最近写博客的频率已经降到了一个很可怕的数值。一方面是工作的内容过于枯燥,没有什么新技术的使用,不知道要写些什么有意思的内容,另一方面就是工作确实太忙了,写一篇博客需要至少半天的时间,平时肯定是没有的,周末又要陪女票大人出去逛街。这真是现实和生活之间的巨大的矛盾啊,果然有句话是对的:成人的世界里,没有容易二字。实在伐开心。 read more

0

_rebuild_tensor_v2?pytorch版本间模型兼容性脱坑实践

最近使用Pytorch 0.4.0 进行模型训练,之后使用一个转模型的工具时,报了一个错,就是标题里面的_rebuild_tensor_v2相关的错误。最后发现是本地使用的pytorch的版本是0.3.0,和0.4.0模型上不兼容。各论坛上的解决方案都是说pytorch版本不向后兼容,建议升级pytorch。无奈我这里不方便升级pytorch版本。那么问题就来了,有没有什么不需要修改pytorch源码,或是不升级pytorch,又能让老版本的pytorch读取新版本模型的方案呢?

当然是有的,而且工作量很小。

一、Pytorch模型存储和读取的流程

首先,我们使用pytorch存储模型会使用 torch.save 这个函数,直接将模型的state_dict()保存下来。类似下面的代码:

读取参数的代码也十分简单:

而低版本的pytorch就是在load_state_dict这里报了错。

二、State Dict

我们首先要知道,model.state_dict()的返回值究竟是什么。

这里我直接给出结论:

model.state_dict()的返回值是一个collections.OrderedDict对象,它的键是一个字符串,它的值是Tensor的对象。所以造成兼容性问题的其实是Tensor对象的不兼容。

那么是不是可以将Tensor转化成一个新的非Pytorch内置的数据类型呢?这样就可以避免兼容性问题。

numpy.ndarray就是我们需要的中间态。

三、模型转换

首先,我们需要将state_dict的参数转换成numpy.ndarray保存下来。这里使用高版本的pytorch。

之后,用低版本的pytorch载入这个numpy的state_dict。

四、总结

对于这个问题,还有很多的解决方案,这里是比较简单的一种。

PS. 这是目前为止,写的最快的一篇博客了。。。

 

转载请注明出处,谢谢!

0

C++ Boost JSON解析库的使用

最近在写一个C++项目的时候,有大量的配置信息,于是将这些配置信息整合进一个文本文件中,选择了JSON这种数据格式。C++在处理JSON数据的库有很多,比如Jsoncpp,Boost等,这个项目中由于本身就已经用到了Boost这个库,因此,也就选用Boost来进行JSON的解析了。

Boost的JSON解析,使用的是property_tree这个数据类型,它可以方便的解析XML和JSON。

一、Boost JSON解析库的几个注意事项

在具体介绍之前,必须要强调一下,这个库默认不是线程安全的!不是线程安全的!不是线程安全的!不做任何处理的情况下,如果直接在多线程的程序中使用Boost解析JSON,可能会在奇怪的时候报段错误。

这是由于Boost的JSON解析是基于SPIRIT语法解析的,而SPIRIT本身就不是线程安全的,我们如果需要它支持线程安全,就必须加入一个宏#define BOOST_SPIRIT_THREADSAFE,把它放在引用boost的头文件的最开始就行。理论上,在编译的时候加入宏也是可以的。

另一个需要注意的是,一般网上找的教程中,property_tree都是不支持unicode编码的,如果想要支持unicode,需要一些额外的操作。这个从网上可以查到,我尝试了一下,最终还是放弃了。取而代之的一个方案就是把中文的各种路径啥的,用软链接替换成英文和数字。之后世界就美好了。

二、boost::property_tree::ptree 类型

对于JSON或者XML,boost将他们解析之后都会生成一个ptree的数据结构。类似于下面的结构。

可以看出,这是一个很标准的树的结构。对于树中的每一个节点,都有自己的数值和子节点,每个子节点都有一个唯一的名字。data_type和key_type通常是std::string或std::wstring。如果希望处理unicode的字符串的话,就需要用到std::wstring了。下面的例子中,使用的全部都是std::string。

三、JSON文件的解析

首先,我们用一个小栗子,来介绍一下Boost是如何读取JSON数据的。

这里首先我们需要定义一个boost::property_tree::ptree类型的对象,之后通过boost::property_tree::read_json函数进行数据的读取,之后就可以使用各种ptree的接口进行数据的操作了。
在boost/property_tree/json_parser.hpp文件中我们可以看到读写JSON的一些接口。

它支持读写JSON,对于读取操作,它支持直接根据文件名称来加载JSON或者通过输入流来加载。输出也是相同。所以我们上面的Demo中,需要将字符串s转换成字符串流对象ss,之后才能进行加载。写文件支持写入到文件或者输出流中,最后一个bool值表示是否格式化输出json。

四、JSON对象的读取

我们知道JSON对象主要有两种格式:键值对和数组。JSON灵活就在于键值对的值还可以键值对或者数组,数组的每个元素也是。

那么我们分别介绍键值对和数组的数据获取方式。

1)键值对的解析

ptree支持一个操作叫做get_child,可以根据键的名字,来获取子节点。而且这个名字还可以是累加的。什么叫可以累加呢?我们看一下下面的代码:

输出的结果为:

get_child这个函数,可以根据节点的名字,获取到子节点的ptree对象。这个节点的名字可以使用.连接各个层级的名称。get_value<Type>方法,可以获取节点的值,并且转换成期望的数据类型。如果我们就是想获取节点的值。不期望有任何转换,可以使用data这个函数。

get_child要求输入的名称路径必须是存在的,否则会抛异常。如果我们不知道某个名称路径是否存在的话,可以使用get_child_optional这个函数,如果路径不存在,该函数会返回boost::null。get_child_optional返回的类似于指针的结构,如果需要获取值,可以用这样的写法:pt.get_child_optional("some_key")->get_value<int>()。

我们可以向现在这样通过各种树的操作,选择到我们的需要的节点,再通过get_value<Type>函数获取到数据值。但这样的操作有时候会有点繁琐。boost支持更简化的一些操作。下面是同样功能的一个例子:

get这个函数相当于先get_child得到要找的节点,之后再调用get_value<Type>这个函数。get_value<Type>这个函数可以获取节点的值,同时把它转换成Type格式。即ptree.get<int>("a.b")等价于ptree.get_child("a.b").get_value<int>()。

通过get函数,我们可以很方便的获取某个节点的数据,而且还能顺便完成类型的转换,真的不能更方便了!

2)数组的解析

为什么数组的解析要单独来说呢?因为,数组格式中,没有键,所以我们不能根据名字来获取节点了,所以读取的方式有了些许的不同。

Boost针对数组,给我们提供了遍历子节点的迭代器接口。可以十分方便的遍历某节点的所有的子节点(当然在键值对的解析中也可以使用)。

打印的结果:

可以看出,Boost中将JSON数组也是按照键值对的方式去存储,只是键的内容是一个空的字符串。迭代器的first是键的结果,数组中就是空字符串。second就是我们的值。

3) 其他的实用接口

bool empty(): 返回该节点是否含有子节点。比如当一个节点已经是叶子节点的时候,可以用这个函数来判断。
assoc_iterator find(const key_type &key): 给定一个名字路径,返回指向该节点的迭代器或者boost::property_tree::ptree::not_found。
size_type count(const key_type &key): 返回指定名称路径的节点的子节点的数目。

五、JSON对象的编辑

Boost支持很多的对JSON对象的写的操作,但是我在项目中没有用到,所以在这里暂时就没有动力整理下去了~~ 这里附上Boost ptree的文档,方便大家查阅:

https://www.boost.org/doc/libs/1_65_1/boost/property_tree/ptree.hpp

六、疑难杂症

1.怎么判断某个键是否存在?

使用get_child_optional,再判断返回是否为boost::null,这个对象直接相当于false。

2.怎么方便的遍历数组?

这个功能,我还专门查过。其实懂了之前的迭代器的使用,就能方便的遍历了。下面是我用的一个代码。

使用的话就这样:

不过这个解决方案有个问题,就是如果根节点就是数组的话,似乎就不能很好的work了。

3.怎么解析中文

/(ㄒoㄒ)/~~

转载请注明出处,谢谢!