学习复杂度概念带来的启发
创始人
2025-05-28 12:47:05

“为了更加接近我们对复杂性的直觉,数学家班尼特在20世纪80年代初提出了逻辑深度(logical depth)的概念。

一个事物的逻辑深度是对构造这个事物的困难程度的度量。

用班尼特的话说,“有逻辑深度的事物…从根本上必须是长时间计算或漫长动力过程的产物,否则就不可能产生。”或是像劳埃德说的,“用最合理的方法生成某个事物时需要处理的信息量等同于这个事物的复杂性,这是一个很吸引人的想法。”

为了更精确地定义逻辑深度,班尼特将对事物的构造换成了对编码事物的0/1序列的计算。例如,我们可以用两位二进制数来编码核苷酸符号:A=00,C=01,G=10,T=11。用这个编码,我们就能将A、C、G、T转换成0/1序列。然后编写一个图灵机,用编写好的图灵机在空白带子上产生出这个序列,所需要的时间步就是其逻辑深度。”

(第一推动丛书·综合系列) [美]梅拉妮·米歇尔_ 唐璐(译) - 复杂-湖南科学技术出版社 (2011)

比较两组DNA复杂性的方法之一就是比较逻辑深度,

A-B

迭代次数

1

1

0

0

12*6*10-0*0*0

24879.40201

T

A

0

1

1

0

12*6*10-0*0*0

24879.40201

C

G

1

0

1

0

12*6*10-0*0*0

24879.40201

G

G

比如做一个网络分类A和B,让网络输入只有4个节点,每个训练集只有3张图片,让A的3张图片分别是12,6,10。让B的3张图片都是0.按照数学家班尼特的编码方法,训练集A对应核酸序列TA-CG-GG,而这个网络在收敛误差为7e-4的时候平均收敛迭代次数为24879.

 训练集本身一定有熵,熵越大携带信息越多,这意味着网络找到与之对应的权重的难度将越小,迭代次数越小。因而假设迭代次数与熵成反比。

A-B

迭代次数

0

0

0

0

0*6*3-0*0*0

25799.70352

A

A

0

1

1

0

0*6*3-0*0*0

25799.70352

C

G

0

0

1

1

0*6*3-0*0*0

25799.70352

A

T

现在分类另一组核酸,AA-CG-AT其迭代次数大于TA-CG-GG。因此TA-CG-GG的熵更大,携带的信息越多,复杂度越大。或者更严格的描述是TA-CG-GG在B为0*0*0的外部环境中比AA-CG-AT的熵更大。当然B变了,这个排序可能不同。

如果这个假设是对的,表明一个形态本身携带的信息多少并不是一个绝对值,取决于外部环境。否则如何解释同一个形态相对不同的参照物迭代次数不同的现象?

相关内容

热门资讯

深南电A涨1.55%,成交额4... 12月19日,深南电A涨1.55%,成交额4206.78万元,换手率1.47%,总市值51.36亿元...
中集集团涨5.61%,成交额6... 12月19日,中集集团涨5.61%,成交额6.87亿元,换手率3.20%,总市值507.98亿元。异...
特发信息涨1.12%,成交额8... 12月19日,特发信息(维权)涨1.12%,成交额8.09亿元,换手率7.74%,总市值105.88...
白云机场涨0.62%,成交额1... 12月19日,白云机场涨0.62%,成交额1.65亿元,换手率0.72%,总市值231.47亿元。异...
黄河旋风涨1.58%,成交额2... 12月19日,黄河旋风涨1.58%,成交额2.77亿元,换手率3.77%,总市值83.65亿元。异动...