tracecode-toolkit-strace 0.21.0

1. 跟踪构建

请参阅README-build-tracing.rst以跟踪构建

2. 系统要求和安装

确保已安装Python：

python -v

如果没有安装，请根据需要安装它，确保它位于您的路径中。有关详细信息，请参阅您当地的Linux发行商。

确保您已安装Graphviz并位于您的路径中：

dot -v

如果没有安装，请根据需要安装它，确保它位于您的路径中。有关详细信息，请参阅https://graphviz.cpp.org.cn/。

如果没有安装，您将看到错误消息，结果可能无法使用。

3. 安装TraceCode

从https://github.com/nexb/tracecode-toolkit-strace获取它并解压缩。本文件中，将此解压缩的路径称为<tracecode_dir>。

然后执行此命令以设置TraceCode

./configure --dev

最后运行内置的自检以验证您的安装

py.test -vvs tests

4. 安装strace

One debian

sudo apt-get strace

5. 分析您的构建

分析跟踪的构建是一个多阶段的过程，涉及

• 解析和检查初始跟踪数据，

  • 可选地过滤解析的跟踪数据，

  • 可选地收集构建过程中读取和写入的文件清单，

• 创建构建的源（输入）和目标（输出）文件列表，

• 分析构建图以确定源到目标关系，例如源代码文件被编译成二进制文件，

  • 可选地创建图形表示以可视化构建图的一部分。

每个步骤都是通过在命令行中调用tracecode并使用不同的选项和参数来执行的。

使用以下命令运行跟踪分析

tracecode <options> <command> <arguments>

使用命令帮助

tracecode -h

0. 跟踪命令

使用strace这种方式

$(which strace) -ff -y -ttt -qq -a1 \
-o {NEW EMPTY tracing_dir}/{trace prefix} \
{build command}

1. 解析收集到的原始跟踪数据

创建一个新的空目录来存储解析的跟踪数据。然后使用“解析”命令进行解析

tracecode parse <RAW TRACES DIR INPUT> <PARSED TRACES DIR OUTPUT>

这将解析跟踪数据并确保它们可以被处理且是完整的

2. 收集跟踪过程中处理的文件清单

如果跟踪数据是一致的，下一步是收集读取和写入的文件清单。使用“list”命令（应称为清单）。它从一个解析的跟踪数据创建两个文件：一个只读取的文件列表和一个写入的文件列表

tracecode list <PARSED TRACES DIR INPUT> <READS OUTPUT FILE> <WRITES OUTPUT FILE>

“list”命令提取跟踪中使用的所有路径。

3. 可选但推荐：过滤解析的跟踪数据

下一步是审查这些读取和写入，并决定哪些可以被过滤掉，因为它们可能不会为构建图和数据分析提供有趣的数据。

这通常包括

• /etc/*

• /proc/*

• 如果有，构建日志文件

• 在/usr/*和类似路径中的某些标准事物

为此，您将构建一个要忽略的读取列表和写入列表（通常是模式或纯列表），将这些列表放入两个文件中，并使用filter命令过滤掉这些读取和写入。

注意不要过滤太多：您想要保留在/tmp中的临时文件，可能不关心某些makedepend (.po等)文件。

首次过滤时请过滤到一个新目录，这样您就不会替换原始的完整解析跟踪数据，这样您就可以轻松地优化过滤。

创建一个包含您要过滤或修剪的每个读取或写入的文件的文件，每行一个读取或写入。可以是找到的读取或写入列表中的完整路径，也可以是如/etc/*中的模式，在这种情况下，匹配/etc/*的所有内容都会被过滤掉，就像您在命令行上使用glob模式一样。每行一个路径或模式。注意，它也可以是一个单列csv。

4. 可选：猜测源和目标

您可以使用“guess”命令来猜测源和目标，但这只是一个猜测。在小型、定义明确的简单代码库上猜测效果不错，但在大型代码库上可能不太适用。

猜测的方法是这样的

• 只读文件很可能是源/开发文件

• 只写入读取的文件很可能是目标/部署文件

5. 组装源和目标的清单

一旦您已过滤了解析后的跟踪，您需要创建一个包含您的源（原始开发文件）的文件列表，以及另一个包含您的目标（部署文件）的文件列表。您需要分别在每个单独的文件中构建这些清单。您可以尝试使用猜测命令，但这只是基于图的盲目猜测。路径的结构应该与“list”输出的结构完全相同。源和目标文件应该在读取和写入操作中，因此您可以使用这些列表作为输入。或者，您可以使用在跟踪之前（您的源）和之后保留的find命令的输出，并将其与diff进行比较以找到候选文件。

使用这些列表再次构建新列表，以定义开发/源文件列表和部署/目标文件列表。

6. 分析源到目标的转换

然后您可以运行分析命令以获取源到目标部署分析。

7. 可选：图形化选择源到目标转换的子集

您可以选择性地创建一个图形，追踪多个源到单个目标或多个目标到单个源的转换（选择性是因为这需要很长时间运行，并且大图形难以可视化）

常见问题解答

Q：在解析原始跟踪时我遇到了这个错误

ERROR:tracecode:INCOMPLETE TRACE, 149249 orphaned trace(s) detected. First pid is: 3145728.

A：这是一个严重错误，意味着您的跟踪不一致，因为某些进程跟踪无法与初始命令启动图相关联，因此是无关的。这可能会发生如果您错误地跟踪了几个命令，并将strace输出保存在同一目录下。您需要从干净的空目录开始重新收集跟踪。

Q：在解析原始跟踪时我收到了几个警告

WARNING:tracecode:parse_line: Unable to decode descriptor for pid: 3097012, line: '1399882436.807573 dup2(5</extra/linux-2.6.32/scripts/mksysmap>, 255) = 255\n'

A：这只是一个警告，您大多数时候可以忽略它。这里文件描述符255不存在（也不能存在），因此出现警告。

致谢和相关工具

这个基于strace的构建跟踪器的实现本质上是对这些论文的实现

Sander van der Burg发表了一篇关键的文章和论文

• http://sandervanderburg.blogspot.be/2012/04/dynamic-analysis-of-build-processes-to.html “通过跟踪构建过程发现软件许可约束：通过跟踪构建过程识别二进制的源”

• http://www.st.ewi.tudelft.nl/~sander/pdf/publications/TUD-SERG-2012-010.pdf 由Sander van der Burg、Julius Davies、Eelco Dolstra、Daniel M. German、Armijn Hemel编写。技术报告TUD-SERG-2012-010，软件工程研究组，荷兰代尔夫特，2012年4月。

后来，这篇类似的论文介绍了相同的方法

• “通过跟踪软件构建过程以揭示许可合规性不一致” http://web.archive.org/web/20160329060541/http://shanemcintosh.org/assets/ase2014_vanderburg.pdf 由Sander van der Burg、Eelco Dolstra、Shane McIntosh、Julius Davies、Daniel M. German和Armijn Hemel编写

Chromium测试团队构建了“swarming.client”，这是一个测试隔离工具，也是这个工具的一个很大的灵感来源

• https://www.chromium.org/developers/testing/isolated-testing/infrastructure

• https://chromium.googlesource.com/external/swarming.client/

memoize.py和fabricate使用strace跟踪文件依赖关系，采用与这个工具类似的方法

• https://github.com/kgaughan/memoize.py

• https://code.google.com/archive/p/fabricate/

• https://news.ycombinator.com/item?id=9356433 : 这篇文章提供了关于同一主题的一些良好的背景信息。

• http://buildaudit.sourceforge.net/ 是一款相关的构建跟踪工具，它直接处理 ptrace，而不是依赖于 strace 进行跟踪。