Oracle Trace File Analyzer (TFA)

Eine weitere Neuerung gegenüber den bisherigen Methoden ist, dass TFA auch automatisch die relevanten Daten packetieren kann. Dies ist besonders wichtig, da immer mehr Oracle Logdateien rollierend sind und damit nach einiger Zeit überschrieben werden. Hat man also nicht darauf geachtet, gleich alle relevanten Informationen zu sichern, besteht die Gefahr das wichtigste Log nicht mehr zu besitzen. Daher kann TFA auch automatisch beim Auftreten eines sogenannten Incidents (wie diese auch im Umfeld vom Automatic Diagnostic Repository kurz ADRCI bekannt sind) angestartet werden und die Informationen sichern, damit auch später darauf zugegriffen werden kann.

Daneben bietet TFA noch einige weitere Funktionalitäten, wie Datenanonymisierung (zum Beispiel von Hostnamen) und eine Userverwaltung, damit etwa auch nicht root User auf die relevanten Systemlogdateien Zugriff haben.

Die Verwendung von TFA spart aber nicht nur Ihnen Zeit, sondern erweitert auch die Funktionalitäten für den Oracle Support: Denn Oracle hat bei Clustern so die Möglichkeit, die Informationen aller Clusterknoten parallel zu sichten und diese Logdateien selbst bei unterschiedlichen Zeitstempeln der Knoten richtig zu korrelieren. Einen kleinen Teil der Analysemöglichkeiten sehen Sie mit der "analyze" Funktion, die in der letzten Version des TFAs hinzugefügt wurde.

TFA Installation

TFA Administration

Der Oracle Trace File Analyzer lässt sich über tfactl (TFA Control) steuern. Gibt man dabei tfactl ohne Befehl ein, erhält man die Hilfe:

# /u01/app/tfa/bin/tfactl

Usage : /u01/app/tfa/bin/tfactl  [options]
 =
          start        Starts TFA
          stop         Stops TFA
          enable       Enable TFA Auto restart
          disable      Disable TFA Auto restart
          print        Print requested details
          access       Add or Remove or List TFA Users and Groups
          purge        Delete collections from TFA repository
          directory    Add or Remove or Modify directory in TFA
          host         Add or Remove host in TFA
          diagcollect  Collect logs from across nodes in cluster
          analyze      List events summary and search strings in alert logs.
          set          Turn ON/OFF or Modify various TFA features
          uninstall    Uninstall TFA from this node

For help with a command: /u01/app/tfa/bin/tfactl  -help

# /u01/app/tfa/bin/tfactl print config
.------------------------------------------------------.
|                      sccloud005                      |
+--------------------------------------------+---------+
| Configuration Parameter                    | Value   |
+--------------------------------------------+---------+
| TFA version                                | 3.2.0.2 |
| Automatic diagnostic collection            | OFF     |
| Trimming of files during diagcollection    | ON      |
| Repository current size (MB) in sccloud005 | 0       |
| Repository maximum size (MB) in sccloud005 | 1627    |
| Inventory Trace level                      | 1       |
| Collection Trace level                     | 1       |
| Scan Trace level                           | 1       |
| Other Trace level                          | 1       |
| Max Size of TFA Log (MB)                   | 50      |
| Max Number of TFA Logs                     | 10      |
'--------------------------------------------+---------'

# /u01/app/tfa/bin/tfactl print directories

.---------------------------------------------------------------------------.
|                                 sccloud005                                |
+------------------------------------+--------------+------------+----------+
| Trace Directory                    | Component    | Permission | Added By |
+------------------------------------+--------------+------------+----------+
...
+------------------------------------+--------------+------------+----------+
| /opt/oracle/diag/rdbms/orcl/orcl/t | RDBMS : orcl | public     | root     |
| race                               |              |            |          |
| Collection policy : Exclusions     |              |            |          |
+------------------------------------+--------------+------------+----------+
...
+------------------------------------+--------------+------------+----------+
| /var/log                           | OS           | public     | root     |
| Collection policy : Exclusions     |              |            |          |
+------------------------------------+--------------+------------+----------+
...

# /u01/app/tfa/bin/tfactl access add -user oracle

Sucessfully added 'oracle' to TFA Access list.

---------------------------------.
|            TFA Users            |
+-----------+-----------+---------+
| User Name | User Type | Status  |
+-----------+-----------+---------+
| oracle    | USER      | Allowed |
'-----------+-----------+---------'

Daten sammeln

Die Hauptaufgabe von TFA besteht darin, die wichtigen Log- und Trace-Dateien zu sammeln, zu filtern und zu packen. Dies geschieht manuell über den Befehl 'tfactl diagcollect' oder automatisch bei Auftreten eines Incidents, sofern konfiguriert. Wird der Befehl 'diagcollect' ohne Parameter aufgerufen, sammelt TFA nur die Daten der letzten 4 Stunden.

# /u01/app/tfa/bin/tfactl diagcollect

Collecting data for the last 4 hours for all components...
Collecting data for all nodes

Repository Location in sccloud005 : /u01/app/tfa/repository
2014/06/25 20:56:18 : Running an inventory clusterwide ...
2014/06/25 20:56:18 : Collection Name : tfa_Wed_Jun_25_22_56_14_CEST_2014.zip
2014/06/25 20:56:18 : Waiting for inventory to complete ...
2014/06/25 20:56:23 : Run inventory completed locally ...
2014/06/25 20:56:23 : Getting list of files satisfying time range [16:56:18 GMT, 20:56:23 GMT]
2014/06/25 20:56:23 : Collecting storage metrics...
2014/06/25 20:56:23 : sccloud005: Zipping File: /opt/oracle/diag/rdbms/orcl/orcl/trace/orcl_mmon_7622.trc
2014/06/25 20:56:23 : sccloud005: Zipping File: /opt/oracle/diag/rdbms/orcl/orcl/trace/alert_orcl.log
2014/06/25 20:56:23 : sccloud005: Zipping File: /var/log/messages
2014/06/25 20:56:23 : sccloud005: Zipping File: /opt/oracle/diag/tnslsnr/sccloud005/listener/trace/listener.log
2014/06/25 20:56:23 : sccloud005: Zipping File: /opt/oracle/diag/rdbms/orcl/orcl/trace/orcl_dbrm_7606.trc
2014/06/25 20:56:23 : Collecting ADR incident files...
2014/06/25 20:56:23 : Waiting for collection of extra files
2014/06/25 20:56:27 : Completed collection of extra files...
2014/06/25 20:56:28 : Completed Zipping of all files
2014/06/25 20:56:28 : Total Number of Files checked : 34
2014/06/25 20:56:28 : Total Size of all Files Checked : 512kB
2014/06/25 20:56:28 : Number of files containing required range : 5
2014/06/25 20:56:28 : Total Size of Files containing required range : 295kB
2014/06/25 20:56:28 : Number of files trimmed : 0
2014/06/25 20:56:28 : Total Size of data prior to zip : 352kB
2014/06/25 20:56:28 : Saved 0kB by trimming files
2014/06/25 20:56:28 : Zip file size : 41kB
2014/06/25 20:56:28 : Total time taken : 10s
2014/06/25 20:56:28 : Completed collection of zip files on local node.

Logs are being collected to:
/u01/app/tfa/repository/collection_Wed_Jun_25_22_56_14_CEST_2014_node_all/
sccloud005.tfa_Wed_Jun_25_22_56_14_CEST_2014.zip

Collection may still be processing  : use 'tfactl print actions' to confirm completion.

# ./tfactl diagcollect -h

Options:
  -all       Collect all logs (If no time is given for collection then files
             for the last 4 hours will be collected)
  -crs       Collect CRS logs
  -dbwlm     Collect DBWLM logs
  -acfs      Collect ACFS logs
  -asm       Collect ASM logs
  -database  Collect database logs from databases specified
  -os        Collect OS files such as /var/log/messages
  -install   Collect Oracle Installation related files
  -cfgtools  Collect CFGTOOLS logs
  -chmos     Collect CHMOS files (Note that this data can be large for
             longer durations)
  -nochmos   Do not collect CHMOS data when it would normally have been
             collected
  -sundiag   Collect sundiag logs
  -node      Specify comma separated list of host names for collection
  -nocopy    Does not copy back the zip files to initiating node from all nodes
  -notrim   Does not trim the files collected
  -nomonitor This option is used to submit the diagcollection as a background
             process
  -collectalldirs Collect all files from a directory marked "Collect All"
                  flag to true
  -collectdir Specify comma separated list of directories and collection will
              include all files from these irrespective of type and time constraints
              in addition to components specified

  -since     Files from past 'n' [d]ays or 'n' [h]ours
  -from "MMM/dd/yyyy hh:mm:ss"    From 
  -to   "MMM/dd/yyyy hh:mm:ss"    To 
  -for  "MMM/dd/yyyy"             For .
  -tag  The files will be collected into tagname directory inside
                 repository

  -z  The files will be collected into tagname directory with the
               specified zipname

]# /u01/app/tfa/bin/tfactl print actions
.-------------------------------------------------------------------------------------------------------------.
| HOST       | START TIME      | END TIME        | ACTION         | STATUS              | COMMENTS            |
+------------+-----------------+-----------------+----------------+---------------------+---------------------+
| sccloud005 | Jun 25 20:56:18 | Jun 25 20:56:18 | Run inventory  | COMPLETE            | -c:RDBMS            |
|            |                 |                 |                |                     | all:ASM:CRS:DBWLM:A |
|            |                 |                 |                |                     | CFS:OS:INSTALL:CFGT |
|            |                 |                 |                |                     | OOLS:TNS:CHMOS      |
+------------+-----------------+-----------------+----------------+---------------------+---------------------+
| sccloud005 | Jun 25 20:56:18 | Jun 25 20:56:28 | Collect traces | COMPLETE            | Collection details: |
|            |                 |                 | & zip          |                     |                     |
|            |                 |                 |                | Zip file:           |                     |
|            |                 |                 |                | tfa_Wed_Jun_25_22_5 |                     |
|            |                 |                 |                | 6_14_CEST_2014.zip  |                     |
|            |                 |                 |                | Tag:                |                     |
|            |                 |                 |                | collection_Wed_Jun_ |                     |
|            |                 |                 |                | 25_22_56_14_CEST_20 |                     |
|            |                 |                 |                | 14_node_all         |                     |
'------------+-----------------+-----------------+----------------+---------------------+---------------------'

TFA weitere Funktionalitäten

Ein paar weiterführende Funktionalitäten von TFA sollten noch erwähnt werden:

• Housekeeping
Eine sehr wichtige Funktion ist das Housekeeping der erzeugten Archive. Gerade wenn TFA automatisch Archive auf Basis von Incidents erzeugt, sollte der Füllgrad des Repository Verzeichnisses im Auge behalten werden und unter gegebenen Umständen die alten Archive gelöscht werden. Dies kann mit Hilfe des Befehls 'purge' unter Angabe eines Zeitraumes geschehen. Hierdurch werden die älteren Archive gelöscht.

# ./tfactl purge -h                                                                                                                                                     
Usage: /u01/app/oracle/tfa/bin/tfactl purge -older x[h|d]

   Remove file(s) from repository that are older than the time specified.




• Datenanonymisierung
Eine weitere interessannte Konfiguration ist die Möglichkeit, Daten mit TFA zu maskieren, so dass Hostnamen oder Instanznamen verändert werden. Hierzu wird einfach im Verzeichnis in <hostname>/tfa_home/resource (/u01/app/tfa/sccloud005/tfa_home/resources) eine Datei mask_strings.xml erzeugt.

<mask_strings>
  <mask_string>
        <original>sccloud005</original>
        <replacement>Node1</replacement>
  </mask_string>
  <mask_string>
        <original>10.165.244.154</original>
        <replacement>XX.XX.XX.154</replacement>
  </mask_string>
</mask_strings>

Damit das Masking greift, muss TFA mit dem Befehl 'tfactl stop' und 'tfactl start' neu gestartet werden! Dies sorgt nun dafür, dass sowohl der erzeugte Archivname als auch in den Logfiles die entsprechenden Zeichenfolgen durch die Alternativen ersetzt werden.


• Einfache Analysefunktionen
Leider ist die Analysefunktion in der momentan verfügbaren Version 3.2.0 noch fehlerhaft und erst mit dem Release 12.1.0.2 verfügbar, welches dann auch mit dem 12.1.0.2 Patch ausgeliefert wird. Funktioniert diese, kann TFA alle Logfiles nach Fehlern durchsuchen. Wer wollte nicht schon immer eine Übersicht über alle ORA- Fehlermeldungen in allen Logdateien aller Datenbankknoten in den letzten 2 Tagen? Aber auch eine Suche nach generischen Zeichenfolgen, generellen 'Errors' bzw. 'Warnings' sind damit möglich.

# /u01/app/tfa/bin/tfactl  analyze -comp db -type error -since 1d
INFO: analyzing db (DB Alert Logs) logs for the last 1440 minutes...  Please wait...
INFO: analyzing host: sccloud005

                      Report title: DB Alert Logs
                 Report date range: last ~1 day(s)
        Report (default) time zone: CET - Central European Time
               Analysis started at: 26-Jun-2014 10:47:54 AM CEST
             Elapsed analysis time: 0 second(s).
                Configuration file: /u01/app/tfa/sccloud005/tfa_home/ext/tnt/conf/tnt.prop
               Configuration group: db
               Total message count:            111, from 25-Jun-2014 02:31:47 PM CEST to 26-Jun-2014 04:44:25 AM
  Messages matching last ~1 day(s):            111, from 25-Jun-2014 02:31:47 PM CEST to 26-Jun-2014 04:44:25 AM
        last ~1 day(s) error count:              1, from 26-Jun-2014 12:18:50 AM CEST to 26-Jun-2014 12:18:50 AM
last ~1 day(s) ignored error count:              0
 last ~1 day(s) unique error count:              1

Message types for last ~1 day(s)
   Occurrences percent  server name          type
   ----------- -------  -------------------- -----
           110   99.1%  sccloud005           generic
             1    0.9%  sccloud005           ERROR
   ----------- -------
           111  100.0%

Unique error messages for last ~1 day(s)
   Occurrences percent  server name          error
   ----------- -------  -------------------- -----
             1  100.0%  sccloud005           GEN0 (ospid: 7602): terminating the instance due to error 472
                                             Dumping diagnostic data, summary=[abnormal instance termination].
                                             Instance terminated by GEN0, pid = 7602

   ----------- -------
             1  100.0%

Die Details über den kompletten Funktionsumfang sind im TFA User Guide enthalten. Neu mit 12.1.0.2 ist auch die Integration von oratop in den TFA. Hierzu mehr im nächsten Tipp.

Fazit

Die Einarbeitung in TFA lohnt sich nicht nur für Clusterumgebungen, sondern auch bei Single Instanz Datenbanken. Alleine die Gewissheit, alle nötigen und vorallem nur relevanten Logdateien für eine Fehleranalyzs vorrätig zu haben, ohne Unmengen an Daten zu sichern, kann viel Wert sein. Daneben bieten Funktionen wie Data Redaction eine einfache Gelegenheit, die Log- und Trace-Informationen zu anonymisieren und trotzdem die Diagnosearbeit nicht unnötig zu erschweren. Auch die Suchfunktionen über alle Logfiles hinweg bieten interessante Möglichkeiten, seine eigenen Überwachungsmechanismen und Skripte zu verbessern.

Trotz seines Funktionsumfanges ist TFA kostenfrei und benötigt nur einen aktiven Datenbank Supportvertrag, damit die aktuellste Version heruntergeladen werden kann. Oracle wird definitiv vorallem mit der Grid Infrastruktur verstärkt auf TFA setzen, der Vorteil auch für Single Instanzen ist aber nicht von der Hand zu weisen.

Nützliche Links und Referenzen