Agfdhyk

I have logfiles from which i need to extract the key and value pairs for each logged line using the following format.

[2018-11-19T13:04:33.031+01:00]  Bedrijfsdocument="BD-023005 Document" Richting="Uitgaand" Status="verzonden"; Zaaknummer="2323343333"; MessageID="ef5c6e9e-849e-4d80-af86-92fc127e7178"; ConversationID="5571c03e-62a8-4fce-81ff-9fe31b7b276c"; RefToMessageId="34333139343034303934303135343731"; MMDBestand="2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_0_MMD.mmd"; Bericht="<?xml version="1.0" encoding="UTF-8" standalone="yes"?><ns2:DocumentBericht BDVersie="2.1" BDNaam="TA-022305" xmlns:ns2="com.my.test/berichten/document/2" xmlns="com.my.test/header/1"><Header><ID>58b5708f-4115-462c-93f3-5fb5134c9e25</ID><VerzendendePartijen><VerzendendePartij><Volgnummer>1</Volgnummer><RegistratieveRelatiePartij><Identificatie>00000004000000034000_OTA</Identificatie><SoortRegistratie>15</SoortRegistratie></RegistratieveRelatiePartij></VerzendendePartij></VerzendendePartijen><OntvangendePartijen><OntvangendePartij><Volgnummer>1</Volgnummer><RegistratieveRelatiePartij><Identificatie>00000004000000076000_OTA</Identificatie><SoortRegistratie>15</SoortRegistratie></RegistratieveRelatiePartij></OntvangendePartij></OntvangendePartijen><Datum>2018-11-19</Datum><Tijd>13:04:32.952+01:00</Tijd><SchemaVersieID>1.1</SchemaVersieID></Header><ns2:Zaak><ns2:Identificatie>2100008418</ns2:Identificatie></ns2:Zaak><ns2:DocumentAggregatieniveaus><ns2:DocumentAggregatieniveau><ns2:Classificatie><ns2:DocumentSoort>098</ns2:DocumentSoort></ns2:Classificatie><ns2:Identificatiekenmerk>DOC006256</ns2:Identificatiekenmerk><ns2:Foldernaam>02 - Correspondentie</ns2:Foldernaam><ns2:Revisie>1</ns2:Revisie><ns2:IndicatieGewijzigdeMetadata>0</ns2:IndicatieGewijzigdeMetadata><ns2:Naam>02 - Toezenden stukken rm</ns2:Naam><ns2:Bijlage><ns2:MimeContent><ns2:MimeContentType>application/pdf</ns2:MimeContentType><ns2:MimeContentId>2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_2.pdf@my.com</ns2:MimeContentId></ns2:MimeContent></ns2:Bijlage></ns2:DocumentAggregatieniveau></ns2:DocumentAggregatieniveaus></ns2:DocumentBericht>"; Omvang="3512"

This is currently parsed using the following regular expression to extract the name and value pairs.

(?:^[.*])?(?:[s]+)(?<key>[^=]+)(?:={1}"{1})(?<value>[^"]+)(?:["]{1})

It works fine, except for the key 'Bericht' which contains xml and also non-escaped quote's. The content of this key is a fact for me, so should handle this in my code to parse the logline. So i am looking for a way to define the end of a parameter value which is " or >" where >" should take precedence over ".

I use the following test code

public class test {



public static void main(String args) {



    Pattern keyValuePairsPattern = Pattern.compile("(?:^\[.*\])?(?:[\s]+)(?<key>[^=]+)(?:={1}"{1})(?<value>[^"]+)(?:["]{1})");

    String logentry = "[2018-11-19T13:04:33.031+01:00]  Bedrijfsdocument="BD-023005 Document" Richting="Uitgaand" Status="verzonden"; Zaaknummer="2323343333"; MessageID="ef5c6e9e-849e-4d80-af86-92fc127e7178"; ConversationID="5571c03e-62a8-4fce-81ff-9fe31b7b276c"; RefToMessageId="34333139343034303934303135343731"; MMDBestand="2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_0_MMD.mmd"; Bericht="<?xml version="1.0" encoding="UTF-8" standalone="yes"?><ns2:DocumentBericht BDVersie="2.1" BDNaam="TA-022305" xmlns:ns2="com.my.test/berichten/document/2" xmlns="com.my.test/header/1"><Header><ID>58b5708f-4115-462c-93f3-5fb5134c9e25</ID><VerzendendePartijen><VerzendendePartij><Volgnummer>1</Volgnummer><RegistratieveRelatiePartij><Identificatie>00000004000000034000_OTA</Identificatie><SoortRegistratie>15</SoortRegistratie></RegistratieveRelatiePartij></VerzendendePartij></VerzendendePartijen><OntvangendePartijen><OntvangendePartij><Volgnummer>1</Volgnummer><RegistratieveRelatiePartij><Identificatie>00000004000000076000_OTA</Identificatie><SoortRegistratie>15</SoortRegistratie></RegistratieveRelatiePartij></OntvangendePartij></OntvangendePartijen><Datum>2018-11-19</Datum><Tijd>13:04:32.952+01:00</Tijd><SchemaVersieID>1.1</SchemaVersieID></Header><ns2:Zaak><ns2:Identificatie>2100008418</ns2:Identificatie></ns2:Zaak><ns2:DocumentAggregatieniveaus><ns2:DocumentAggregatieniveau><ns2:Classificatie><ns2:DocumentSoort>098</ns2:DocumentSoort></ns2:Classificatie><ns2:Identificatiekenmerk>DOC006256</ns2:Identificatiekenmerk><ns2:Foldernaam>02 - Correspondentie</ns2:Foldernaam><ns2:Revisie>1</ns2:Revisie><ns2:IndicatieGewijzigdeMetadata>0</ns2:IndicatieGewijzigdeMetadata><ns2:Naam>02 - Toezenden stukken rm</ns2:Naam><ns2:Bijlage><ns2:MimeContent><ns2:MimeContentType>application/pdf</ns2:MimeContentType><ns2:MimeContentId>2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_2.pdf@my.com</ns2:MimeContentId></ns2:MimeContent></ns2:Bijlage></ns2:DocumentAggregatieniveau></ns2:DocumentAggregatieniveaus></ns2:DocumentBericht>"; Omvang="3512"";



    // Extract Key value pairs

    Matcher paramMatcher = keyValuePairsPattern.matcher(logentry);

    while (paramMatcher.find()) {

        System.out.println(paramMatcher.group("key") + "<=>" + paramMatcher.group("value"));

    }

}

}

Which gives the result

Bedrijfsdocument<=>BD-023005 Document

Richting<=>Uitgaand

Status<=>verzonden

Zaaknummer<=>2323343333

MessageID<=>ef5c6e9e-849e-4d80-af86-92fc127e7178

ConversationID<=>5571c03e-62a8-4fce-81ff-9fe31b7b276c

RefToMessageId<=>34333139343034303934303135343731

MMDBestand<=>2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_0_MMD.mmd

Bericht<=><?xml version=

encoding<=>UTF-8

standalone<=>yes

BDVersie<=>2.1

BDNaam<=>TA-022305

xmlns:ns2<=>com.my.test/berichten/document/2

xmlns<=>com.my.test/header/1

- Correspondentie</ns2:Foldernaam><ns2:Revisie>1</ns2:Revisie><ns2:IndicatieGewijzigdeMetadata>0</ns2:IndicatieGewijzigdeMetadata><ns2:Naam>02 - Toezenden stukken rm</ns2:Naam><ns2:Bijlage><ns2:MimeContent><ns2:MimeContentType>application/pdf</ns2:MimeContentType><ns2:MimeContentId>2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_2.pdf@my.com</ns2:MimeContentId></ns2:MimeContent></ns2:Bijlage></ns2:DocumentAggregatieniveau></ns2:DocumentAggregatieniveaus></ns2:DocumentBericht>"; Omvang<=>3512

The desired result should would be

Bedrijfsdocument<=>BD-023005 Document

Richting<=>Uitgaand

Status<=>verzonden

Zaaknummer<=>2323343333

MessageID<=>ef5c6e9e-849e-4d80-af86-92fc127e7178

ConversationID<=>5571c03e-62a8-4fce-81ff-9fe31b7b276c

RefToMessageId<=>34333139343034303934303135343731

MMDBestand<=>2018-11-19_9bf1caf8-ca3d-43ae-b046-fa44142faa36_0_MMD.mmd

Bericht<=><?xml version="1.0" encoding="UTF-8" standalone="yes" .....       

Omvang<=>3512

I tried to add another non-capture group with an optional "<" before the closing quote of the parameter value, but this does not resolve the issue.

(?:^[.*])?(?:[s]+)(?<key>[^=]+)(?:={1}"{1})(?<value>[^"]+)(?:>?)(?:["]{1})

What i probably need is an expression that defines the end of a value by a " or a <" where <" takes precedence over ".

Any help is appreciated.

You may use

s(?<key>[^=s]+)="(?<value>(?:<[^<>]*>|[^"])*)"

In Java:

String pat = "\s(?<key>[^=\s]+)="(?<value>(?:<[^<>]*>|[^"])*)"";

See the regex demo. The first s can even be omitted, but it makes it more efficient.

Details

• 
  s - whitespace


• 
  (?<key>[^=s]+) - Group "key": 1 or more chars other than whitespace and =
  


• 
  =" - a literal text


• 
  (?<value>(?:<[^<>]*>|[^"])*) - Group "value": any substring between < and > with no </> (<[^<>]*>) inside or (|) any char other than a double quotation mark ([^"])


• 
  " - a double quote