Update Debian Vcs-* fields to point to git repository

Update Debian packaging standards version to 3.9.4

No changes other than bumping the date in the copyright file to be current.

Use LDFLAGS when building backend shared objects

The LDFLAGS weren't being passed when linking the backend shared
objects; fix that so things like the hardening flags Debian adds
get uses correctly.

Add HKP database backend

A potential use case of onak is as a proxy server. Add an HKP backend
that uses libcurl to make requests to a remote keyserver to fetch, search
or store keys. The "db_dir" configuration parameter becomes the base
host name for the remote keyserver e.g.:

db_backend hkp
db_dir the.earth.li

In the future the addition of the ability to stack database backends
should allow this to be used to turn onak into a caching keyserver.

Add initial wotsap file generation tool

Wotsap (http://www.lysator.liu.se/~jc/wotsap/) is a web of trust
statistics and pathfinding tool. It takes a set of preformatted key
data covering the primary UID and signatures on each key.

This commit adds a tool which will generate the file data required for
wotsap. These files still need ar/bzip2 run against them in order to
be fed into wotsap, but are generated from the live keyring data.

Add support for checking RIPEMD160 signatures

Sufficiently recent versions of nettle have support for RIPEMD160 and
there are various keys in the wild that use this algorithm, so add an
autoconf check for the nettle support and use it if it's available.

Add -c option to maxpath / sixdegrees to specify config file

maxpath + sixdegrees weren't allowing a config file to be specified
in the same fashion as onak. Add the -c option so they do so, which
helps when using these tools in a non-system install setup.

Fix PostgreSQL backend compilation

This got missed with the changes to get_keyid.

Use OPENPGP_PACKET_COMMENT in parse_keys instead of raw constant

Add ctags/cscope files to .gitignore + clean rule

Prevent read_openpgp_stream from returning empty packets

If read_openpgp_stream got an invalid packet that had a semi valid
header it could potentially return an empty package, which would
confuse splitkeys. Cleanup the final package returned if it turns
out we didn't have valid data for it.

Fixes Debian bug #716350

Only seed initial Debian package database if key file is available.

If the Debian package detected no keyring database on installation it
would seed the database with my key, from
/usr/share/doc/onak/noodles.key.gz. This is against Debian policy 12.3 -
packages cannot require files from /usr/share/doc/ to function. Only
seed the database if the file exists, avoiding issues installing when
skipping /usr/share/doc/

Fixes Debian bug #710665.

Move stats_key structure to stats.h

It still ends up pulled into the core objects by mem.c / hash.c,
but we no longer pollute keystructs.h

Remove dependency on onak-conf and logthing for splitkeys

No need for this to pull either the overall onak config or logthing in.

Add missing onak.h from last changeset

Start pulling non-library material out of core source files

As part of moving towards a libonak start pulling things that are related
to the onak keyserver out of the core PGP related source files. Start
with logthing, our logging framework, instead moving towards an onak_status_t
enum to allow up to bubble up errors to the caller.

Add some more OpenPGP related constants

Extra packet types, the compression types and the symmetric algorithms.

Fix the size of the hash array when checking sig hashes

It was only 20 bytes - big enough for SHA1, but not when the larger
SHA2 hashes are available in nettle. This allows up to SHA512.

Move .bzrignore to .gitignore

Add initial Doxygen support

Massage the existing function/structure comments into something that
Doxygen likes, and document a few additional bits and pieces that
Doxygen was complaining about.

Don't reject sig hashes we don't have support for.

  We should err on the side of caution when we can't verify a sighash
  because we don't have that algorithm compiled in, and allow it.

Add checking for signature hashes

  Signatures include the first 2 octets of the hash the signature is
  over. Checking this matches what we expect is an easy way to drop
  corrupt or incorrect signatures. It doesn't provide any cryptographic
  verification but is a useful sanity check when accepting keys.

Dump all the stripped keys at the end, rather than one at a time

  We don't need to dump everything as we go, and will end up dumping
  more than we intend (as we'll dump all of the keys still to go).

Add libnettle autoconf checks for SHA224, SHA384 & SHA512.

Switch to source format 3.0 (quilt) for Debian packaging.

Cleanup hashquery.o on make clean

Build Debian version number to indicate bzr build

0.4.1 release

  Release; update version string in configure.ac, README.
  Update HISTORY and debian/changelog.

Avoid race condition when receiving incoming mails

  There's a race condition between us starting to accept a new incoming
  mail and taking the lock to start processing it; a second copy of
  onak-mail may come in and start to process the incomplete mail we're
  in the process of receiving. Receive to a tmp file and rename to .onak
  after we've received everything.

  Fixes Debian bug #650557. Thanks to Helmut Grohne <helmut@subdivi.de>

Fix deletion of skshash in DB4 backend

  We need to delete the skshash while we still have the publickey
  structure, so we can calculate the hash to free.

Fix deletion error logging for DB4 backend

  The change to include the keyid failed to remove some commas on the
  format string, meaning the output was even less useful.

Install /pks/hashquery in Debian packaging

Add keyid to DB4 backend deletion error messages

  We display an error when we fail to delete an entry from the worddb or
  similar, but weren't including the keyid so this wasn't very useful.

Add missing initialisation of DB4 cursor for skshash when deleting key

  We were trying to use the id32db cursor which had already been closed.

Drop HISTORY file in /usr/share/doc; it's already present as changelog.gz

  Debian packaging cleanup.

Allow retrieval of key by full fingerprint

  GPG 1.4.12 switches to using the full fingerprint of a key when requesting
  a refresh (commit 6fe25e5602fabe92c68e5ba30e4777221e8612df). We were only
  supporting retrieval by 32 or 64 bit key ID. Detect when we're passed a
  fingerprint and truncate it to the last 64 bits so we can look it up.
  In the future we probably want to extend to being able to do lookups by
  full fingerprint.

Always put a leading 0x on keyids in HTML output links

  We didn't always put a leading 0x when outputting URLs as part of
  an index, which confuses some clients that try to autoparse returned
  key IDs.

Fix display of SHA-1 fingerprints

  SHA-1 fingerprints have a double space in the middle and we were
  putting the extra space in the wrong place.

Add AC_PROG_CC_C99 to configure.ac

  We aim to compile cleanly under C99, so get autoconf to give us the
  appropriate compiler flags to enable it by default.

Use nettle for hashing when available rather than internal MD5/SHA1 routines

  Change the internal MD5/SHA1 routines to match nettle's name and
  calling convention and add suitable autoconf bits to auto-select
  nettle if it's available, otherwise fall back to the internal
  routines as usual.

  Not so much of an issue for MD5/SHA1 (though we might end up with
  more optimised routines in some instances), but allows easier use
  of other hashing/crypto functions in the future.

Use C99 uint32_t rather than u_int32_t

Clean up "set but not used" GCC warnings

  GCC 4.6 now errors when a variable is set but not used; clean up
  instances of this to fix compilation.

Export find_packet from merge.c

  Add find_packet to merge.h so it can be used in other components.

Add some more subpacket types to the list to ignore

  There are various signature subpacket types we know about, but have
  no need to decode (or it doesn't make sense to decode if we're not
  checking that the signature is valid). Add some more to prevent
  warnings when adding keys that have these subpackets present.

Clean up file header copyrights

  Project Purple isn't a legal entity; credit primary author of files
  and include a minimal GPL 2 header in each file rather than relying
  on the copy of LICENCE shipped with everything else.

Define OpenPGP constants and use them rather than magic numbers

  Take the set of OpenPGP constants from RFC4880 that we're using
  and produce some #defines, to try and make the code a bit clearer.

Remove my name from the lookup/gpgwww trailers.

  No reason for my name to be there; the onak name + VERSION is more
  appropriate.

Add a test for key fetching by SKS hash

  New test to check we can correctly retrieve a key by SKS hash using
  the onak CLI tool.

Add /pks/hashquery

  Add /pks/hashquery - an implementation of the SKS hash retrieval
  portion of the gossip protocol.

  hashquery takes a marshalled array of SKS hashes to retrieve and
  returns a marshalled array of the keys requested.

  (The marshalling functions essentially take the hash/key structures
   and flatten them to a byte stream with a preceding network order
   32 bit size value.)

Add a dependency on CORE_OBJS to the dynamic backends

  If these change we need to relink or unexpected things happen.

Add support for displaying/retrieving by SKS hash to lookup and onak CLI

  Now we are storing the SKS hash details of a key add the ability to
  display the hash in /pks/lookup and retrieve it via the new hget
  function. This should be compatible with the way in which SKS extends
  lookup to support its hashes.

  Also add hget to the onak CLI tool and the -s option for showing the
  SKS hash of keys.

Add support for key retrieval by SKS hash

  Add a new backend DB function fetch_key_skshash and implement it
  for the fs/db4/keyd & dynamic backends. This allows us to retrieve
  a key using the SKS hash, which will be necessary to implement the
  gossip protocol.

Add support for calculating SKS style key hashes

  SKS uses an MD5 hash over the sorted packets from a key as a token
  for its gossip protocol. Add support for calculating this hash and a
  structure for passing it around within onak.

Make compare_packet follow memcmp semantics and export to other modules

  compare_packet is potentially useful elsewhere, but rather than a
  true/false comparison provide -1/0/1 for less than/equal/greater
  than, as memcmp does.

Fix buffer_getchar to only error if we'd exceed the buffer size

  We were erroring when we retrieved the end of the buffer, and not
  if we overflowed past the end. Check if we'd overflow and return
  an error only in that case.

Remove unused keydb_dynamic.h header file

Add basic testing infrastructure + initial tests

  Add some simple scripts to ensure key addition, deletion and retrieval
  are at least working ok.

Change fd_write to use fwrite instead of fputc

  I have no idea why I had a loop around fputc instead of just
  using fwrite.

Change to using void * for character function content parameter

  We were passing unsigned char * as the parameter to all of the
  character fetching/putting functions. Use void * instead so that
  we can pass other types of data without needlessly having to cast.

Fix stupid case syntax error

Add restart/force-reload options to init script

  Debian requires these. Just do a stop and start.

Add -1 to Debian package version

  We're not a native Debian package.

0.4.0 release

  Release; update version string in configure.ac, README.
  Update HISTORY and debian/changelog.

Add Debian logrotate config snippet

  Add a weekly rotation logrotate config snippet for onak.log

Output details of key search after retrieval for pks/lookup

  Rather than logging what we're searching for beforehand, and then
  indicating failure after (but not success), just output the results
  and search details after retrieval.

Add Debian init.d file for keyd

  Add an init.d file to start up/shut down keyd on Debian machines if
  it's configured in onak.conf.

Add ${perl:Depends} to dependencies

  The onak-mail processing script is written in Perl, so we should
  depend on it.

Bump Debian Standards-Version to 3.9.2.0

  No changes.

Clean up use of PATH_MAX in keydb_fs.c

  Hopefully this will enabled compilation on GNU/Hurd. PATH_MAX is not
  entirely removed, but now only used for array definitions and
  conditionally defined if not already defined. Moving the static defs
  to dynamic allocations is future work, but this provides a start.

Fix onak.c to include version.h not config.h

  Oops; broken with the move from PACKAGE_VERSION to ONAK_VERSION.

Added keydctl and testparse to .bzrignore

Add a stats command to keyd

  Add KEYD_CMD_STATS to obtain info about when keyd started, how many
  connects it has seen and how many instances of each command.

Make onak.c use ONAK_VERSION instead of PACKAGE_VERSION for version number

  Missed this in the changes to add the bzr revno to non pristine builds.

Remove keydctl.o in clean rule

Allow db4 backend to compile with later versions of Berkeley DB

  db5 is compatible with db4 at an API level, so look for >= v4 rather
  than = v4 in our configure script.

Use generic db dependencies rather than 4.8 versioned ones

  Rather than depending on libdb4.8-dev and db4.8-util depend on
  libdb-dev and db-util, allowing easy binary only rebuilds in the
  event of new db4 releases.

  Fixes Debian bug #621426

Add the bzr version number to non release builds

  If we're building from a bzr checkout then include the revision
  number in the version string we report.

Add keydctl for talking to keyd backend

  The regular keydb functions for talking to keyd work fine for key
  related operations, but there are extra things we want to do with
  keyd (such as checking its status or asking it to cleanly exit) that
  there's no way to do at present. Add keydctl to provide a way to
  access these additional features.

Add options details to keyd man page

  Document -c/-f/-h options to keyd.

Add help text for keyd

  Support -h option for printing help text.

Log when we're doing a clean keyd shutdown

  If keyd receives a quit message it will cleanly shutdown; log this
  fact so it's obvious that was the reason for exiting.

Ignore SIGPIPE in keyd

  catchsignals() normally catches SIGPIPE and sets the cleanup flag,
  as per the other signals it catches. This is fine for the HKP CGI,
  but not appropriate for keyd (as it's probably because the client
  has exited without doing appropriate cleanup). Ignore it; we'll
  deal with the error when we try to read/write to the socket.

Make keyd command handling more consistent

  Output KEYD_REPLY_OK response for close/quite commands as well
  as data size for version/longkeyid commands. Means that commands
  can always expect to get an OK response if they've been understood
  and a size if they're going to result in some more data.

Add an element to the keyd command enum for the last supported command

  Add KEYD_CMD_LAST as a placeholder for the last supported keyd
  command.

Explicitly use 32 bits for keyd socket commands

  While cross machine compatibility is not currently an aim for keyd
  we should specify the word size for commands to help down the line
  if we decide to do this.

Configure db4 locks according to maxkeys and actually check maxkeys

  The number of db4 objects iin use is related to the maximum number of
  keys we return at once. Configure the locking subsystem accordingly
  and limit the number of returned keys to maxkeys.

  Significantly improves the reliability of the db4 backend on a large
  busy server.

Update maxpath/sixdegrees to my "new" RSA key.

  Both maxpath and sixdegrees use my key ID as a default base;
  change them to use 2DA8B985/4096R rather than 5B430367/1024D.

Remove unused variables

  More code cleanup.

Fix fs backend compilation/linking

  Several failures to change the calls to internal functions to have
  the fs_ prefix and a use before definition of fs_getfullkeyid.

Clean up remaining uses of %llX for printing keyids

  It should be PRIX64 to ensure we use the right format for both 32 and
  64 bit platforms.

Add use_keyd config file option to select keyd as the backend

  We want to be able to use a common config file across the various
  tools, so add a config variable to indicate that we're using keyd.
  This allows keyd to override the option and then get the configured
  backend, while everything else knows to use keyd.

Make keyd background itself by default

  It's meant to be a daemon, so it should run in the background. The
  -f option will cause it to run in the foreground for debugging etc.

Add -c option to specify keyd config file on command line

  Matches the parameter the onak binary takes and allows use of
  something other than the compiled in default config file path.

Only seed database for Debian install if we're using default config

  If the user changes the config away from DB4 or the default DB
  directory and deletes the old directory we'll think they don't
  have an initialised key database and try to seed it with my key.
  Check the config file and if it doesn't match what we expect
  assume the user has configured appropriately and don't seed the DB.

Update the copy of my key to my 4096R one

  I updated my key a couple of years ago; replace 0x5B430367 (1024D)
  with 0x2DA8B985 (4096R).

Actually close the socket in keyd/the keyd backend

  We were calling shutdown() on the socket, but this isn't sufficient -
  we need to call close() as well. Otherwise we end up leaking sockets
  and eventually keyd can no longer service requests.

Send close command when cleaning up keyd backend

  Previously we just shutdown the socket; we should really tell keyd
  we're disappearing as well.

Fix delete_key function in keyd backend

  Need to use keyd_delete_key, not delete_key. Also move function to
  before usage to eliminate need for prototype definition.

Remove keydb backend specific compilation rule

  We were defining a custom compile rule for the keydb .c -> .o stage,
  which left out the CFLAGS. We don't need this; the custom bit is at
  link time so we pick up the right libs.

0.3.8 release

  Release; update version string in configure.ac, README.
  Update HISTORY and debian/changelog.