Fooey, some versions of ASDF don't export 'absolute-pathname-p'

Make it a bit easier to debug .proto files interactively

Merge branch 'import-by-symbol'

Test pure-lisp symbol-based import

Allow import by symbol to support pure-lisp protobuf definitions

Merge branch 'empty-message-serialization'

Add size caching to object-size methods generated for messages without fields

Fixes the bug tickled by the tests in this commit's parent.

Add tests for serializing emtpy messages in various contexts

These tests tickle an error serializing emtpy messages as fields of
other messages when using speed-optimized serializers.

asdf-support: source-file-explicit-type, not source-explicit-file-type

Merge branches 'asdf-component-type-consistency' and 'record-non-import-paths'

model-classes: Don't look at *COMPILE-FILE-PATH* when recording schemas by pathname

asdf-support: note which proto file we're loading a fasl for

This ensures that all pathnames for all .proto files we load get put
in PROTO-IMPL::*ALL-SCHEMAS*, not just those we import.

asdf-support: simplify do-process-import internals

Don't override file extension for imports; assume the string that was
used to form the pathname is accurate. This makes base-path and
proto-file the same, so fold them both into proto-file.

Drop bogus checks for type "proto".

asdf-support: simplify do-process-import calling

asdf-support: hardcode "proto" in fewer places

qtest: Make sure we end on a fresh line after running tests

Merge branch 'portability'

Merge branch 'type-expansion' into portability

Merge branch 'rework-schema-import-and-lookup'

Change how protobuf schemas and classes are recorded and found

* FIND-SCHEMA no longer works on a string or keyword. Both of these
  were based on the PATHNAME-NAME of the protobuf, which has a high
  probability of collision. (e.g., common.proto -> "COMMON", :COMMON)

  Instead, look up schemas based on package and name. For instance,
  the protobuf foo.proto, declaring "package FooPackage;", can be
  found with: (FIND-SCHEMA 'FOO-PACKAGE::FOO)

* Pathname-based schema lookup no longer ignores file type.

asdf-support: rework import again

* DO-PROCESS-IMPORT is now responsible for deciding whether or not to
  process an import. It does so by searching for the .proto to be
  imported, and upon finding it, checks to see if we alredy have a
  schema for that pathname. Additionally, it now returns the pathname.

* PROCESS-IMPORTS and PROCESS-IMPORTS-FROM-FILE now defer the work of
  figuring out whether or not an import has been done to
  DO-PROCESS-IMPORT. PROCESS-IMPORTS uses the return value of
  DO-PROCESS-IMPORT to update the PROTO-IMPORTED-SCHEMAS of the schema
  being processed.

asdf-support: more filename mangling

New functions:

* ASDF::PROTOBUF-MANGLE-NAME: Takes a pathname, returns a string to be
  used as a filename that represents the original path.
  e.g., #P"/foo/bar/baz.quux" becomes "foo-bar-baz-quux"

* ASDF::PROTOBUF-LISPIZE-PATHNAME: Takes a pathname, returns a new
  pathname with the name mangled as described above, and with a lisp
  type.

According to protoc, this file was bogus; now it works

utilities.lisp: This is how ABCL and XCL do type expansion

utilities.lisp: This is how ECL and MKCL do type expansion

Make (declare (values ...)) for rpc methods opt-in, rather than opt-out

So far only CCL appears to consistently handle this.

pull in trivial-garbage for TG:MAKE-WEAK-HASH-TABLE

In the spirit of making CL-Protobufs represent exemplary modern Common Lisp code:
 - Use 'defparameter' instead of 'defvar' where appropriate.
 - Fix 'defvar' doc strings to distinguish between globals and "thread locals".
 - Avoid using 'nconc'. introduce a new 'appendf' macro instead.
 - Add a comment lamenting the fact that exporting something like 'proto-options'
   also exports the writer '(setf proto-options)'. Fixed in Dylan.

Dammit, forgot to save this file

Add utilities 'make-option' and 'add-option' to make new work simpler

Update copyright notices

Implement in-object size caching, compile-time conditionalized on #+use-base-protobuf-message

A few whitespace changes

asdf-support: decorate names of .lisp files generated from .proto files.

This prevents geodata.proto's FASL from being clobbered by
geodata.lisp's FASL. Before both were geodata.fasl, now the former is
geodata.proto.fasl.

This is generally a good idea.

asdf-support: search path should be based on proto-file, not lisp-file

Merge branch 'asdf3'

asdf-support: Use ASDF3 CHECK-LISP-COMPILE-RESULTS when relevant

asdf-support: match asdf platform-specific compile options

asdf-support: support for ASDF3

Merge branch 'split-package-rpc'

Update documentation

Decorate service method stubs and intern them in a different package

The client-side stub is now CALL-FOO
The server-side stub is now FOO-IMPL

They are interned in package XXX-RPC, where XXX is the name of the
package being used by the rest of the schema.

fixup: 6ac9510 add missing close-paren

parser.lisp: tweak method parsing

Don't assume that returning no options meant there was no body in the
method declaration. An empty body may have been there
instead. Distinguish that scenario with a second return value from
PARSE-PROTO-METHOD-OPTIONS and use that value in PARSE-PROTO-METHOD
determine whether or not to look for a semicolon.

Don't assume 32-bits integers fit in a fixnum

Follow up to the last commit; I should really know better.

Fix double creation for ccl when high bits are negative

printer.lisp: better preserve proto names

[proto -> lisp]
1) Do case-sensitive comparisons between the name we have and the name
   we would derive from #'CLASS-NAME->PROTO. Case matters.

2) Do not downcase :name options when we're outputting them to a .lisp
   file. Again, case matters.

3) Preserve names for PROTOBUF-SERVICEs, as necessary.

4) Preserve names, input-names, and output-names for PROTOBUF-METHODs,
   as necessary.

unit tests for case preservation

printer.lisp: consume more arguments when appropriate

Here we should have been consuming both the thing we would be printing
and the indentation we would use on the next line, but in the case
where the printed thing was nil, we would only consume it, and not the
subsequent indentation. It worked out here, but the mistake could only
be made once, and only at the end.

printer.lisp: ~*~* -> ~2*

printer.lisp: don't export symbols not in our package

parser.lisp: set up fall-back package names

Robert Brown's protobuf package falls back on the java_package option
as the lisp package name when there isn't a package declaration in the
schema. Emulate that behavior for better compatibility between code
generated by the packages.

printer.lisp: Collect exports from messages defned in messages

printer.lisp: qualify generated UNLESS, just like the rest of the COMMON-LISP functions

printer.lisp: drop trailing whitespace on generated package definition

Fix typo in comment

Don't export RUN-ALL-TESTS if we have test-tools, as it won't be defined.

generalize CCL fasl ignores

Generate integer encoders and decoders with thought towards the size of a FIXNUM

Rather than hard-code assumptions about the size of a FIXNUM, check
the size of FIXNUM at compile time and generate code appropriate for
the number of bits we're working with, with FIXNUM optimizations
in place if appropriate.

Includes some changes from swmckay@gmail.com.

integer encoding/decoding tests

Add a few more fasl types

Merge branch 'master' of git://common-lisp.net/projects/qitab/cl-protobufs

Conflicts:
tests/qtest.lisp

Fix some printers, etc

define-proto: collect DEFTYPE forms before other forms

Signed-off-by: Alejandro R Sedeño <asedeno@google.com>

Tweak definition of ASSERT-EQUAL

Merge branches 'extend-logic' and 'type-aliases'

The parent of an extended message is the context in which it was defined

When extending, find extended message by type rather than unqualified name

Test various extend scenario

Inspired by:
https://developers.google.com/protocol-buffers/docs/proto#extensions

Nested Extensions:

"A common pattern is to define extensions inside the scope of the
 extension's field type – for example, here's an extension to Foo of
 type Baz, where the extension is defined as part of Baz"

honor type-aliases when looking up types

Add a test for type-aliases

Muffle style warnings when generating methods in optimized serialization tests

Fix PRINT-OBJECT method for protobuf-extension to actually print range

gitignore fasls

Don't use the expanded type if it's a protobuf enum

This fixes the unit test that broke in the previous commit

Merge branch 'type-expansion'

expand types in clos transformation when necessary

Test serialization of a user DEFTYPE

Merge branch 'master' of git://common-lisp.net/projects/qitab/cl-protobufs

Conflicts:
serialize.lisp

Don't send default values when serializing

asdf-support: change perform for load-op to do all work locally and better use input-files

asdf-support: move input-files definitions to more logical locations

Merge branch 'rework-asdf-import'

Reviewer: tunes

process new .proto-imports file when compiling and loading components

Fix bogus docstring

generate a list of imports for each .proto file

printer.lisp: Add missing space to docstring

Fix docstring and error-reporting in #'PARSE-PROTO-IMPORT

Add a proper input-files method for proto-to-lisp,
which shall fix the issue that causes of these actions never being operation-done-p.
However this does NOT handle recursive import dependencies,
which requires further work.

Tested: QRes doesn't always recompile the proto and all dependees anymore.
Reviewer: asedeno

fix cross-package and forward references in cl-protobufs

* Previously, if a field in a .proto file referenced a message in
  another proto file using a different lisp package, the cl-protobufs
  library would silently fail to serialize the field.  A similar
  problem would occur if a message defined later in the file used the
  lisp_name option to override the name generated by cl-protobufs.
  This change fixes these issues and others.
* Add conditions that are signaled when encountering an undefined
  type.
* Delay assigning lisp classes/types to fields and methods until all
  possible forward references have been parsed.
   * This allows the class slot to be unbound, so check for that case
     in print-object methods.
   * Add a test for forward references to messages that override the
     lisp name.
   * Add a test for references to messages and enums defined in
     another proto file with a different lisp package.
   * Change color-wheel-stability test, because it used "string" as
     the input type for an rpc, which seems to be disallowed (although
     I haven't found this documented anywhere).
* Signal errors during parsing for undefined types.
   * Add a test for these errors.  Add assert-error macro to qtest.
* Signal a condition if we are unable to find the definition for a
  field's type during serialization, deserialization, determining an
  object's serialized size, printing text format, parsing text format,
  or generating code for one of the above.
* Remove logic in find-qualified-name that indirects through lisp
  packages.  Proto packages and lisp packages do not necessarily map
  1-to-1.
* Always use the schema's lisp package for any symbols generated when
  parsing proto files.
* When generating lisp code using write-schema-as, set the package to
  the package used in the generated file, so that ~s will print the
  package prefix in the correct circumstances.
* Remove broken proto1 "streams" parsing ("returns" comes before
  "streams" in every example I've found); replace with proto2 syntax.
* In process-imports, the call to find-schema using a pathname was not
  giving the expected result.  Sidestep this issue by using the same
  logic to find the schema as is used earlier in the function.

Get rid of the warning that vval isn't used in generate-object-size of type-aliased bools.

ccl: reverse values from CCL::DOUBLE-FLOAT-BITS

Don't quote the test name

fix a typo

ccl: Use ccl's float internals

Improve schema generation performance on large schemas

Avoid SUBTYPEP during macroexpansion, it can be very expensive on SBCL.
Actually recognize LIST-OF:LIST-OF constructs.
In DEFINE-SCHEMA, don't nest the DEFMETHODs inside the LET,
this also can cause SBCL's control flow analysis to blow up.

Work done with Steven Spitz for QPX.

Tested: (asdf:test-system :cl-protobufs)

Update a few basic Lisp libraries.
Testing: [trunk r567444] precheckin --parallel 11  PASSED
Reviewers: dcrawford, asedeno

Rationale: there is a problem in quicklisp due to recent asdf package changes,
that requires urgent fix to cl-protobufs,
so I'm updating these for the sake of issuing
a cl-protobufs fix to quicklisp ASAP.
I require these updates for some further changes I'm making to QUUX, anyway,
so it's just a matter of timing.

git-svn-id: http://svn.internal.itasoftware.com/svn/ita/trunk/qres/lisp/libs/cl-protobufs@567483 f8382938-511b-0410-9cdd-bb47b084005c

Tweak a few comments

git-svn-id: http://svn.internal.itasoftware.com/svn/ita/trunk/qres/lisp/libs/cl-protobufs@563247 f8382938-511b-0410-9cdd-bb47b084005c

The 'protobufs' package should use no other package, not even CL

git-svn-id: http://svn.internal.itasoftware.com/svn/ita/trunk/qres/lisp/libs/cl-protobufs@563209 f8382938-511b-0410-9cdd-bb47b084005c

Add a performance test to the Protobufs test directory

git-svn-id: http://svn.internal.itasoftware.com/svn/ita/trunk/qres/lisp/libs/cl-protobufs@563144 f8382938-511b-0410-9cdd-bb47b084005c